2.1 信息的量化
2.1.1 熵
- 熵是香农为量化“消息所含信息量”而提出的数学定义,核心思想是:信息用于消除关于一组可能性的不确定性。
- 对于二元随机变量(如0/1),当每个符号出现概率为p和1−p时,单个符号的平均信息量(熵)为H=−plog2p−(1−p)log2(1−p),单位为比特(bit)。
- 当p=0.5时熵最大(1 bit/符号),表示最大不确定性;当p=0或1时熵为0,表示完全确定。
- 推广至K个状态的离散随机变量,熵定义为H[{pk}]=−∑kpklog2pk(比特)或H[{pk}]=−∑kpklnpk(纳特,nat)。
- 香农无噪编码定理指出:对N个独立同分布样本,最优编码所需平均比特数趋近于NH,典型序列数约为2NH,非典型序列概率随N→∞趋于0。
- 典型集定义:在长序列中,各状态出现频率接近其先验概率的序列构成典型子集;其总概率趋于1,且数量远少于全部可能序列(2N)。
- 熵同时刻画通信资源需求与主观不确定性:熵越高,初始不确定性越大,传递该变量所需信息越多。
- 熵具有三大公理化特征:连续性、等概时随状态数单调增、粗粒化可加性(即分步获取信息的熵等于各步加权熵之和)。
- “信息”在信息论中是精确概念——指长消息极限下为无误传达所需最小符号数;日常语境中也泛指“不确定性减少量”。
2.1.2 互信息
- 互信息I(x:y)=H[x]+H[y]−H[x,y]=H[x]−H[x∣y],衡量两个随机变量x(未知量)与y(测量结果或信道输出)之间的统计相关性。
- 它等于知道y后对x的平均不确定性减少量,即Ej[H[x]−H[x∣j]]。
- 互信息对称:I(x:y)=I(y:x),表明x关于y的知识量等于y关于x的知识量。
- 在通信中,互信息表示信道容量上限:若输入符号熵为H,只要H≤I(x:y),存在编码方案使长消息以任意小错误率可靠传输(香农有噪编码定理)。
- 信道容量定义为所有可能输入分布中互信息的最大值,通常需数值优化求解。
- 条件熵H[x∣y]表示已知y后对x的剩余不确定性;联合熵H[x,y]表示x与y整体的不确定性。
2.2 量子系统不确定性的量化
2.2.1 冯·诺依曼熵
- 量子态的不确定性由密度矩阵ρ的本征值{λn}的香农熵定义:S(ρ)=−∑nλnlnλn=−Tr(ρlnρ)。
- 冯·诺依曼熵具有双重最小性含义:
- (测量视角)对任意完备测量(投影到纯态),测量结果的概率分布熵不小于S(ρ);等号在ρ的本征基测量时取到。
- (系综视角)任意纯态系综ρ=∑npn∣ψn⟩⟨ψn∣的系综熵H[{pn}]≥S(ρ);等号在系综由ρ本征态构成时取到。
- 基本性质:
- 取值范围0≤S(ρ)≤lnN,纯态时为0,完全混合态时达最大。
- 凹性:S(pρ1+(1−p)ρ2)≥pS(ρ1)+(1−p)S(ρ2)。
- 联合系统满足:子可加性S(ρAB)≤S(ρA)+S(ρB)(等号当且仅当ρAB=ρA⊗ρB);Araki–Lieb不等式∣S(ρA)−S(ρB)∣≤S(ρAB);强子可加性S(ρABC)+S(ρB)≤S(ρAB)+S(ρBC)。
- 信息的两种互补定义:
- “含有的信息”:用熵S度量(如消息的信息内容);
- “缺乏的信息”:用I=lnN−S度量(如观测者对N维系统的知识量),完全混合态时I=0。
2.2.2 主要化与密度矩阵
- 主要化(majorization)是比熵更基本的不确定性序关系:对降序排列的概率向量p,q,若∑n=1kpn≥∑n=1kqn(∀k),则称p主要化q(记作p≻q),表示p更集中、不确定性更小。
- 主要化构成偏序:并非所有向量间都可比较,反映不确定性无法全序比较的本质。
- Schur-凹函数(如熵)满足:若p≻q,则H(p)≤H(q);Schur-凸函数(如纯度)则相反。
- 双随机矩阵(行列和均为1的非负矩阵)保持主要化关系:q=Dp⟺q≺p。
- Horn引理:若Dij=∣Uij∣2(U为幺正矩阵),则q≺p⟺q=Dp。
- 推论:密度矩阵在任意基下的对角元向量被其本征值向量主要化,即diag(UρU†)≺λ(ρ),表明本征基测量最确定。
2.2.3 对应密度矩阵的系综
- 分类定理(Hughston-Josza-Wootters):所有能生成同一密度矩阵ρ的纯态系综{pm,∣ψm⟩},其平方根概率幅与本征态的线性组合由幺正矩阵参数化:
pm∣ψm⟩=∑jumjλj∣j⟩,其中{umj}是幺正矩阵元。
- 系综至少需包含K个线性无关态(K为ρ非零本征值个数),但态数M可任意大。
- 该定理揭示了密度矩阵的内在模糊性:同一ρ可对应无穷多种物理上不同的制备方式(系综)。### 量子测量与信息
信息论性质
- 量子系统状态信息:定义熵减Isys=S(ρ)−∑npnS(ρ~n),表征测量平均降低的冯·诺依曼熵,又称Groenewold信息或熵减。
- 半经典测量下Isys等于测量结果与密度矩阵本征态系综间的互信息。
- 若丢弃测量结果,后验平均态为ρ~=∑npnρ~n;半经典测量中ρ~=ρ,而一般量子测量中∑npnρ~n=ρ,体现量子扰动本质。
- 定理6(Ozawa):高效测量满足∑npnS(ρ~n)≤S(ρ),即平均熵不增;其更强形式为本征值主控关系λ(ρ)≺∑npnλ(ρ~n)。
- 低效测量中Isys可为负:例如对纯态∣+⟩=21(∣0⟩+∣1⟩)投影到{∣0⟩,∣1⟩}后丢弃结果,得完全混合态ρ~=21(∣0⟩⟨0∣+∣1⟩⟨1∣),熵从0增至ln2。
- 编码消息信息:当系统按系综{∣ψj⟩,P(j)}准备时,测量提取关于消息j的互信息Iens=H[J:M]=H[P(j)]−∑mP(m)H[P(j∣m)]。
- 半经典测量下Isys=Iens;Iens关于所有测量的最大值称为可访问信息。
信息提取的界
- 定理7(Lanford–Robinson):Isys≤H[{pn}],等号仅在半经典测量时成立;该界表明量子测量的信息效率通常低于经典测量。
- 完全测量(终态全为纯态)下推得H[{pn}]≥S(ρ),即冯·诺依曼熵是完备测量结果熵的最小可能值。
- 定理8(系统-探针熵交换):探针末态平均冯·诺依曼熵Sprobefin=H[{pn}]满足H[{pn}]−S(σprobe)≥Isys。
- 定理9(Holevo界):Iens≤χ=S(ρ)−∑jpjS(ρj),等号当且仅当[ρ,ρj]=0,∀j;χ称为Holevoχ-量。
- 定理10(SWW界):若第n个结果对应系综的Holevo量为χn,则Iens≤χ−∑npnχn;等号要求[ρ,ρn]=0且测量为半经典。
- SWW界可重写为Iens≤S(ρ)−∑jpjS(ρj),其中S(ρj)是初态为ρj时的熵减;高效测量下得Hall界Iens≤Isys。
- 由Iens≥0推出Isys关于初态的凹性:Isys[∑jpjρj]≥∑jpjIsys[ρj],即初始不确定性越大,平均熵减越多。
- 对称测量下Isys严格随初始不确定性增加,因其Schur-凹性:若ρ≺σ,则Isys[ρ]≥Isys[σ]。
- 序贯测量信息:经典情形满足I(X:Y,Z)≤I(X:Y)+I(X:Z);量子裸测量是否普适满足此不等式仍为开放问题。
扰动量化
- 共轭观测量扰动:测量可观测量X会增大非对易观测量Y的不确定性;Robertson不确定关系(ΔX)2(ΔY)2≥41∣⟨[X,Y]⟩∣2给出方差权衡;Maassen–Uffink熵不确定关系H[{Px}]+H[{Py}]≥−logmaxx,y∣⟨x∣y⟩∣2给出Shannon熵下界,且与态无关。
- 熵扰动:定义SD=S(∑npnρ~n)−S(ρ);定理11(Ando)指出裸测量(正算子)满足S(∑npnρ~n)≥S(ρ),故SD≥0,类比经典测量。
- 编码信息扰动:测量改变系综中态本身;若编码态非正交(如∣a⟩,∣b⟩,∣c⟩),任何完备测量必扰动至少一个态;扰动大小需用量子态距离度量(如保真度、迹距离)。
- 量子信息扰动:对噪声信道建模为丢失测量结果;相干信息I(ρ,M)表征可无错传输的量子信息量;Buscemi–Hayashi–Horodecki关系给出δ(ρ,M)=S(ρ)−I(ρ,M)=Isys(高效测量),建立信息-扰动基本等价。