Betinget entropi - Conditional entropy

Informationsteori
Entropi Differential entropi Betinget entropi Fælles entropi Gensidig information Betinget gensidig information Relativ entropi Entropi sats Begrænsning af tætheden af ​​diskrete punkter Endelig teori om bloklængde
Asymptotisk equipartition ejendom Rate -distortion -teori
Shannons kildekodningssætning Kanal kapacitet Støjende kanal kodningssætning Shannon – Hartley sætning
v t e

Venn -diagram, der viser additive og subtraktive relationer forskellige informationsmålinger forbundet med korrelerede variabler og . Området indeholdt i begge cirkler er den fælles entropi . Cirklen til venstre (rød og violet) er den individuelle entropi , hvor den røde er den betingede entropi . Cirklen til højre (blå og violet) er med det blå væsen . Den violette er den gensidige information .${\ displaystyle X}$${\ displaystyle Y}$ ${\ displaystyle \ mathrm {H} (X, Y)}$ ${\ displaystyle \ mathrm {H} (X)}$${\ displaystyle \ mathrm {H} (X | Y)}$${\ displaystyle \ mathrm {H} (Y)}$${\ displaystyle \ mathrm {H} (Y | X)}$ ${\ displaystyle \ operatorname {I} (X; Y)}$

I informationsteorien kvantificerer den betingede entropi mængden af ​​information, der er nødvendig for at beskrive resultatet af en tilfældig variabel, da værdien af ​​en anden tilfældig variabel er kendt. Her måles oplysninger i shannons , nats eller hartleys . Den entropi under forudsætning af, er skrevet som . ${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle \ mathrm {H} (Y | X)}$

Definition

Den givne betingede entropi er defineret som ${\ displaystyle Y}$${\ displaystyle X}$

${\ displaystyle \ mathrm {H} (Y | X) \ =-\ sum _ {x \ in {\ mathcal {X}}, y \ in {\ mathcal {Y}}} p (x, y) \ log {\ frac {p (x, y)} {p (x)}}}$

( Ligning 1 )

hvor og betegne støttesæt af og . ${\ displaystyle {\ mathcal {X}}}$${\ displaystyle {\ mathcal {Y}}}$${\ displaystyle X}$${\ displaystyle Y}$

Bemærk: Det er konventionelt, at udtrykkene og for faste skal behandles som værende lig med nul. Det er fordi og${\ displaystyle 0 \ log 0}$${\ displaystyle 0 \ log c/0}$${\ displaystyle c> 0}$${\ displaystyle \ lim _ {\ theta \ til 0^{+}} \ theta \, \ log \, c/\ theta = 0}$${\ displaystyle \ lim _ {\ theta \ til 0^{+}} \ theta \, \ log \ theta = 0}$

Intuitiv forklaring af definitionen: Ifølge definitionen, hvor associerer sig til det givne informationsindhold , hvilket er mængden af ​​information, der er nødvendig for at beskrive den givne begivenhed . Ifølge loven om store tal er det aritmetiske middel for et stort antal uafhængige erkendelser af . ${\ displaystyle \ displaystyle H (Y | X) = \ mathbb {E} (\ f (X, Y) \)}$${\ displaystyle \ displaystyle f: (x, y) \ \ rightarrow -\ log (\ p (y | x) \).}$ ${\ displaystyle \ displaystyle f}$${\ displaystyle \ displaystyle (x, y)}$${\ displaystyle \ displaystyle (Y = y)}$${\ displaystyle \ displaystyle (X = x)}$${\ displaystyle \ displaystyle (Y = y)}$${\ displaystyle (X = x)}$${\ displaystyle \ displaystyle H (Y | X)}$${\ displaystyle \ displaystyle f (X, Y)}$

Motivering

Lad være entropien for den diskrete tilfældige variabel betinget af, at den diskrete tilfældige variabel tager en bestemt værdi . Betegn støttesættene til og ved og . Lad have sandsynlighedsmassafunktion . Den ubetingede entropi af beregnes som , dvs. ${\ displaystyle \ mathrm {H} (Y | X = x)}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle x}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle {\ mathcal {X}}}$${\ displaystyle {\ mathcal {Y}}}$${\ displaystyle Y}$ ${\ displaystyle p_ {Y} {(y)}}$${\ displaystyle Y}$${\ displaystyle \ mathrm {H} (Y): = \ mathbb {E} [\ operatorname {I} (Y)]}$

${\ displaystyle \ mathrm {H} (Y) = \ sum _ {y \ in {\ mathcal {Y}}} {\ mathrm {Pr} (Y = y) \, \ mathrm {I} (y)} = -\ sum _ {y \ i {\ mathcal {Y}}} {p_ {Y} (y) \ log _ {2} {p_ {Y} (y)}},}$

hvor er informationsindholdet i resultatet af at tage værdien . Entropien med betinget af at tage værdien defineres analogt af betinget forventning : ${\ displaystyle \ operatorname {I} (y_ {i})}$${\ displaystyle Y}$${\ displaystyle y_ {i}}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle x}$

${\ displaystyle \ mathrm {H} (Y | X = x) =-\ sum _ {y \ in {\ mathcal {Y}}} {\ Pr (Y = y | X = x) \ log _ {2} {\ Pr (Y = y | X = x)}}.}$

Bemærk, at det er resultatet af et gennemsnit af alle mulige værdier, der kan tage. Hvis ovenstående sum overtages i en prøve , er den forventede værdi også kendt i nogle domæner som tvetydighed . ${\ displaystyle \ mathrm {H} (Y | X)}$${\ displaystyle \ mathrm {H} (Y | X = x)}$${\ displaystyle x}$${\ displaystyle X}$${\ displaystyle y_ {1}, \ dots, y_ {n}}$${\ displaystyle E_ {X} [\ mathrm {H} (y_ {1}, \ dots, y_ {n} \ mid X = x)]}$

Givne diskrete stokastiske variable med billede og med billedet , den betingede entropi given størrelse er defineret som den vægtede sum af for hver mulig værdi af under anvendelse som vægtene: ${\ displaystyle X}$${\ displaystyle {\ mathcal {X}}}$${\ displaystyle Y}$${\ displaystyle {\ mathcal {Y}}}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle \ mathrm {H} (Y | X = x)}$${\ displaystyle x}$${\ displaystyle p (x)}$

${\ displaystyle {\ begin {align} \ mathrm {H} (Y | X) \ & \ equiv \ sum _ {x \ in {\ mathcal {X}}} \, p (x) \, \ mathrm {H } (Y | X = x) \\ & =-\ sum _ {x \ i {\ mathcal {X}}} p (x) \ sum _ {y \ i {\ mathcal {Y}}} \, p (y | x) \, \ log \, p (y | x) \\ & =-\ sum _ {x \ in {\ mathcal {X}}} \ sum _ {y \ in {\ mathcal {Y} }} \, p (x, y) \, \ log \, p (y | x) \\ & =-\ sum _ {x \ in {\ mathcal {X}}, y \ in {\ mathcal {Y }}} p (x, y) \ log \, p (y | x) \\ & =-\ sum _ {x \ in {\ mathcal {X}}, y \ in {\ mathcal {Y}}} p (x, y) \ log {\ frac {p (x, y)} {p (x)}}. \\ & = \ sum _ {x \ i {\ mathcal {X}}, y \ in { \ mathcal {Y}}} p (x, y) \ log {\ frac {p (x)} {p (x, y)}}. \\\ ende {justeret}}}$

Ejendomme

Betinget entropi er lig med nul

${\ displaystyle \ mathrm {H} (Y | X) = 0}$hvis og kun hvis værdien af er fuldstændig bestemt af værdien af . ${\ displaystyle Y}$${\ displaystyle X}$

Betinget entropi af uafhængige tilfældige variabler

Omvendt, hvis og kun hvis og er uafhængige tilfældige variabler . ${\ displaystyle \ mathrm {H} (Y | X) = \ mathrm {H} (Y)}$${\ displaystyle Y}$${\ displaystyle X}$

Kæderegel

Antag, at det kombinerede system bestemt af to tilfældige variabler og har fælles entropi , det vil sige, at vi i gennemsnit har brug for informationsstykker for at beskrive dets nøjagtige tilstand. Hvis vi først lærer værdien af , har vi fået informationer. Når det først er kendt, behøver vi kun bits for at beskrive hele systemets tilstand. Denne mængde er præcis , hvilket giver kædereglen for betinget entropi: ${\ displaystyle X}$${\ displaystyle Y}$ ${\ displaystyle \ mathrm {H} (X, Y)}$${\ displaystyle \ mathrm {H} (X, Y)}$${\ displaystyle X}$${\ displaystyle \ mathrm {H} (X)}$${\ displaystyle X}$${\ displaystyle \ mathrm {H} (X, Y)-\ mathrm {H} (X)}$${\ displaystyle \ mathrm {H} (Y | X)}$

${\ displaystyle \ mathrm {H} (Y | X) \, = \, \ mathrm {H} (X, Y)-\ mathrm {H} (X).}$

Kædereglen følger af ovenstående definition af betinget entropi:

${\ displaystyle {\ begin {align} \ mathrm {H} (Y | X) & = \ sum _ {x \ in {\ mathcal {X}}, y \ in {\ mathcal {Y}}} p (x , y) \ log \ left ({\ frac {p (x)} {p (x, y)}} \ right) \\ [4pt] & = \ sum _ {x \ in {\ mathcal {X}} , y \ i {\ mathcal {Y}}} p (x, y) (\ log (p (x))-\ log (p (x, y))) \\ [4pt] & =-\ sum _ {x \ in {\ mathcal {X}}, y \ in {\ mathcal {Y}}} p (x, y) \ log (p (x, y))+\ sum _ {x \ in {\ mathcal {X}}, y \ i {\ mathcal {Y}}} {p (x, y) \ log (p (x))} \\ [4pt] & = \ mathrm {H} (X, Y)+ \ sum _ {x \ i {\ mathcal {X}}} p (x) \ log (p (x)) \\ [4pt] & = \ mathrm {H} (X, Y)-\ mathrm {H} (X). \ End {align}}}$

Generelt gælder en kæderegel for flere tilfældige variabler:

${\ displaystyle \ mathrm {H} (X_ {1}, X_ {2}, \ ldots, X_ {n}) = \ sum _ {i = 1}^{n} \ mathrm {H} (X_ {i} | X_ {1}, \ ldots, X_ {i-1})}$

Det har en lignende form som kæderegel i sandsynlighedsteorien, bortset fra at addition i stedet for multiplikation bruges.

Bayes 'regel

Bayes 'regel for betingede entropistater

${\ displaystyle \ mathrm {H} (Y | X) \, = \, \ mathrm {H} (X | Y)-\ mathrm {H} (X)+\ mathrm {H} (Y).}$

Bevis. og . Symmetri medfører . Subtraktion af de to ligninger indebærer Bayes 'regel. ${\ displaystyle \ mathrm {H} (Y | X) = \ mathrm {H} (X, Y)-\ mathrm {H} (X)}$${\ displaystyle \ mathrm {H} (X | Y) = \ mathrm {H} (Y, X)-\ mathrm {H} (Y)}$${\ displaystyle \ mathrm {H} (X, Y) = \ mathrm {H} (Y, X)}$

Hvis er betinget uafhængig af givet har vi: ${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle X}$

${\ displaystyle \ mathrm {H} (Y | X, Z) \, = \, \ mathrm {H} (Y | X).}$

Andre ejendomme

For enhver og : ${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle {\ begin {align} \ mathrm {H} (Y | X) & \ leq \ mathrm {H} (Y) \, \\\ mathrm {H} (X, Y) & = \ mathrm {H } (X | Y)+\ mathrm {H} (Y | X)+\ operatorname {I} (X; Y), \ qquad \\\ mathrm {H} (X, Y) & = \ mathrm {H} (X)+\ mathrm {H} (Y)-\ operatorname {I} (X; Y), \, \\\ operatorname {I} (X; Y) & \ leq \ mathrm {H} (X), \, \ end {align}}}$

hvor er den gensidige information mellem og . ${\ displaystyle \ operatorname {I} (X; Y)}$${\ displaystyle X}$${\ displaystyle Y}$

Til uafhængige og : ${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle \ mathrm {H} (Y | X) = \ mathrm {H} (Y)}$ og ${\ displaystyle \ mathrm {H} (X | Y) = \ mathrm {H} (X) \,}$

Selvom den specifikt betingede entropi enten kan være mindre eller større end for en given tilfældig variant af , kan den aldrig overstige . ${\ displaystyle \ mathrm {H} (X | Y = y)}$${\ displaystyle \ mathrm {H} (X)}$ ${\ displaystyle y}$${\ displaystyle Y}$${\ displaystyle \ mathrm {H} (X | Y)}$${\ displaystyle \ mathrm {H} (X)}$

Betinget differential entropi

Definition

Ovenstående definition er for diskrete tilfældige variabler. Den kontinuerlige version af diskret betinget entropi kaldes betinget differential (eller kontinuerlig) entropi . Lad og vær en kontinuerlig tilfældig variabel med en fælles sandsynlighedstæthedsfunktion . Den differentielle betingede entropi defineres som ${\ displaystyle X}$${\ displaystyle Y}$ ${\ displaystyle f (x, y)}$${\ displaystyle h (X | Y)}$

${\ displaystyle h (X | Y) =-\ int _ {{\ mathcal {X}}, {\ mathcal {Y}}} f (x, y) \ log f (x | y) \, dxdy}$

( Ligning 2 )

Ejendomme

I modsætning til den betingede entropi for diskrete tilfældige variabler kan den betingede differentielle entropi være negativ.

Som i den diskrete sag er der en kæderegel for differentiel entropi:

${\ displaystyle h (Y | X) \, = \, h (X, Y) -h (X)}$

Bemærk dog, at denne regel muligvis ikke er sand, hvis de involverede differentielle entropier ikke eksisterer eller er uendelige.

Fælles differential entropi bruges også i definitionen af ​​den gensidige information mellem kontinuerlige tilfældige variabler:

${\ displaystyle \ operatorname {I} (X, Y) = h (X) -h (X | Y) = h (Y) -h (Y | X)}$

${\ displaystyle h (X | Y) \ leq h (X)}$med lighed, hvis og kun hvis og er uafhængige. ${\ displaystyle X}$${\ displaystyle Y}$

Forhold til estimatorfejl

Den betingede differentielle entropi giver en nedre grænse for en estimators forventede kvadrerede fejl . For enhver tilfældig variabel , observation og estimator gælder følgende: ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle {\ widehat {X}}}$

$${\ displaystyle \ mathbb {E} \ venstre [{\ bigl (} X-{\ widehat {X}} {(Y)} {\ bigr)}^{2} \ right] \ geq {\ frac {1} {2 \ pi e}} e^{2h (X | Y)}}$$

Dette hænger sammen med usikkerhedsprincippet fra kvantemekanik .

Generalisering til kvanteteori

I kvanteinformationsteorien generaliseres den betingede entropi til den betingede kvanteentropi . Sidstnævnte kan tage negative værdier, i modsætning til dens klassiske modstykke.

Se også

• Entropi (informationsteori)
• Gensidig information
• Betinget kvanteentropi
• Variation af information
• Entropimagt ulighed
• Sandsynlighedsfunktion

Referencer