Entropia warunkowa - Conditional entropy

Teoria informacji
Entropia Entropia różnicowa Entropia warunkowa Wspólna entropia Wzajemna informacja Warunkowe informacje wzajemne Entropia względna Szybkość entropii Ograniczenie gęstości punktów dyskretnych Teoria informacji o skończonej długości bloku
Asymptotyczna właściwość ekwipartycji Teoria współczynnika-zniekształcenia
Twierdzenie Shannona o kodowaniu źródłowym Pojemność kanału Twierdzenie o kodowaniu zaszumionych kanałów Twierdzenie Shannona-Hartleya
v T mi

Diagram Venna przedstawiający addytywne i subtraktywne zależności różne miary informacyjne związane ze skorelowanymi zmiennymi i . Obszar zawarty przez oba koła to wspólna entropia . Okrąg po lewej stronie (czerwony i fioletowy) to indywidualna entropia , a czerwony to entropia warunkowa . Okrąg po prawej (niebieski i fioletowy) to , a niebieski to . Fiolet to wzajemna informacja .${\ Displaystyle X}$${\ Displaystyle Y}$ ${\ Displaystyle \ operatorname {H} (X, Y)}$ ${\ Displaystyle \ operatorname {H} (X)}$${\ Displaystyle \ operatorname {H} (X | Y)}$${\ Displaystyle \ operatorname {H} (Y)}$${\ Displaystyle \ operatorname {H} (Y | X)}$ ${\ Displaystyle \ Operatorname {I} (X; Y)}$

W teorii informacji , entropia warunkowa wylicza ilość informacji potrzebnej do opisania wynik w zmiennej losowej danej że wartość innej zmiennej losowej jest znana. Tutaj informacje są mierzone w shannonach , nats lub hartleyach . Entropia uwarunkowane jest napisane jak . ${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle \ operatorname {H} (Y | X)}$

Definicja

Entropia warunkowa danego jest zdefiniowana jako ${\ Displaystyle Y}$${\ Displaystyle X}$

${\ Displaystyle \ operatorname {H} (Y | X) \ = - \ suma _ {x \ w {\ mathcal {X}} y \ w {\ mathcal {Y}}} p (x, y) \ log {\frac {p(x,y)}{p(x)}}}$

( Równanie 1 )

gdzie i oznaczają zestawów wsparcia z i . ${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\ Displaystyle X}$${\ Displaystyle Y}$

Uwaga: Przyjęło się, że wyrażenia i for fixed powinny być traktowane jako równe zero. To dlatego, że i${\ Displaystyle 0 \ log 0}$${\displaystyle 0\logc/0}$${\displaystyle c>0}$${\ Displaystyle \ lim _ {\ theta \ do 0 ^ {+}} \ theta \ \ log \ c / \ teta = 0}$${\ Displaystyle \ lim _ {\ theta \ do 0 ^ {+}} \ theta \ \ log \ theta = 0}$

Intuicyjne wyjaśnienie definicji: Zgodnie z definicją, gdzie Associates zawartości informacyjnej podane potrzebne, czyli ilość informacji, aby opisać zdarzenie podane . Zgodnie z prawem wielkich liczb jest średnią arytmetyczną dużej liczby niezależnych realizacji . ${\ Displaystyle \ Displaystyle H (Y | X) = \ mathbb {E} (\ f (X, Y) \ )}$${\displaystyle \displaystyle f:(x,y)\ \rightarrow -\log(\ p(y|x)\).}$ ${\displaystyle \displaystyle f}$${\displaystyle \displaystyle (x,y)}$${\ Displaystyle \ Displaystyle (Y = y)}$${\ Displaystyle \ Displaystyle (X = x)}$${\ Displaystyle \ Displaystyle (Y = y)}$${\ Displaystyle (X = x)}$${\ Displaystyle \ Displaystyle H (Y | X)}$${\displaystyle \displaystyle f(X,Y)}$

Motywacja

Niech będzie entropia dyskretnej zmiennej losowej uwarunkowana przyjęciem przez dyskretną zmienną losową określonej wartości . Oznacz zestawy podpór oraz przy i . Pozwolić mieć funkcja masy prawdopodobieństwa . Bezwarunkowa entropia jest obliczana jako , tj ${\ Displaystyle \ operatorname {H} (Y | X = x)}$${\ Displaystyle Y}$${\ Displaystyle X}$${\displaystyle x}$${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\ Displaystyle Y}$ ${\displaystyle p_{Y}{(y)}}$${\ Displaystyle Y}$${\ Displaystyle \ operatorname {H} (Y): = \ mathbb {E} [\ Operator {I} (Y)]}$

${\ Displaystyle \ operatorname {H} (Y) = \ suma _ {y \ w {\ mathcal {Y}}} {\ operatorname {Pr} (Y = Y) \ \ operatorname {I} (y)} = -\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},}$

gdzie jest treść informacji o wynikach z przyjmując wartość . Entropia warunkowego przyjęcia wartości jest zdefiniowana analogicznie przez warunkowe oczekiwanie : ${\ Displaystyle \ operatorname {I} (y_ {i})}$${\ Displaystyle Y}$${\displaystyle y_{i}}$${\ Displaystyle Y}$${\ Displaystyle X}$${\displaystyle x}$

${\ Displaystyle \ operatorname {H} (Y | X = x) = - \ suma _ {y \ w {\ mathcal {Y}}} {\ Pr (Y = y | X = x) \ log _ {2} {\Pr(Y=y|X=x)}}.}$

Zauważ, że jest to wynik uśredniania wszystkich możliwych wartości, które mogą przyjąć. Ponadto, jeśli powyższa suma zostanie przejęta przez próbkę , wartość oczekiwana jest znana w niektórych dziedzinach jako ekwiwokacja . ${\ Displaystyle \ operatorname {H} (Y | X)}$${\ Displaystyle \ operatorname {H} (Y | X = x)}$${\displaystyle x}$${\ Displaystyle X}$${\ Displaystyle y_ {1}, \ kropki , y_ {n}}$${\ Displaystyle E_ {X} [\ operatorname {H} (y_ {1}, \ kropki, y_ {n} \ mid X = x)]}$

Biorąc pod uwagę dyskretne zmienne losowe z obrazem i z obrazem , warunkową entropię danej definiuje się jako ważoną sumę dla każdej możliwej wartości , stosując jako wagi: ${\ Displaystyle X}$${\displaystyle {\mathcal {X}}}$${\ Displaystyle Y}$${\displaystyle {\mathcal {Y}}}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle \ operatorname {H} (Y | X = x)}$${\displaystyle x}$${\displaystyle p(x)}$

${\ Displaystyle {\ zacząć {wyrównany} \ operatorname {H} (Y | X) \ & \ równoważny \ suma _ {x \ w {\ mathcal {X}}} \ p (x) \ \ operatorname {H } (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p (y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y} }}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y }}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}} p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in { \mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{wyrównany}}}$

Nieruchomości

Entropia warunkowa równa się zero

${\ Displaystyle \ operatorname {H} (Y | X) = 0}$wtedy i tylko wtedy, gdy wartość jest całkowicie określona przez wartość . ${\ Displaystyle Y}$${\ Displaystyle X}$

Entropia warunkowa niezależnych zmiennych losowych

I odwrotnie, wtedy i tylko wtedy, gdy i są niezależnymi zmiennymi losowymi . ${\ Displaystyle \ operatorname {H} (Y | X) = \ operatorname {H} (Y)}$${\ Displaystyle Y}$${\ Displaystyle X}$

Zasada łańcuchowa

Załóżmy, że układ złożony określony przez dwie zmienne losowe i ma łączną entropię , czyli potrzebujemy średnio bitów informacji, aby opisać jego dokładny stan. Teraz, jeśli najpierw poznamy wartość , zdobyliśmy trochę informacji. Kiedy już wiemy, potrzebujemy tylko bitów do opisania stanu całego systemu. Ta wielkość to dokładnie , co daje regułę łańcucha warunkowej entropii: ${\ Displaystyle X}$${\ Displaystyle Y}$ ${\ Displaystyle \ operatorname {H} (X, Y)}$${\ Displaystyle \ operatorname {H} (X, Y)}$${\ Displaystyle X}$${\ Displaystyle \ operatorname {H} (X)}$${\ Displaystyle X}$${\ Displaystyle \ operatorname {H} (X, Y) - \ operatorname {H} (X)}$${\ Displaystyle \ operatorname {H} (Y | X)}$

${\ Displaystyle \ operatorname {H} (Y | X) \ = \ \ operatorname {H} (X, Y) - \ operatorname {H} (X).}$

Zasada łańcucha wynika z powyższej definicji entropii warunkowej:

${\ Displaystyle {\ zacząć {wyrównany} \ operatorname {H} (Y | X) i = \ suma _ {x \ w {\ mathcal {X}}, y \ w {\ mathcal {Y}}} p (x ,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}} ,y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _ {x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+ \sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{wyrównany}}}$

Ogólnie obowiązuje reguła łańcucha dla wielu zmiennych losowych:

${\ Displaystyle \ operatorname {H} (X_ {1}, X_ {2}, \ ldots, X_ {n}) = \ suma _ {i = 1} ^ {n} \ operatorname {H} (X_ {i} |X_{1},\ldots ,X_{i-1})}$

Ma podobną formę do reguły łańcuchowej w teorii prawdopodobieństwa, z tą różnicą, że stosuje się dodawanie zamiast mnożenia.

Zasada Bayesa

Reguła Bayesa dla stanów warunkowej entropii

${\ Displaystyle \ operatorname {H} (Y | X) \ = \ \ operatorname {H} (X | Y) - \ operatorname {H} (X) + \ operatorname {H} (Y).}$

Dowód. i . Symetria pociąga za sobą . Odjęcie dwóch równań implikuje regułę Bayesa. ${\ Displaystyle \ operatorname {H} (Y | X) = \ operatorname {H} (X, Y) - \ operatorname {H} (X)}$${\ Displaystyle \ operatorname {H} (X | Y) = \ operatorname {H} (Y, X) - \ operatorname {H} (Y)}$${\ Displaystyle \ operatorname {H} (X, Y) = \ operatorname {H} (Y, X)}$

Jeżeli jest warunkowo niezależna od podanego mamy: ${\ Displaystyle Y}$${\ Displaystyle Z}$${\ Displaystyle X}$

${\ Displaystyle \ operatorname {H} (Y | X, Z) \ = \ \ operatorname {H} (Y | X).}$

Inne właściwości

Dla każdego i : ${\ Displaystyle X}$${\ Displaystyle Y}$

${\ Displaystyle {\ zacząć {wyrównane} \ operatorname {H} (Y | X) i \ leq \ operatorname {H} (Y) \, \ \ \ operatorname {H} (X, Y) i = \ operatorname {H } (X|Y)+\mathrm {H} (Y|X)+\operator {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\nazwa operatora {I} (X;Y),\,\\\nazwa operatora {I} (X;Y)&\leq \mathrm {H} (X), \,\end{wyrównany}}}$

gdzie są wzajemne informacje między i . ${\ Displaystyle \ Operatorname {I} (X; Y)}$${\ Displaystyle X}$${\ Displaystyle Y}$

Dla niezależnych i : ${\ Displaystyle X}$${\ Displaystyle Y}$

${\ Displaystyle \ operatorname {H} (Y | X) = \ operatorname {H} (Y)}$ oraz ${\ Displaystyle \ operatorname {H} (X | Y) = \ operatorname {H} (X) \,}$

Choć specyficzne-entropia warunkowa może być mniejszy lub większy niż dla danego losowej variate dnia , nigdy nie można przekroczyć . ${\ Displaystyle \ operatorname {H} (X | Y = y)}$${\ Displaystyle \ operatorname {H} (X)}$ ${\displaystyle y}$${\ Displaystyle Y}$${\ Displaystyle \ operatorname {H} (X | Y)}$${\ Displaystyle \ operatorname {H} (X)}$

Warunkowa entropia różniczkowa

Definicja

Powyższa definicja dotyczy dyskretnych zmiennych losowych. Ciągła wersja dyskretnej entropii warunkowej nazywana jest warunkową entropią różniczkową (lub ciągłą) . Niech i będą ciągłymi zmiennymi losowymi z łączną funkcją gęstości prawdopodobieństwa . Różnicowa entropia warunkowa jest zdefiniowana jako ${\ Displaystyle X}$${\ Displaystyle Y}$ ${\displaystyle f(x,y)}$${\ Displaystyle h (X | Y)}$

${\ Displaystyle h (X | Y) = - \ int _ {{\ mathcal {X}}, {\ mathcal {Y}}} f (x, y) \ log f (x | y) \ dxdy}$

( Równanie 2 )

Nieruchomości

W przeciwieństwie do entropii warunkowej dla dyskretnych zmiennych losowych, warunkowa entropia różnicowa może być ujemna.

Podobnie jak w przypadku dyskretnym, obowiązuje łańcuchowa reguła entropii różniczkowej:

${\ Displaystyle h (Y | X) \, = \, h (X, Y)-h (X)}$

Zauważ jednak, że ta zasada może nie być prawdziwa, jeśli zaangażowane entropie różniczkowe nie istnieją lub są nieskończone.

Łączna entropia różniczkowa jest również używana w definicji wzajemnej informacji między ciągłymi zmiennymi losowymi:

${\ Displaystyle \ Operatorname {I} (X, Y) = h (X) - h (X | Y) = h (Y) - h (Y | X)}$

${\ Displaystyle h (X | Y) \ leq h (X)}$z równością wtedy i tylko wtedy, gdy i są niezależne. ${\ Displaystyle X}$${\ Displaystyle Y}$

Związek z błędem estymatora

Warunkowa entropia różniczkowa daje dolną granicę oczekiwanego kwadratowego błędu estymatora . Dla dowolnej zmiennej losowej , obserwacji i estymatora obowiązuje: ${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle {\widehat {X}}}$

$${\ Displaystyle \ mathbb {E} \ lewo [{\ Bigl (} X-{\ widehat {X}} {(Y)} {\ duży)} ^ {2} \ prawej] \ geq {\ Frac {1} {2\pi e}}e^{2h(X|Y)}}$$

Wiąże się to z zasadą nieoznaczoności z mechaniki kwantowej .

Uogólnienie na teorię kwantową

W teorii informacji kwantowej warunkowa entropia jest uogólniana na warunkową entropię kwantową . Ten ostatni może przyjmować wartości ujemne, w przeciwieństwie do swojego klasycznego odpowiednika.

Zobacz też

• Entropia (teoria informacji)
• Wzajemna informacja
• Warunkowa entropia kwantowa
• Odmiana informacji
• Nierówność mocy entropii
• Funkcja prawdopodobieństwa

Bibliografia