Bedingte Entropie - Conditional entropy

Informationstheorie
Entropie Differentielle Entropie Bedingte Entropie Gemeinsame Entropie Gegenseitige Information Bedingte gegenseitige Information Relative Entropie Entropierate Grenzdichte diskreter Punkte Informationstheorie endlicher Blocklängen
Asymptotische Gleichverteilungseigenschaft Rate-Distortion-Theorie
Das Quellcodierungstheorem von Shannon Kanalkapazität Codierungstheorem für verrauschte Kanäle Satz von Shannon-Hartley
v T e

Venn-Diagramm, das additive und subtraktive Beziehungen verschiedener Informationsmaße zeigt, die mit korrelierten Variablen verbunden sind und . Die von beiden Kreisen eingeschlossene Fläche ist die gemeinsame Entropie . Der linke Kreis (rot und violett) ist die individuelle Entropie , der rote die bedingte Entropie . Der rechte Kreis (blau und violett) ist , das blaue ist . Das Violett ist die gegenseitige Information .${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle \mathrm {H} (X,Y)}$ ${\displaystyle \mathrm {H} (X)}$${\displaystyle \mathrm {H} (X|Y)}$${\displaystyle \mathrm {H} (Y)}$${\displaystyle \mathrm {H} (Y|X)}$ ${\displaystyle\operatorname {I} (X;Y)}$

In der Informationstheorie quantifiziert die bedingte Entropie die Informationsmenge, die benötigt wird, um das Ergebnis einer Zufallsvariablen zu beschreiben, vorausgesetzt , der Wert einer anderen Zufallsvariablen ist bekannt. Hier werden Informationen in Shannons , Nats oder Hartleys gemessen . Die Entropie von bedingt auf wird geschrieben als . ${\displaystyle Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle \mathrm {H} (Y|X)}$

Definition

Die bedingte Entropie von Gegeben ist definiert als ${\displaystyle Y}$${\displaystyle X}$

${\displaystyle \mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}}$

( Gl.1 )

wobei und die Stützsätze von und bezeichnen . ${\displaystyle {\mathcal{X}}}$${\displaystyle {\mathcal {Y}}}$${\displaystyle X}$${\displaystyle Y}$

Hinweis: Es ist üblich, dass die Ausdrücke und für fixed als gleich Null behandelt werden. Das liegt daran und${\displaystyle 0\log 0}$${\displaystyle 0\logc/0}$${\displaystyle c>0}$${\displaystyle \lim_{\theta\to 0^{+}}\theta\,\log\,c/\theta =0}$${\displaystyle \lim_{\theta\to 0^{+}}\theta\,\log\theta=0}$

Intuitive Erklärung der Definition: Gemäß der Definition, wo mit dem Informationsgehalt von gegeben verbunden ist , ist dies die Menge an Informationen, die benötigt wird, um das gegebene Ereignis zu beschreiben . ist nach dem Gesetz der großen Zahlen das arithmetische Mittel einer großen Anzahl unabhängiger Realisierungen von . ${\displaystyle \displaystyle H(Y|X)=\mathbb{E} (\ f(X,Y)\ )}$${\displaystyle \displaystyle f:(x,y)\ \rightarrow -\log(\ p(y|x)\ ).}$ ${\displaystyle \displaystyle f}$${\displaystyle \displaystyle (x,y)}$${\displaystyle \displaystyle (Y=y)}$${\displaystyle \displaystyle (X=x)}$${\displaystyle \displaystyle (Y=y)}$${\displaystyle (X=x)}$${\displaystyle \displaystyle H(Y|X)}$${\displaystyle \displaystyle f(X,Y)}$

Motivation

Sei die Entropie der diskreten Zufallsvariablen bedingt davon, dass die diskrete Zufallsvariable einen bestimmten Wert annimmt . Bezeichnen Sie die Stützsätze von und von und . Sei die Wahrscheinlichkeitsmassenfunktion . Die unbedingte Entropie von wird berechnet als , dh ${\displaystyle \mathrm {H} (Y|X=x)}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle x}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\mathcal{X}}}$${\displaystyle {\mathcal {Y}}}$${\displaystyle Y}$ ${\displaystyle p_{Y}{(y)}}$${\displaystyle Y}$${\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}$

${\displaystyle \mathrm {H} (Y)=\sum_{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}= -\sum_{y\in{\mathcal{Y}}}{p_{Y}(y)\log_{2}{p_{Y}(y)}},}$

wo ist der Informationsgehalt des Ergebnisses der den Wert nehmen . Die Entropie der bedingten Wertübernahme wird analog durch bedingten Erwartungswert definiert : ${\displaystyle \operatorname {I} (y_{i})}$${\displaystyle Y}$${\displaystyle y_{i}}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle x}$

${\displaystyle \mathrm {H} (Y|X=x)=-\sum_{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log_{2} {\Pr(Y=y|X=x)}}.}$

Beachten Sie, dass dies das Ergebnis der Mittelwertbildung über alle möglichen Werte ist , die möglicherweise angenommen werden. Auch wenn die obige Summe über eine Stichprobe gezogen wird , wird der erwartete Wert in einigen Domänen als Äquivokation bezeichnet . ${\displaystyle \mathrm {H} (Y|X)}$${\displaystyle \mathrm {H} (Y|X=x)}$${\displaystyle x}$${\displaystyle X}$${\displaystyle y_{1},\dots,y_{n}}$${\displaystyle E_{X}[\mathrm {H} (y_{1},\dots,y_{n}\mid X=x)]}$

Gegebenen diskreten Zufallsvariablen mit image und mit image wird die bedingte Entropie von gegeben als gewichtete Summe von für jeden möglichen Wert von definiert , wobei als Gewichte verwendet werden: ${\displaystyle X}$${\displaystyle {\mathcal{X}}}$${\displaystyle Y}$${\displaystyle {\mathcal {Y}}}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle \mathrm {H} (Y|X=x)}$${\displaystyle x}$${\displaystyle p(x)}$

${\displaystyle {\begin{ausgerichtet}\mathrm {H} (Y|X)\ &\equiv\sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H } (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p (y|x)\,\log\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y} }}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y }}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}} p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in { \mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{ausgerichtet}}}$

Eigenschaften

Bedingte Entropie gleich Null

${\displaystyle \mathrm {H} (Y|X)=0}$genau dann, wenn der Wert von vollständig durch den Wert von bestimmt wird . ${\displaystyle Y}$${\displaystyle X}$

Bedingte Entropie unabhängiger Zufallsvariablen

Umgekehrt genau dann, wenn und sind unabhängige Zufallsvariablen . ${\displaystyle \mathrm{H} (Y|X)=\mathrm{H} (Y)}$${\displaystyle Y}$${\displaystyle X}$

Kettenregel

Angenommen, das kombinierte System wird durch zwei Zufallsvariablen bestimmt und hat eine gemeinsame Entropie , d . Wenn wir jetzt zuerst den Wert von erfahren , haben wir einige Informationen gewonnen. Sobald bekannt ist, benötigen wir nur noch Bits, um den Zustand des gesamten Systems zu beschreiben. Diese Größe ist genau , was die Kettenregel der bedingten Entropie ergibt : ${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle \mathrm {H} (X,Y)}$${\displaystyle \mathrm {H} (X,Y)}$${\displaystyle X}$${\displaystyle \mathrm {H} (X)}$${\displaystyle X}$${\displaystyle \mathrm{H} (X,Y)-\mathrm{H} (X)}$${\displaystyle \mathrm {H} (Y|X)}$

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$

Aus der obigen Definition der bedingten Entropie folgt die Kettenregel:

${\displaystyle {\begin{ausgerichtet}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x ,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}} ,y\in {\mathcal{Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _ {x\in {\mathcal{X}},y\in {\mathcal{Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal{Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+ \sum_{x\in{\mathcal{X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{ausgerichtet}}}$

Im Allgemeinen gilt eine Kettenregel für mehrere Zufallsvariablen:

${\displaystyle \mathrm{H} (X_{1},X_{2},\ldots,X_{n})=\sum_{i=1}^{n}\mathrm{H} (X_{i} |X_{1},\ldots,X_{i-1})}$

Sie hat eine ähnliche Form wie die Kettenregel in der Wahrscheinlichkeitstheorie, außer dass Addition statt Multiplikation verwendet wird.

Bayes' Regel

Bayessche Regel für bedingte Entropiezustände

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

Nachweisen. und . Symmetrie bedeutet . Die Subtraktion der beiden Gleichungen impliziert die Bayes-Regel. ${\displaystyle \mathrm{H} (Y|X)=\mathrm{H} (X,Y)-\mathrm{H} (X)}$${\displaystyle \mathrm{H} (X|Y)=\mathrm{H} (Y,X)-\mathrm{H} (Y)}$${\displaystyle \mathrm{H} (X,Y)=\mathrm{H} (Y,X)}$

Wenn ist bedingt unabhängig von bestimmten wir haben: ${\displaystyle Y}$${\displaystyle Z}$${\displaystyle X}$

${\displaystyle \mathrm{H} (Y|X,Z)\,=\,\mathrm{H} (Y|X).}$

Andere Eigenschaften

Für alle und : ${\displaystyle X}$${\displaystyle Y}$

${\displaystyle {\begin{ausgerichtet}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H } (X|Y)+\mathrm {H} (Y|X)+\Operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X), \,\end{ausgerichtet}}}$

wo ist die gegenseitige information zwischen und . ${\displaystyle\operatorname {I} (X;Y)}$${\displaystyle X}$${\displaystyle Y}$

Für Selbständige und : ${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \mathrm{H} (Y|X)=\mathrm{H} (Y)}$ und ${\displaystyle \mathrm{H} (X|Y)=\mathrm{H} (X)\,}$

Obwohl die spezifisch-bedingte Entropie entweder kleiner oder größer als für eine gegebene Zufallsvariable von sein kann , kann sie niemals überschreiten . ${\displaystyle \mathrm {H} (X|Y=y)}$${\displaystyle \mathrm {H} (X)}$ ${\displaystyle y}$${\displaystyle Y}$${\displaystyle \mathrm {H} (X|Y)}$${\displaystyle \mathrm {H} (X)}$

Bedingte differentielle Entropie

Definition

Die obige Definition gilt für diskrete Zufallsvariablen. Die kontinuierliche Version der diskreten bedingten Entropie wird als bedingte differentielle (oder kontinuierliche) Entropie bezeichnet . Seien und eine stetige Zufallsvariable mit einer gemeinsamen Wahrscheinlichkeitsdichtefunktion . Die differentielle bedingte Entropie ist definiert als ${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle f(x,y)}$${\displaystyle h(X|Y)}$

${\displaystyle h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}$

( Gl.2 )

Eigenschaften

Im Gegensatz zur bedingten Entropie für diskrete Zufallsvariablen kann die bedingte differentielle Entropie negativ sein.

Wie im diskreten Fall gilt für die differentielle Entropie eine Kettenregel:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$

Beachten Sie jedoch, dass diese Regel möglicherweise nicht zutrifft, wenn die beteiligten differentiellen Entropien nicht existieren oder unendlich sind.

Die gemeinsame differentielle Entropie wird auch bei der Definition der gegenseitigen Information zwischen stetigen Zufallsvariablen verwendet:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$mit Gleichheit genau dann, wenn und unabhängig sind. ${\displaystyle X}$${\displaystyle Y}$

Beziehung zum Schätzerfehler

Die bedingte differentielle Entropie liefert eine untere Schranke für den erwarteten quadratischen Fehler eines Schätzers . Für jede Zufallsvariable , Beobachtung und Schätzer gilt: ${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\widehat {X}}}$

$${\displaystyle \mathbb {E} \left[{\bigl(}X-{\widehat{X}}{(Y)}{\bigr)}^{2}\right]\geq {\frac {1} {2\pi e}}e^{2h(X|Y)}}$$

Dies hängt mit der Unschärferelation aus der Quantenmechanik zusammen .

Verallgemeinerung auf die Quantentheorie

In der Quanteninformationstheorie wird die bedingte Entropie auf die bedingte Quantenentropie verallgemeinert . Letzteres kann im Gegensatz zu seinem klassischen Gegenstück negative Werte annehmen.

Siehe auch

• Entropie (Informationstheorie)
• Gegenseitige Information
• Bedingte Quantenentropie
• Variation von Informationen
• Entropiemachtsungleichung
• Likelihood-Funktion

Verweise