Společná entropie - Joint entropy

Informační teorie
Entropie Diferenciální entropie Podmíněná entropie Společná entropie Vzájemné informace Podmíněné vzájemné informace Relativní entropie Míra entropie Omezení hustoty diskrétních bodů Teorie informací o konečné délce bloku
Asymptotická vlastnost rozdělovače Teorie rychlostního zkreslení
Shannonova věta o zdrojovém kódování Kapacita kanálu Věta o kódování hlučného kanálu Shannon – Hartleyova věta
proti t E

Zavádějící Vennův diagram ukazující aditivní a subtraktivní vztahy mezi různými informačními měřítky spojenými s korelovanými proměnnými X a Y. Oblast obsažená v obou kruzích je společná entropie H (X, Y). Kruh vlevo (červený a fialový) je individuální entropie H (X), přičemž červená je podmíněná entropie H (X | Y). Kruh vpravo (modrý a fialový) je H (Y), přičemž modrý je H (Y | X). Fialová je vzájemná informace I (X; Y).

V informační teorii je společná entropie měřítkem nejistoty spojené se sadou proměnných .

Definice

Společná Shannonova entropie (v bitech ) dvou diskrétních náhodných proměnných a s obrázky a je definována jako ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle {\ mathcal {X}}}$${\ displaystyle {\ mathcal {Y}}}$

${\ Displaystyle \ mathrm {H} (X, Y) =-\ sum _ {x \ in {\ mathcal {X}}} \ sum _ {y \ in {\ mathcal {Y}}} P (x, y ) \ log _ {2} [P (x, y)]}$

( Rovnice 1 )

kde a jsou konkrétní hodnoty a , v tomto pořadí, je společný pravděpodobnost těchto hodnot vyskytujících se společně, a je definován jako 0, pokud . ${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle P (x, y)}$${\ Displaystyle P (x, y) \ log _ {2} [P (x, y)]}$${\ displaystyle P (x, y) = 0}$

U více než dvou náhodných proměnných se toto rozšíří na ${\ displaystyle X_ {1}, ..., X_ {n}}$

${\ displaystyle \ mathrm {H} (X_ {1}, ..., X_ {n}) =-\ sum _ {x_ {1} \ in {\ mathcal {X}} _ {1}} ... \ sum _ {x_ {n} \ v {\ mathcal {X}} _ {n}} P (x_ {1}, ..., x_ {n}) \ log _ {2} [P (x_ {1 }, ..., x_ {n})]}$

( Rovnice 2 )

kde jsou konkrétní hodnoty , je pravděpodobnost, že se tyto hodnoty vyskytnou společně, a je definována jako 0, pokud . ${\ displaystyle x_ {1}, ..., x_ {n}}$${\ displaystyle X_ {1}, ..., X_ {n}}$${\ displaystyle P (x_ {1}, ..., x_ {n})}$${\ Displaystyle P (x_ {1}, ..., x_ {n}) \ log _ {2} [P (x_ {1}, ..., x_ {n})]}$${\ Displaystyle P (x_ {1}, ..., x_ {n}) = 0}$

Vlastnosti

Nezápornost

Společná entropie množiny náhodných proměnných je nezáporné číslo.

${\ Displaystyle \ mathrm {H} (X, Y) \ geq 0}$

${\ Displaystyle \ mathrm {H} (X_ {1}, \ ldots, X_ {n}) \ geq 0}$

Větší než jednotlivé entropie

Společná entropie sady proměnných je větší nebo rovna maximu všech jednotlivých entropií proměnných v sadě.

${\ Displaystyle \ mathrm {H} (X, Y) \ geq \ max \ left [\ mathrm {H} (X), \ mathrm {H} (Y) \ right]}$

${\ Displaystyle \ mathrm {H} {\ bigl (} X_ {1}, \ ldots, X_ {n} {\ bigr)} \ geq \ max _ {1 \ leq i \ leq n} {\ Bigl \ {} \ mathrm {H} {\ bigl (} X_ {i} {\ bigr)} {\ Bigr \}}}$

Méně nebo rovno součtu jednotlivých entropií

Společná entropie sady proměnných je menší nebo rovna součtu jednotlivých entropií proměnných v sadě. Toto je příklad subaditivity . Tato nerovnost je rovností právě tehdy, jsou -li a jsou statisticky nezávislá . ${\ displaystyle X}$${\ displaystyle Y}$

${\ Displaystyle \ mathrm {H} (X, Y) \ leq \ mathrm {H} (X)+\ mathrm {H} (Y)}$

${\ Displaystyle \ mathrm {H} (X_ {1}, \ ldots, X_ {n}) \ leq \ mathrm {H} (X_ {1}) +\ ldots +\ mathrm {H} (X_ {n}) }$

Vztahy k dalším opatřením entropie

Kloubová entropie se používá při definici podmíněné entropie

${\ Displaystyle \ mathrm {H} (X | Y) = \ mathrm {H} (X, Y)-\ mathrm {H} (Y) \,}$,

a

$${\ Displaystyle \ mathrm {H} (X_ {1}, \ dots, X_ {n}) = \ sum _ {k = 1}^{n} \ mathrm {H} (X_ {k} | X_ {k- 1}, \ tečky, X_ {1})}$$

${\ displaystyle \ operatorname {I} (X; Y) = \ mathrm {H} (X)+\ mathrm {H} (Y)-\ mathrm {H} (X, Y) \,}$

V teorii kvantové informace je společná entropie zobecněna na společnou kvantovou entropii .

Kloubní diferenciální entropie

Definice

Výše uvedená definice je pro diskrétní náhodné proměnné a je stejně platná v případě spojitých náhodných proměnných. Spojitá verze diskrétní kloubové entropie se nazývá kloubová diferenciální (nebo spojitá) entropie . Nechť a buďme spojité náhodné veličiny se společnou funkcí hustoty pravděpodobnosti . Diferenciální kloubová entropie je definována jako ${\ displaystyle X}$${\ displaystyle Y}$ ${\ Displaystyle f (x, y)}$${\ displaystyle h (X, Y)}$

${\ Displaystyle h (X, Y) =-\ int _ {{\ mathcal {X}}, {\ mathcal {Y}}} f (x, y) \ log f (x, y) \, dxdy}$

( Rovnice 3 )

Pro více než dvě spojité náhodné proměnné je definice zobecněna na: ${\ displaystyle X_ {1}, ..., X_ {n}}$

${\ Displaystyle h (X_ {1}, \ ldots, X_ {n}) =-\ int f (x_ {1}, \ ldots, x_ {n}) \ log f (x_ {1}, \ ldots, x_ {n}) \, dx_ {1} \ ldots dx_ {n}}$

( Rovnice 4 )

Integrál je převzata podporou . Je možné, že integrál neexistuje, v takovém případě říkáme, že diferenciální entropie není definována. ${\ displaystyle f}$

Vlastnosti

Stejně jako v diskrétním případě je společná diferenciální entropie sady náhodných proměnných menší nebo rovná součtu entropií jednotlivých náhodných proměnných:

${\ Displaystyle h (X_ {1}, X_ {2}, \ ldots, X_ {n}) \ leq \ sum _ {i = 1}^{n} h (X_ {i})}$

Následující řetězové pravidlo platí pro dvě náhodné proměnné:

${\ Displaystyle h (X, Y) = h (X | Y)+h (Y)}$

V případě více než dvou náhodných proměnných to zobecňuje na:

${\ Displaystyle h (X_ {1}, X_ {2}, \ ldots, X_ {n}) = \ sum _ {i = 1}^{n} h (X_ {i} | X_ {1}, X_ { 2}, \ ldots, X_ {i-1})}$

Společná diferenciální entropie se také používá při definování vzájemných informací mezi spojitými náhodnými proměnnými:

${\ displaystyle \ operatorname {I} (X, Y) = h (X)+h (Y) -h (X, Y)}$

Reference