Codificare entropie - Entropy coding

În teoria informației o entropie de codificare (sau codarea entropia ) este o compresie a datelor lossless schemă care este independentă de caracteristicile specifice ale mediului.

Unul dintre principalele tipuri de codificare a entropiei creează și atribuie un cod unic fără prefix fiecărui simbol unic care apare în intrare. Aceste codificatoare de entropie comprimă apoi datele prin înlocuirea fiecărui simbol de intrare cu lungime fixă ​​cu cuvântul cod de ieșire fără prefix corespunzător de lungime variabilă. Lungimea fiecărui cuvânt de cod este aproximativ proporțională cu logaritmul negativ al probabilității de apariție a cuvântului de cod respectiv. Prin urmare, cele mai comune simboluri folosesc cele mai scurte coduri.

Conform teoremei de codare sursă a lui Shannon , lungimea optimă a codului pentru un simbol este , unde este numărul de simboluri utilizate pentru a crea coduri de ieșire și este probabilitatea simbolului de intrare.

Două dintre cele mai comune tehnici de codificare a entropiei sunt codificarea Huffman și codificarea aritmetică . Dacă caracteristicile entropice aproximative ale unui flux de date sunt cunoscute în prealabil (în special pentru compresia semnalului ), poate fi util un cod static mai simplu. Aceste coduri statice includ coduri universale (cum ar fi codificarea gamma Elias sau codificarea Fibonacci ) și codurile Golomb (cum ar fi codarea unară sau codificarea Rice ).

Din 2014, compresoarele de date au început să utilizeze familia de sisteme numerice asimetrice de tehnici de codificare a entropiei, care permite combinarea raportului de compresie a codificării aritmetice cu un cost de procesare similar cu codificarea Huffman .

Entropia ca măsură a asemănării

Pe lângă utilizarea codificării entropiei ca modalitate de comprimare a datelor digitale, un codificator de entropie poate fi utilizat și pentru a măsura cantitatea de similitudine între fluxurile de date și clasele de date deja existente. Acest lucru se realizează prin generarea unui codor / compresor de entropie pentru fiecare clasă de date; datele necunoscute sunt apoi clasificate prin alimentarea datelor necomprimate către fiecare compresor și văzând care compresor produce cea mai mare compresie. Codificatorul cu cea mai bună compresie este probabil codificatorul instruit pe datele care au fost cele mai similare cu datele necunoscute.

Vezi si

Referințe

linkuri externe