Hipoteza efektywnego kodowania - Efficient coding hypothesis

Wydajne kodowanie hipoteza została zaproponowana przez Horacem Barlow 1961 jako modelu teoretycznego sensorycznej kodowania w mózgu . W mózgu neurony komunikują się ze sobą, wysyłając impulsy elektryczne zwane potencjałami czynnościowymi lub kolcami. Jednym z celów neuronauki sensorycznej jest rozszyfrowanie znaczenia tych kolców, aby zrozumieć, w jaki sposób mózg reprezentuje i przetwarza informacje o świecie zewnętrznym. Barlow postawił hipotezę, że kolce w układzie sensorycznym tworzą kod neuronowy do efektywnego przedstawiania informacji sensorycznych. Przez sprawny Barlow oznaczał, że kod minimalizował liczbę skoków potrzebnych do przesłania danego sygnału. Jest to nieco analogiczne do przesyłania informacji przez Internet, gdzie do przesyłania danego obrazu można użyć różnych formatów plików. Różne formaty plików wymagają różnej liczby bitów do przedstawienia tego samego obrazu przy danym poziomie zniekształceń, a niektóre lepiej nadają się do przedstawiania pewnych klas obrazów niż inne. Zgodnie z tym modelem, uważa się, że mózg używa kodu, który jest odpowiedni do przedstawiania wizualnej i dźwiękowej informacji reprezentatywnej dla naturalnego środowiska organizmu.

Efektywne kodowanie i teoria informacji

Na rozwój hipotezy Barlowa wpłynęła teoria informacji wprowadzona przez Claude'a Shannona zaledwie dekadę wcześniej. Teoria informacji zapewnia matematyczne ramy do analizy systemów komunikacyjnych. Formalnie definiuje takie pojęcia , jak informacja , przepustowość kanału i redundancja . Model Barlowa traktuje ścieżkę sensoryczną jako kanał komunikacyjny, w którym impulsy neuronalne są wydajnym kodem reprezentującym sygnały sensoryczne. Kod impulsowy ma na celu maksymalizację dostępnej przepustowości kanału poprzez minimalizację nadmiarowości między jednostkami reprezentacyjnymi. H. Barlow nie był pierwszym, który przedstawił tę ideę: pojawia się ona już w artykule napisanym przez F. Attneave'a z 1954 roku.

Kluczowym przewidywaniem hipotezy efektywnego kodowania jest to, że przetwarzanie sensoryczne w mózgu powinno być dostosowane do naturalnych bodźców. Neurony w układzie wzrokowym (lub słuchowym) powinny być zoptymalizowane do kodowania obrazów (lub dźwięków) reprezentatywnych dla tych występujących w naturze. Naukowcy wykazali, że filtry zoptymalizowane pod kątem kodowania obrazów naturalnych prowadzą do filtrów, które przypominają pola receptywne prostych komórek w V1 . W dziedzinie słuchowej optymalizacja sieci do kodowania dźwięków naturalnych prowadzi do powstania filtrów, które przypominają odpowiedź impulsową filtrów ślimakowych znajdujących się w uchu wewnętrznym .

Ograniczenia w systemie wizualnym

Ze względu na ograniczenia układu wzrokowego, takie jak liczba neuronów i energia metaboliczna wymagana do „aktywności neuronalnej”, system przetwarzania wzrokowego musi mieć wydajną strategię przekazywania jak największej ilości informacji. Informacje muszą być skompresowane, gdy wędrują z siatkówki z powrotem do kory wzrokowej . Podczas gdy receptory siatkówkowe mogą odbierać informacje z szybkością 10^9 bitów/s, nerw wzrokowy , który składa się z 1 miliona komórek zwojowych przesyłających z szybkością 1 bit/s, ma przepustowość tylko 10^6 bitów/s. Następuje dalsza redukcja, która ogranicza całkowitą transmisję do 40 bitów na sekundę, co skutkuje ślepotą nieuwagową . Zatem hipoteza mówi, że neurony powinny kodować informacje tak wydajnie, jak to możliwe, aby zmaksymalizować zasoby neuronowe. Na przykład wykazano, że dane wizualne można skompresować nawet 20-krotnie bez zauważalnej utraty informacji.

Dowody sugerują, że nasz system przetwarzania wizualnego angażuje się w selekcję oddolną. Na przykład ślepota nieuważna sugeruje, że musi nastąpić usunięcie danych na wczesnym etapie ścieżki wzrokowej. To podejście oddolne pozwala nam szybciej reagować na nieoczekiwane i istotne wydarzenia i często jest kierowane przez selekcję uważną. Daje to również naszemu systemowi wizualnemu właściwość ukierunkowania na cel. Wielu sugerowało, że system wizualny jest w stanie działać wydajnie, dzieląc obrazy na odrębne komponenty. Ponadto argumentowano, że system wizualny wykorzystuje nadmiarowość danych wejściowych, aby przekazać jak najwięcej informacji przy użyciu jak najmniejszej ilości zasobów.

System neuronowy oparty na ewolucji

Simoncelli i Olshausen zarysowują trzy główne koncepcje, które, jak się zakłada, są zaangażowane w rozwój neuronauki systemowej:

1. organizm ma określone zadania do wykonania
2. neurony mają możliwości i ograniczenia
3. organizm znajduje się w określonym środowisku.

Jednym z założeń zastosowanych w testowaniu Hipotezy Efektywnego Kodowania jest to, że neurony muszą być ewolucyjnie i rozwojowo przystosowane do naturalnych sygnałów w ich środowisku. Chodzi o to, że systemy percepcyjne będą najszybciej reagować na „bodźce środowiskowe”. System wizualny powinien wyeliminować wszelkie redundancje w wejściu sensorycznym.

Naturalne obrazy i statystyki

Centralnym punktem hipotezy Barlowa jest teoria informacji , która w zastosowaniu do neuronauki twierdzi, że sprawnie kodujący system neuronowy „powinien odpowiadać statystykom sygnałów, które reprezentują”. Dlatego ważne jest, aby móc określić statystyki naturalnych obrazów , które wytwarzają te sygnały. Naukowcy przyjrzeli się różnym składowym naturalnych obrazów, w tym kontrastowi luminancji, kolorowi i sposobowi rejestracji obrazów w czasie. Mogą analizować właściwości naturalnych scen za pomocą aparatów cyfrowych, spektrofotometrów i dalmierzy.

Naukowcy przyglądają się, jak kontrasty luminancji są rozmieszczone przestrzennie na obrazie: kontrasty luminancji są silnie skorelowane, im bliżej znajdują się w mierzalnej odległości, a mniej skorelowane, im dalej od siebie znajdują się piksele. Analiza niezależnych komponentów (ICA) to system algorytmów , który próbuje „liniowo przekształcić dane wejściowe (czujnikowe) w niezależne wyjścia (prądy synaptyczne)”. ICA eliminuje nadmiarowość, dekorelując piksele w naturalnym obrazie. W ten sposób poszczególne składniki składające się na obraz naturalny są statystycznie niezależne . Jednak naukowcy sądzili, że ICA jest ograniczona, ponieważ zakłada, że ​​odpowiedź neuronowa jest liniowa, a zatem niewystarczająco opisuje złożoność naturalnych obrazów. Twierdzą, że pomimo tego, co zakłada się w ramach ICA, składniki naturalnego obrazu mają „strukturę wyższego rzędu”, która obejmuje korelacje między składnikami. Zamiast tego naukowcy opracowali teraz analizę niezależnych składników czasowych (TICA), która lepiej odzwierciedla złożone korelacje występujące między składnikami w naturalnym obrazie. Ponadto „hierarchiczny model kowariancji” opracowany przez Karklina i Lewickiego rozszerza metody kodowania i może reprezentować dodatkowe składniki obrazów naturalnych, takie jak „lokalizacja obiektu, skala i tekstura”.

Widma chromatyczne pochodzące od światła naturalnego, ale także odbijane od „materiałów naturalnych” można łatwo scharakteryzować za pomocą analizy składowych głównych (PCA). Ponieważ stożki pochłaniają określoną ilość fotonów z naturalnego obrazu, naukowcy mogą wykorzystać reakcje stożkowe jako sposób opisania naturalnego obrazu. Naukowcy odkryli , że trzy klasy receptorów czopków w siatkówce mogą dokładnie kodować naturalne obrazy , a kolor jest już zdekorelowany w LGN . Wymodelowano również czas: naturalne obrazy zmieniają się w czasie i możemy wykorzystać te przekształcenia, aby zobaczyć, jak wizualne dane wejściowe zmieniają się w czasie.

Padegogiczny przegląd wydajnego kodowania w przetwarzaniu wzrokowym --- efektywnego kodowania przestrzennego, kodowania kolorami, kodowania czasowego/ruchowego, kodowania stereo i ich kombinacji --- znajduje się w rozdziale 3 książki „Zrozumienie widzenia: teoria, modele, i dane". Wyjaśnia, w jaki sposób efektywne kodowanie jest realizowane, gdy szum wejściowy powoduje, że redukcja nadmiarowości nie jest już wystarczająca, oraz w jaki sposób wydajne kodowanie w różnych sytuacjach jest ze sobą powiązane lub różni się od siebie.

Hipotezy do testowania hipotezy efektywnego kodowania

Jeśli neurony kodują zgodnie z hipotezą efektywnego kodowania, to poszczególne neurony muszą wyrażać swoją pełną zdolność wyjściową. Przed przetestowaniem tej hipotezy konieczne jest zdefiniowanie, co jest uważane za odpowiedź neuronową. Simoncelli i Olshausen sugerują, że wydajnemu neuronowi należy nadać maksymalną wartość odpowiedzi, abyśmy mogli zmierzyć, czy neuron skutecznie osiąga maksymalny poziom. Po drugie, populacja neuronów nie może być nadmiarowa w przesyłaniu sygnałów i musi być statystycznie niezależna. Jeśli hipoteza efektywnego kodowania jest prawidłowa, badacze powinni zauważyć, że w odpowiedziach neuronów występuje rzadkość: to znaczy, że tylko kilka neuronów na raz powinno być uruchamianych w celu uzyskania danych wejściowych.

Podejścia metodologiczne do testowania hipotez

Jednym z podejść jest zaprojektowanie modelu wczesnego przetwarzania sensorycznego w oparciu o statystyki naturalnego obrazu, a następnie porównanie tego przewidywanego modelu z rzeczywistymi reakcjami neuronów na naturalny obraz. Drugie podejście polega na pomiarze systemu neuronowego reagującego na środowisko naturalne i analizie wyników, aby sprawdzić, czy istnieją jakieś statystyczne właściwości tej odpowiedzi.

Przykłady tych podejść

1. Przewidywane podejście modelowe

W jednym badaniu Doi et al. w 2012 roku naukowcy stworzyli przewidywany model odpowiedzi komórek zwojowych siatkówki, który byłby oparty na statystykach wykorzystanych naturalnych obrazów, z uwzględnieniem hałasu i ograniczeń biologicznych. Następnie porównali rzeczywistą transmisję informacji obserwowaną w rzeczywistych komórkach zwojowych siatkówki z tym optymalnym modelem, aby określić wydajność. Odkryli, że transmisja informacji w komórkach zwojowych siatkówki ma ogólną wydajność około 80% i doszli do wniosku, że „funkcjonalna łączność między czopkami a komórkami zwojowymi siatkówki wykazuje unikalną strukturę przestrzenną… zgodną z wydajnością kodowania.

W badaniu van Haterena i Rudermana z 1998 r. wykorzystano ICA do analizy sekwencji wideo i porównano sposób, w jaki komputer analizował niezależne komponenty obrazu z danymi do przetwarzania wizualnego uzyskanymi od kota w DeAngelis et al. 1993. Naukowcy opisali niezależne komponenty uzyskane z sekwencji wideo jako „podstawowe elementy składowe sygnału”, z niezależnym filtrem składowym (ICF) mierzącym „jak silnie każdy element składowy jest obecny”. Postawili hipotezę, że jeśli proste komórki są zorganizowane tak, aby z czasem wyłapywały „podstawową strukturę” obrazów, to komórki powinny zachowywać się jak niezależne filtry składowe. Odkryli, że ICF określone przez komputer były podobne do „ pól receptywnych ” obserwowanych w rzeczywistych neuronach.

2. Analiza rzeczywistego układu nerwowego w odpowiedzi na naturalne obrazy

W raporcie w Science z 2000 r. William E. Vinje i Jack Gallant przedstawili serię eksperymentów wykorzystywanych do testowania elementów hipotezy efektywnego kodowania, w tym teorii, że nieklasyczne pole receptywne (nCRF) koreluje projekcje z pierwotnej kory wzrokowej . Aby to przetestować, wykonali nagrania z neuronów V1 u obudzonych makaków podczas „swobodnego oglądania naturalnych obrazów i warunków”, które symulowały naturalne warunki widzenia. Naukowcy postawili hipotezę, że V1 używa rzadkiego kodu , który jest minimalnie zbędny i "metabolicznie bardziej wydajny". Postawili również hipotezę, że interakcje między klasycznym polem receptywnym (CRF) a nCRF wytworzyły ten wzór rzadkiego kodowania podczas oglądania tych naturalnych scen. Aby to przetestować, utworzyli ścieżki skanowania oczu, a także wyodrębnili łatki, których wielkość wahała się od 1-4 razy większej od średnicy CRF. Odkryli, że rzadkość kodowania wzrasta wraz z rozmiarem łatki. Większe łaty obejmowały więcej nCRF, co wskazuje, że interakcje między tymi dwoma regionami stworzyły rzadki kod. Dodatkowo, wraz ze wzrostem wielkości bodźca, rosła również rzadkość. Sugeruje to, że V1 używa rzadkiego kodu, gdy naturalne obrazy obejmują całe pole widzenia . CRF zdefiniowano jako okrągły obszar otaczający miejsca, w których bodźce wywoływały potencjały czynnościowe . Przetestowali również, aby sprawdzić, czy stymulacja nCRF zwiększyła niezależność odpowiedzi od neuronów V1 poprzez losowy wybór par neuronów. Odkryli, że rzeczywiście, neurony były bardziej rozprzęgnięte po stymulacji nCRF. Podsumowując, eksperymenty Vinje i Gallanta wykazały, że V1 używa rzadkiego kodu, wykorzystując zarówno CRF, jak i nCRF podczas oglądania naturalnych obrazów, przy czym nCRF wykazuje definitywny efekt dekorelujący na neurony, co może zwiększyć ich wydajność poprzez zwiększenie ilości niezależnych informacji niosą. Proponują, że komórki mogą reprezentować poszczególne elementy danej sceny naturalnej, co może przyczynić się do rozpoznawania wzorców

Inne badanie przeprowadzone przez Baddeley et al. wykazali, że rozkłady szybkości odpalania neuronów V1 obszaru wzrokowego kota i neuronów dolnego odcinka skroniowego małpy (IT) były wykładnicze w warunkach naturalistycznych, co implikuje optymalną transmisję informacji dla ustalonej średniej szybkości odpalania. Późniejsze badanie neuronów IT małp wykazało, że tylko mniejszość była dobrze opisana przez wykładniczy rozkład wyzwalania. De Polavieja argumentował później, że ta rozbieżność wynikała z faktu, że wykładnicze rozwiązanie jest poprawne tylko dla przypadku bez szumów i wykazał, że biorąc pod uwagę szum, można uwzględnić obserwowane wyniki.

W badaniu przeprowadzonym przez Dana, Atticka i Reida w 1996 roku wykorzystano naturalne obrazy do przetestowania hipotezy, że na wczesnym etapie ścieżki wzrokowej nadchodzące sygnały wizualne będą zdekorelowane w celu optymalizacji wydajności. Ta dekorelacja może być obserwowana jako „wybielanie” czasowych i przestrzennych widm mocy sygnałów neuronalnych". Naukowcy odtwarzali przed kotami filmy z naturalnymi obrazami i wykorzystywali układ wieloelektrodowy do rejestrowania sygnałów neuronowych. Udało się to osiągnąć poprzez załamanie oczy kotów, a następnie założono w nie soczewki kontaktowe. Odkryli, że w LGN naturalne obrazy były zdekorelowane i doszli do wniosku, że „wczesna droga wzrokowa została specjalnie dostosowana do wydajnego kodowania naturalnych informacji wzrokowych podczas ewolucji i/lub rozwoju”. .

Rozszerzenia

Jednym z implikacji hipotezy efektywnego kodowania jest to, że kodowanie neuronowe zależy od statystyk sygnałów czuciowych. Statystyki te są funkcją nie tylko środowiska (np. statystyki środowiska naturalnego), ale także zachowania organizmu (np. tego, jak porusza się w tym środowisku). Jednak percepcja i zachowanie są ściśle powiązane w cyklu percepcja-działanie. Na przykład proces widzenia obejmuje różnego rodzaju ruchy gałek ocznych . Rozszerzenie hipotezy efektywnego kodowania zwanej aktywnym efektywnym kodowaniem (AEC) rozszerza efektywne kodowanie na aktywną percepcję . Postawiono hipotezę, że czynniki biologiczne optymalizują nie tylko kodowanie neuronowe, ale także zachowanie, aby przyczynić się do wydajnej reprezentacji sensorycznej środowiska. W związku z tym zaproponowano modele rozwoju aktywnego widzenia obuocznego i aktywnego śledzenia wzrokowego.

Mózg ma ograniczone zasoby do przetwarzania informacji, w wizji objawia się to jako wąskie gardło uwagi wzrokowej. Wąskie gardło zmusza mózg do wybrania tylko niewielkiej części wizualnych informacji wejściowych do dalszego przetwarzania, ponieważ samo kodowanie informacji nie jest już wystarczające. Kolejna teoria, Hipoteza Saliency V1 , została opracowana na temat egzogennej selekcji uwagowej wizualnych informacji wejściowych do dalszego przetwarzania na podstawie oddolnej mapy istotności w pierwotnej korze wzrokowej.

Krytyka

Badacze powinni rozważyć, w jaki sposób wykorzystywane są informacje wizualne : Hipoteza nie wyjaśnia, w jaki sposób wykorzystywane są informacje ze sceny wizualnej – co jest głównym celem systemu wizualnego. Konieczne wydaje się zrozumienie, dlaczego przetwarzamy statystyki obrazów ze środowiska, ponieważ może to mieć znaczenie dla ostatecznego przetwarzania tych informacji. Jednak niektórzy badacze mogą postrzegać nieistotność celu widzenia w teorii Barlowa jako zaletę projektowania eksperymentów.

Niektóre eksperymenty pokazują korelacje między neuronami : Rozważając wiele neuronów naraz, nagrania „pokazują korelację, synchronizację lub inne formy statystycznej zależności między neuronami”. Należy jednak zauważyć, że większość tych eksperymentów nie wykorzystywała naturalnych bodźców do wywołania tych odpowiedzi: może to nie pasować bezpośrednio do hipotezy efektywnego kodowania, ponieważ ta hipoteza dotyczy naturalnych statystyk obrazu. W swoim artykule przeglądowym Simoncelli zauważa, że ​​być może możemy nieco inaczej zinterpretować redundancję w hipotezie efektywnego kodowania: twierdzi, że zależność statystyczną można zmniejszyć na „kolejnych etapach przetwarzania”, a nie tylko w jednym obszarze ścieżki sensorycznej.

Obserwowana redundancja : Porównanie liczby komórek zwojowych siatkówki z liczbą neuronów w pierwotnej korze wzrokowej pokazuje wzrost liczby neuronów czuciowych w korze w porównaniu z siatkówką. Simoncelli zauważa, że ​​jednym z głównych argumentów krytyków jest to, że wyżej na ścieżce sensorycznej znajduje się większa liczba neuronów, które zajmują się przetwarzaniem informacji sensorycznych, więc powinno to wydawać się generować nadmiarowość. Jednak ta obserwacja może nie być w pełni istotna, ponieważ neurony mają różne kodowanie neuronowe . W swojej recenzji Simoncelli zauważa, że ​​„neurony korowe mają tendencję do niższych szybkości wyzwalania i mogą wykorzystywać inną formę kodu w porównaniu z neuronami siatkówki”. Neurony korowe mogą również mieć zdolność kodowania informacji przez dłuższy czas niż ich odpowiedniki siatkówkowe. Eksperymenty przeprowadzone w systemie słuchowym potwierdziły, że redundancja jest zmniejszona.

Trudne do przetestowania : oszacowanie ilości informacyjno-teoretycznych wymaga ogromnych ilości danych, a zatem jest niepraktyczne dla weryfikacji eksperymentalnej. Ponadto wiadomo, że estymatory informacyjne są stronnicze. Jednak nastąpił pewien eksperymentalny sukces.

Potrzebujesz dobrze zdefiniowanych kryteriów, co mierzyć : ta krytyka ilustruje jedną z najbardziej podstawowych kwestii związanych z hipotezą. Tutaj przyjmuje się założenia dotyczące definicji zarówno wejść, jak i wyjść systemu. Dane wejściowe do systemu wizualnego nie są w pełni zdefiniowane, ale zakłada się, że są zawarte w zbiorze naturalnych obrazów. Wynik musi być zdefiniowany, aby przetestować hipotezę, ale tutaj również może wystąpić zmienność w oparciu o wybór rodzaju neuronów do pomiaru, ich lokalizacji i rodzaju odpowiedzi, takich jak szybkość wyzwalania lub czasy impulsów, które mają być mierzone .

Jak wziąć pod uwagę hałas : Niektórzy twierdzą, że eksperymenty, które ignorują hałas lub inne fizyczne ograniczenia systemu, są zbyt uproszczone. Jednak niektórym badaczom udało się włączyć te elementy do swoich analiz, tworząc w ten sposób bardziej wyrafinowane systemy.

Jednak dzięki odpowiednim sformułowaniom efektywne kodowanie może również rozwiązać niektóre z tych kwestii poruszonych powyżej. Na przykład przewiduje się, że pewien wymierny stopień nadmiarowości w neuronowych reprezentacjach bodźców zmysłowych (przejawiający się jako korelacje w odpowiedziach neuronalnych) wystąpi, gdy skuteczne kodowanie zostanie zastosowane do zaszumionych bodźców zmysłowych. Można również poczynić falsyfikowalne przewidywania teoretyczne, a niektóre z nich następnie przetestować.

Zastosowania biomedyczne

Możliwe zastosowania hipotezy efektywnego kodowania obejmują projektowanie implantów ślimakowych . Te urządzenia neuroprotetyczne stymulują nerw słuchowy za pomocą impulsów elektrycznych, dzięki czemu część słuchu powraca do osób z wadami słuchu lub nawet niesłyszącymi . Implanty uważane są za udane i skuteczne oraz jako jedyne obecnie w użyciu. Wykorzystanie mapowania częstotliwości i miejsca w wydajnym algorytmie kodowania może przynieść korzyści w stosowaniu implantów ślimakowych w przyszłości. Zmiany w konstrukcji oparte na tej hipotezie mogą zwiększyć zrozumiałość mowy u pacjentów z uszkodzonym słuchem. Badania wykorzystujące mowę wokodowaną przetworzoną przez różne filtry wykazały, że ludzie mieli większą dokładność w rozszyfrowywaniu mowy, gdy była ona przetwarzana przy użyciu wydajnego filtra kodu, w przeciwieństwie do filtra kochleotropowego lub filtra liniowego. Pokazuje to, że wydajne kodowanie danych dotyczących hałasu przyniosło korzyści percepcyjne i dostarczyło słuchaczom większej ilości informacji. Potrzebne są dalsze badania, aby zastosować aktualne odkrycia do istotnych z medycznego punktu widzenia zmian w konstrukcji implantu ślimakowego.

Bibliografia