Deep Image Prior - Deep Image Prior

Deep Image Prior je typ konvoluční neurální sítě používané k vylepšení daného obrazu bez předchozích tréninkových dat kromě samotného obrazu. Neuronová síť je náhodně inicializována a použita jako předtím k řešení inverzních problémů, jako je redukce šumu , super rozlišení a inpainting . Statistika obrazu je zachycena spíše strukturou generátoru konvolučních obrazů, než jakoukoli dříve naučenou schopností.

Metoda

Pozadí

Inverzní problémy, jako je redukce šumu , super-rozlišení a malování, lze formulovat jako optimalizační úkol , kde je obraz, poškozená reprezentace tohoto obrazu, je datový termín závislý na úkolu a R (x) je regulátor . To vytváří problém s minimalizací energie. ${\ displaystyle x ^ {*} = min_ {x} E (x; x_ {0}) + R (x)}$${\ displaystyle x}$${\ displaystyle x_ {0}}$${\ displaystyle E (x; x_ {0})}$

Hluboké neuronové sítě se učí generátor / dekodér, který mapuje náhodný vektor kódu na obrázek . ${\ displaystyle x = f _ {\ theta} (z)}$ ${\ displaystyle z}$${\ displaystyle x}$

Metoda poškození obrazu použitá ke generování je vybrána pro konkrétní aplikaci. ${\ displaystyle x_ {0}}$

Specifika

V tomto přístupu je předchozí nahrazen implicitním předchozím zachyceným neurální sítí (kde pro obrázky, které mohou být vytvořeny hlubokými neuronovými sítěmi a jinak). Tím se získá rovnice pro minimalizátor a výsledek procesu optimalizace . ${\ displaystyle R (x)}$${\ displaystyle R (x) = 0}$${\ displaystyle R (x) = + \ infty}$${\ displaystyle \ theta ^ {*} = argmin _ {\ theta} E (f _ {\ theta} (z); x_ {0})}$${\ displaystyle x ^ {*} = f _ {\ theta ^ {*}} (z)}$

Minimalizátor (obvykle sestup gradientu ) začíná od náhodně inicializovaných parametrů a sestupuje do místního nejlepšího výsledku, aby poskytl funkci obnovení. ${\ displaystyle \ theta ^ {*}}$${\ displaystyle x ^ {*}}$

Overfitting

Parametr θ lze použít k obnovení jakéhokoli obrazu, včetně jeho šumu. Síť se však zdráhá zachytit šum, protože obsahuje vysokou impedanci, zatímco užitečný signál nabízí nízkou impedanci. To má za následek, že se parametr θ blíží dobře vypadajícímu lokálnímu optimu , pokud počet iterací v procesu optimalizace zůstává dostatečně nízký, aby nepřekročil data.

Aplikace

Odšumění

Principem potlačení šumu je obnovení obrazu z hlučného pozorování , kde . Distribuce je někdy známá (např. Profilovací senzor a fotonový šum) a může být volitelně začleněna do modelu, i když tento proces funguje dobře při slepém odšumění. ${\ displaystyle x}$${\ displaystyle x_ {0}}$${\ displaystyle x_ {0} = x + \ epsilon}$${\ displaystyle \ epsilon}$

Jako datový termín se používá kvadratická energetická funkce , která se zapojí do rovnice, čímž se získá problém s optimalizací . ${\ displaystyle E (x, x_ {0}) = || x-x_ {0} || ^ {2}}$${\ displaystyle \ theta ^ {*}}$${\ displaystyle min _ {\ theta} || f _ {\ theta} (z) -x_ {0} || ^ {2}}$

Super rozlišení

Super rozlišení se používá ke generování verze obrazu x s ​​vyšším rozlišením. Datový člen je nastaven na místo, kde d (·) je operátor převzorkování, jako je Lanczos, který decimuje obraz faktorem t. ${\ displaystyle E (x; x_ {0}) = || d (x) -x_ {0} || ^ {2}}$

Malování

Inpainting se používá k rekonstrukci chybějící oblasti v obraze . Tyto chybějící pixely jsou definovány jako binární maska . Datový termín je definován jako (kde je produkt Hadamard ). ${\ displaystyle x_ {0}}$${\ displaystyle m \ in \ {0,1 \} ^ {H \ krát V}}$${\ displaystyle E (x; x_ {0}) = || (x-x_ {0}) \ odot m || ^ {2}}$${\ displaystyle \ odot}$

Rekonstrukce blesku bez blesku

Tento přístup lze rozšířit na více obrázků. Přímým příkladem, který autor zmínil, je rekonstrukce obrazu za účelem získání přirozeného světla a jasnosti z dvojice blesk-ne-blesk. Rekonstrukce videa je možná, ale vyžaduje zohlednění prostorových rozdílů optimalizací.

Implementace

• Referenční implementace přepsán v Pythonu 3.6 se PyTorch 0.4.0 knihovny byl propuštěn autorem pod Apache 2.0 licencí: deep-image-před
• TensorFlow založené realizaci napsaný v Pythonu 2 a vydané pod CC-SA 3.0 Licence: deep-image-předchozího tensorflow
• KERAS založené implementace napsaný v Pythonu 2 a povolený pod GPLv3 : machine_learning_denoising

Reference

• Uljanov, Dmitrij; Vedaldi, Andrea; Lempitsky, Victor (30. listopadu 2017). "Priorita hlubokého obrazu". arXiv : 1711.10925v2 [ cs.CV ].