Prior Image Deep - Deep Image Prior

Deep Image Prior este un tip de rețea neuronală convoluțională utilizată pentru a îmbunătăți o anumită imagine fără alte date de antrenament anterioare decât imaginea în sine. O rețea neuronală este inițializată aleatoriu și utilizată anterior pentru rezolvarea problemelor inverse, cum ar fi reducerea zgomotului , super-rezoluția și pictura . Statistica de imagine este capturată mai degrabă de structura unui generator de imagini convoluțional decât de orice capacități învățate anterior.

Metodă

fundal

Probleme inverse, cum ar fi reducerea zgomotului , super-rezoluția și pictura pot fi formulate ca sarcina de optimizare , unde este o imagine, o reprezentare coruptă a acelei imagini, este un termen de date dependent de sarcină, iar R (x) este regulatorul . Aceasta formează o problemă de minimizare a energiei. ${\ displaystyle x ^ {*} = min_ {x} E (x; x_ {0}) + R (x)}$${\ displaystyle x}$${\ displaystyle x_ {0}}$${\ displaystyle E (x; x_ {0})}$

Rețelele neuronale profunde învață un generator / decodor care mapează un vector de cod aleatoriu la o imagine . ${\ displaystyle x = f _ {\ theta} (z)}$ ${\ displaystyle z}$${\ displaystyle x}$

Metoda de corupere a imaginii utilizată pentru a genera este selectată pentru aplicația specifică. ${\ displaystyle x_ {0}}$

Specificații

În această abordare, priorul este înlocuit cu priorul implicit capturat de rețeaua neuronală (în cazul imaginilor care pot fi produse de o rețea neuronală profundă și altfel). Acest lucru dă ecuația minimizatorului și rezultatul procesului de optimizare . ${\ displaystyle R (x)}$${\ displaystyle R (x) = 0}$${\ displaystyle R (x) = + \ infty}$${\ displaystyle \ theta ^ {*} = argmin _ {\ theta} E (f _ {\ theta} (z); x_ {0})}$${\ displaystyle x ^ {*} = f _ {\ theta ^ {*}} (z)}$

Minimizatorul (de obicei o coborâre în gradient ) pornește de la parametri inițializați aleatoriu și coboară într-un rezultat local optim pentru a produce funcția de restaurare. ${\ displaystyle \ theta ^ {*}}$${\ displaystyle x ^ {*}}$

Suprapunerea

Un parametru θ poate fi utilizat pentru a recupera orice imagine, inclusiv zgomotul acesteia. Cu toate acestea, rețeaua este reticentă să ridice zgomotul, deoarece conține o impedanță ridicată, în timp ce semnalul util oferă o impedanță redusă. Acest lucru are ca rezultat ca parametrul approach să se apropie de un optim local frumos, atât timp cât numărul de iterații din procesul de optimizare rămâne suficient de mic pentru a nu depăși datele.

Aplicații

Denoising

Principiul denoising este de a recupera o imagine dintr-o observație zgomotoasă , unde . Distribuția este uneori cunoscută (de exemplu: senzor de profilare și zgomot de fotoni) și poate fi opțional încorporată în model, deși acest proces funcționează bine în denoising-ul orb. ${\ displaystyle x}$${\ displaystyle x_ {0}}$${\ displaystyle x_ {0} = x + \ epsilon}$${\ displaystyle \ epsilon}$

Funcția de energie pătratică este utilizată ca termen de date, conectându-l la ecuație pentru a rezulta problema de optimizare . ${\ displaystyle E (x, x_ {0}) = || x-x_ {0} || ^ {2}}$${\ displaystyle \ theta ^ {*}}$${\ displaystyle min _ {\ theta} || f _ {\ theta} (z) -x_ {0} || ^ {2}}$

Super-rezoluție

Super-rezoluția este utilizată pentru a genera o versiune de rezoluție mai mare a imaginii x. Termenul de date este setat în cazul în care d (·) este un operator de prelevare de probe, cum ar fi Lanczos, care decimează imaginea cu un factor t. ${\ displaystyle E (x; x_ {0}) = || d (x) -x_ {0} || ^ {2}}$

Vopsirea

Pictura este utilizată pentru a reconstrui o zonă lipsă dintr-o imagine . Acești pixeli lipsă sunt definiți ca masca binară . Termenul de date este definit ca (unde este produsul Hadamard ). ${\ displaystyle x_ {0}}$${\ displaystyle m \ in \ {0,1 \} ^ {H \ times V}}$${\ displaystyle E (x; x_ {0}) = || (x-x_ {0}) \ odot m || ^ {2}}$${\ displaystyle \ odot}$

Reconstrucție bliț fără bliț

Această abordare poate fi extinsă la mai multe imagini. Un exemplu simplu menționat de autor este reconstrucția unei imagini pentru a obține lumină naturală și claritate dintr-o pereche bliț-fără-bliț. Reconstrucția video este posibilă, dar necesită optimizări pentru a lua în considerare diferențele spațiale.

Implementări

• O implementare de referință rescrisă în Python 3.6 cu biblioteca PyTorch 0.4.0 a fost lansată de autor sub licența Apache 2.0 : deep-image-prior
• O implementare bazată pe TensorFlow scrisă în Python 2 și lansată sub licența CC-SA 3.0 : deep-image-prior-tensorflow
• O implementare bazată pe Keras scrisă în Python 2 și lansată sub GPLv3 : machine_learning_denoising

Referințe

• Ulyanov, Dmitry; Vedaldi, Andrea; Lempitsky, Victor (30 noiembrie 2017). „Prior Image Deep”. arXiv : 1711.10925v2 [ cs.CV ].