Prima immagine profonda - Deep Image Prior

Deep Image Prior è un tipo di rete neurale convoluzionale utilizzata per migliorare una determinata immagine senza dati di addestramento precedenti diversi dall'immagine stessa. Una rete neurale viene inizializzata in modo casuale e utilizzata come prima per risolvere problemi inversi come riduzione del rumore , super-risoluzione e ripristino della pittura . Le statistiche delle immagini vengono catturate dalla struttura di un generatore di immagini convoluzionale piuttosto che da qualsiasi capacità appresa in precedenza.

Metodo

sfondo

I problemi inversi come la riduzione del rumore , la super-risoluzione e il ripristino della pittura possono essere formulati come attività di ottimizzazione , dove è un'immagine, una rappresentazione corrotta di quell'immagine, è un termine di dati dipendente dall'attività e R(x) è il regolarizzatore . Ciò costituisce un problema di minimizzazione dell'energia. ${\displaystyle x^{*}=min_{x}E(x;x_{0})+R(x)}$${\displaystyle x}$${\displaystyle x_{0}}$${\displaystyle E(x;x_{0})}$

Le reti neurali profonde apprendono un generatore/decodificatore che mappa un vettore di codice casuale su un'immagine . ${\displaystyle x=f_{\theta }(z)}$ ${\displaystyle z}$${\displaystyle x}$

Il metodo di danneggiamento dell'immagine utilizzato per generare è selezionato per l'applicazione specifica. ${\displaystyle x_{0}}$

Specifiche

In questo approccio, il precedente viene sostituito con il precedente implicito catturato dalla rete neurale (dove per immagini che possono essere prodotte da reti neurali profonde e non). Questo produce l'equazione per il minimo e il risultato del processo di ottimizzazione . ${\displaystyle R(x)}$${\displaystyle R(x)=0}$${\displaystyle R(x)=+\infty}$${\displaystyle \theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})}$${\displaystyle x^{*}=f_{\theta ^{*}}(z)}$

Il minimizzatore (tipicamente una discesa del gradiente ) parte da un parametro inizializzato casualmente e scende in un miglior risultato locale per ottenere la funzione di ripristino. ${\displaystyle \theta ^{*}}$${\displaystyle x^{*}}$

sovradattamento

Un parametro può essere utilizzato per recuperare qualsiasi immagine, compreso il suo rumore. Tuttavia, la rete è riluttante a rilevare il rumore perché contiene un'alta impedenza mentre il segnale utile offre una bassa impedenza. Ciò fa sì che il parametro si avvicini a un ottimo locale di bell'aspetto purché il numero di iterazioni nel processo di ottimizzazione rimanga sufficientemente basso da non sovrastimare i dati.

Applicazioni

denoising

Il principio del denoising consiste nel recuperare un'immagine da un'osservazione rumorosa , dove . La distribuzione è talvolta nota (ad es.: sensore di profilatura e rumore fotonico) e può facoltativamente essere incorporata nel modello, sebbene questo processo funzioni bene nel denoising cieco. ${\displaystyle x}$${\displaystyle x_{0}}$${\displaystyle x_{0}=x+\epsilon }$${\displaystyle\epsilon}$

La funzione di energia quadratica viene utilizzata come termine di dati, inserendola nell'equazione per si ottiene il problema di ottimizzazione . ${\displaystyle E(x,x_{0})=||x-x_{0}||^{2}}$${\displaystyle \theta ^{*}}$${\displaystyle min_{\theta }||f_{\theta }(z)-x_{0}||^{2}}$

Super-risoluzione

La super-risoluzione viene utilizzata per generare una versione a risoluzione più elevata dell'immagine x. Il termine dati è impostato su dove d(·) è un operatore di downsampling come Lanczos che decima l'immagine di un fattore t. ${\displaystyle E(x;x_{0})=||d(x)-x_{0}||^{2}}$

ridipingere

L'inpainting viene utilizzato per ricostruire un'area mancante in un'immagine . Questi pixel mancanti sono definiti come maschera binaria . Il termine dati è definito come (dove è il prodotto Hadamard ). ${\displaystyle x_{0}}$${\displaystyle m\in \{0,1\}^{H\times V}}$${\displaystyle E(x;x_{0})=||(x-x_{0})\odot m||^{2}}$${\displaystyle \odot}$

Ricostruzione senza flash

Questo approccio può essere esteso a più immagini. Un chiaro esempio citato dall'autore è la ricostruzione di un'immagine per ottenere luce naturale e chiarezza da una coppia flash-no-flash. La ricostruzione video è possibile ma richiede ottimizzazioni per tenere conto delle differenze spaziali.

implementazioni

• Un'implementazione di riferimento riscritta in Python 3.6 con la libreria PyTorch 0.4.0 è stata rilasciata dall'autore con la licenza Apache 2.0 : deep-image-prior
• Un tensorflow a base di implementazione scritto in Python 2 e rilasciato sotto CC-SA 3.0 licenza: deep-image-prima-tensorflow
• Un Keras basati implementazione scritto in Python 2 e rilasciato sotto la GPLv3 : machine_learning_denoising

Riferimenti

• Ulyanov, Dmitrij; Vedaldi, Andrea; Lempitsky, Victor (30 novembre 2017). "Immagine profonda prima". arXiv : 1711.10925v2 [ cs.CV ].