Imagen profunda antes - Deep Image Prior

Deep Image Prior es un tipo de red neuronal convolucional que se utiliza para mejorar una imagen determinada sin datos de entrenamiento previo distintos de la imagen en sí. Una red neuronal se inicializa al azar y se utilizó como antes para resolver inversa problemas tales como la reducción de ruido , super-resolución , y inpainting . Las estadísticas de la imagen se capturan mediante la estructura de un generador de imágenes convolucional en lugar de cualquier capacidad aprendida previamente.

Método

Fondo

Problemas inversos tales como reducción de ruido , super-resolución , y inpainting se pueden formular como la tarea de optimización , en donde es una imagen, una representación corrupta de esa imagen, es un término datos de tarea-dependiente, y R (x) es el regularizador . Esto forma un problema de minimización de energía. ${\ Displaystyle x ^ {*} = min_ {x} E (x; x_ {0}) + R (x)}$${\ Displaystyle x}$${\ Displaystyle x_ {0}}$${\ Displaystyle E (x; x_ {0})}$

Las redes neuronales profundas aprenden un generador / decodificador que asigna un vector de código aleatorio a una imagen . ${\ Displaystyle x = f _ {\ theta} (z)}$ ${\ Displaystyle z}$${\ Displaystyle x}$

El método de corrupción de imágenes utilizado para generar se selecciona para la aplicación específica. ${\ Displaystyle x_ {0}}$

Detalles específicos

En este enfoque, el prior se reemplaza con el prior implícito capturado por la red neuronal (donde para imágenes que pueden ser producidas por redes neuronales profundas y de otra manera). Esto produce la ecuación del minimizador y el resultado del proceso de optimización . ${\ Displaystyle R (x)}$${\ Displaystyle R (x) = 0}$${\ Displaystyle R (x) = + \ infty}$${\ Displaystyle \ theta ^ {*} = argmin _ {\ theta} E (f _ {\ theta} (z); x_ {0})}$${\ Displaystyle x ^ {*} = f _ {\ theta ^ {*}} (z)}$

El minimizador (típicamente un descenso de gradiente ) comienza a partir de parámetros inicializados aleatoriamente y desciende a un mejor resultado local para producir la función de restauración. ${\ Displaystyle \ theta ^ {*}}$${\ Displaystyle x ^ {*}}$

Sobreajuste

Se puede utilizar un parámetro θ para recuperar cualquier imagen, incluido su ruido. Sin embargo, la red es reacia a captar ruido porque contiene alta impedancia, mientras que la señal útil ofrece baja impedancia. Esto da como resultado que el parámetro θ se aproxime a un óptimo local atractivo siempre que el número de iteraciones en el proceso de optimización permanezca lo suficientemente bajo como para no sobreajustar los datos.

Aplicaciones

Denoising

El principio de eliminación de ruido es recuperar una imagen de una observación ruidosa , donde . En ocasiones, la distribución se conoce (por ejemplo: sensor de perfil y ruido de fotones) y, opcionalmente, se puede incorporar al modelo, aunque este proceso funciona bien en la eliminación de ruido ciega. ${\ Displaystyle x}$${\ Displaystyle x_ {0}}$${\ Displaystyle x_ {0} = x + \ epsilon}$${\ Displaystyle \ epsilon}$

La función de energía cuadrática se utiliza como término de datos, y al insertarla en la ecuación se obtiene el problema de optimización . ${\ Displaystyle E (x, x_ {0}) = || x-x_ {0} || ^ {2}}$${\ Displaystyle \ theta ^ {*}}$${\ Displaystyle min _ {\ theta} || f _ {\ theta} (z) -x_ {0} || ^ {2}}$

Súper resolución

La superresolución se utiliza para generar una versión de mayor resolución de la imagen x. El término de datos se establece en donde d (·) es un operador de submuestreo como Lanczos que diezma la imagen por un factor t. ${\ Displaystyle E (x; x_ {0}) = || d (x) -x_ {0} || ^ {2}}$

En pintura

Inpainting se utiliza para reconstruir un área faltante en una imagen . Estos píxeles faltantes se definen como la máscara binaria . El término de datos se define como (donde está el producto Hadamard ). ${\ Displaystyle x_ {0}}$${\ Displaystyle m \ in \ {0,1 \} ^ {H \ times V}}$${\ Displaystyle E (x; x_ {0}) = || (x-x_ {0}) \ odot m || ^ {2}}$${\ Displaystyle \ odot}$

Reconstrucción flash-no-flash

Este enfoque puede extenderse a múltiples imágenes. Un ejemplo sencillo mencionado por el autor es la reconstrucción de una imagen para obtener luz natural y claridad a partir de un par flash-no-flash. La reconstrucción de video es posible pero requiere optimizaciones para tener en cuenta las diferencias espaciales.

Implementaciones

• El autor publicó una implementación de referencia reescrita en Python 3.6 con la biblioteca PyTorch 0.4.0 bajo la licencia de Apache 2.0 : deep-image-prior
• Una implementación basada en TensorFlow escrita en Python 2 y publicada bajo la licencia CC-SA 3.0 : deep-image-prior-tensorflow
• Una implementación basada en Keras escrita en Python 2 y publicada bajo la GPLv3 : machine_learning_denoising

Referencias

• Ulyanov, Dmitry; Vedaldi, Andrea; Lempitsky, Victor (30 de noviembre de 2017). "Prioridad de imagen profunda". arXiv : 1711.10925v2 [ cs.CV ].