Derin Görüntü Öncesi - Deep Image Prior

Deep Image Prior , görüntünün kendisinden başka önceden eğitim verisi olmadan belirli bir görüntüyü geliştirmek için kullanılan bir tür evrişimli sinir ağıdır . Bir sinir ağı rasgele başlatılır ve gürültü azaltma , süper çözünürlük ve iç boyama gibi ters problemleri çözmeden önce kullanılır . Görüntü istatistikleri, önceden öğrenilmiş yeteneklerden ziyade bir evrişimli görüntü oluşturucunun yapısı tarafından yakalanır.

Yöntem

Arka fon

Gürültü azaltma , süper çözünürlük ve iç boyama gibi ters problemler , optimizasyon görevi olarak formüle edilebilir; burada bir görüntü, bu görüntünün bozuk bir temsili, göreve bağlı bir veri terimidir ve R(x) düzenleyicidir . Bu bir enerji minimizasyon problemi oluşturur. ${\displaystyle x^{*}=min_{x}E(x;x_{0})+R(x)}$${\görüntüleme stili x}$${\görüntüleme stili x_{0}}$${\ Displaystyle E(x;x_{0})}$

Derin sinir ağları , rastgele bir kod vektörünü bir görüntüye eşleyen bir üreteç/kod çözücü öğrenir . ${\displaystyle x=f_{\theta }(z)}$ ${\görüntüleme stili z}$${\görüntüleme stili x}$

Oluşturmak için kullanılan görüntü bozulma yöntemi , belirli uygulama için seçilir. ${\görüntüleme stili x_{0}}$

Özellikler

Bu yaklaşımda, önceki, sinir ağı tarafından yakalanan örtük önceki ile değiştirilir (burada derin bir sinir ağları tarafından üretilebilen görüntüler için ve başka türlü). Bu, küçültücü denklemini ve optimizasyon işleminin sonucunu verir . ${\görüntüleme stili R(x)}$${\görüntüleme stili R(x)=0}$${\displaystyle R(x)=+\infty }$${\displaystyle \theta ^{*}=argmin_{\teta }E(f_{\theta }(z);x_{0})}$${\displaystyle x^{*}=f_{\theta ^{*}}(z)}$

Küçültücü (tipik olarak bir gradyan inişi ) rastgele başlatılan parametrelerden başlar ve restorasyon işlevini vermek için yerel bir en iyi sonuca iner . ${\görüntüleme stili\teta ^{*}}$${\görüntüleme stili x^{*}}$

Aşırı uyum gösterme

Parametresi θ, paraziti de dahil olmak üzere herhangi bir görüntüyü kurtarmak için kullanılabilir. Bununla birlikte, ağ, yüksek empedans içerdiğinden, faydalı sinyal düşük empedans sunduğundan gürültüyü almaya isteksizdir. Bu , optimizasyon sürecindeki yineleme sayısı verilere fazla sığmayacak kadar düşük kaldığı sürece , θ parametresinin iyi görünen bir yerel optimuma yaklaşmasıyla sonuçlanır .

Uygulamalar

Gürültü arındırma

Prensibi denoising bir görüntü kurtarmak için gürültülü bir gözleminden nerede, . Dağılım bazen bilinir (örneğin: profil oluşturma sensörü ve foton gürültüsü) ve isteğe bağlı olarak modele dahil edilebilir, ancak bu süreç kör gürültü gidermede iyi çalışır. ${\görüntüleme stili x}$${\görüntüleme stili x_{0}}$${\displaystyle x_{0}=x+\epsilon }$${\görüntüleme stili \epsilon }$

İkinci dereceden enerji fonksiyonu , veri terimi olarak kullanılır ve optimizasyon problemini elde etmek için denkleme eklenir . ${\displaystyle E(x,x_{0})=||x-x_{0}||^{2}}$${\görüntüleme stili\teta ^{*}}$${\displaystyle min_{\theta }||f_{\theta }(z)-x_{0}||^{2}}$

süper çözünürlük

Süper çözünürlük , x görüntüsünün daha yüksek çözünürlüklü bir sürümünü oluşturmak için kullanılır. Veri terimi, d(·)'nin , Lanczos gibi görüntüyü bir t faktörü kadar azaltan bir altörnekleme operatörü olduğu yerde ayarlanır . ${\displaystyle E(x;x_{0})=||d(x)-x_{0}||^{2}}$

iç boyama

İç boyama , bir görüntüdeki eksik bir alanı yeniden oluşturmak için kullanılır . Bu eksik pikseller ikili maske olarak tanımlanır . Veri terimi olarak tanımlanır (burada olduğu Hadamard ürün ). ${\görüntüleme stili x_{0}}$${\displaystyle m\in \{0,1\}^{H\times V}}$${\displaystyle E(x;x_{0})=||(x-x_{0})\odot m||^{2}}$${\ ekran stili \ nokta }$

Flaşsız yeniden yapılandırma

Bu yaklaşım birden fazla görüntüye genişletilebilir. Yazar tarafından bahsedilen basit bir örnek, bir flaş-flaşsız çiftinden doğal ışık ve netlik elde etmek için bir görüntünün yeniden yapılandırılmasıdır. Video rekonstrüksiyonu mümkündür ancak mekansal farklılıkları hesaba katmak için optimizasyonlar gerektirir.

Uygulamalar

• Python 3.6'da PyTorch 0.4.0 kitaplığı ile yeniden yazılan bir referans uygulaması , yazar tarafından Apache 2.0 lisansı altında yayınlandı : deep-image-prior
• Bir TensorFlow uygulanmasını yazılmış tabanlı Python 2 ve altında yayınlanan CC-SA 3.0 : lisansı derin görüntü önceki tensorflow
• Bir Keras uygulaması ile yazılmış tabanlı Python 2 ve altında yayınlanan GPLv3 : machine_learning_denoising

Referanslar

• Ulyanov, Dmitry; Vedaldi, Andrea; Lempitsky, Victor (30 Kasım 2017). "Derin Görüntü Öncesi". arXiv : 1711.10925v2 [ cs.CV ].