Řezy grafů v počítačovém vidění - Graph cuts in computer vision

Jak je použit v oblasti počítačového vidění , graf optimalizace cut mohou být použity k účinně řešit celou řadu problémů, low-level počítačového vidění ( brzy vidění ), jako je například obraz vyhlazování , stereo korespondence problému , segmentace obrazu , objektu společné segmentace a mnoho dalších problémů s počítačovým viděním, které lze formulovat z hlediska minimalizace energie . Mnoho z těchto problémů s minimalizací energie lze aproximovat řešením problému s maximálním průtokem v grafu (a tedy pomocí věty o minimálním řezu maximálního průtoku definovat minimální řez grafu). Ve většině formulací takových problémů v počítačovém vidění odpovídá řešení minimální energie maximu a posteriori odhadu řešení. Ačkoli mnoho algoritmů počítačového vidění zahrnuje vyjmutí grafu (např. Normalizované výřezy), termín „výřezy grafu“ se vztahuje konkrétně na ty modely, které využívají optimalizaci max. Průtok/min. Řez (za dělení grafu lze považovat jiné algoritmy pro řezání grafu algoritmy).

„Binární“ problémy (jako je odšumění binárního obrazu) lze vyřešit přesně pomocí tohoto přístupu; problémy, kde lze pixely označit více než dvěma různými značkami (například stereofonní korespondence nebo odstranění šumu ve stupních šedi ), nelze přesně vyřešit, ale vytvářená řešení se obvykle blíží globálnímu optimu.

Dějiny

Teorie grafových řezů použitá jako optimalizační metoda byla poprvé použita v počítačovém vidění v klíčovém příspěvku Greiga, Porteousa a Seheulta z Durhamské univerzity . Allan Seheult a Bruce Porteous byli členy velebené Durhamovy statistiky té doby, vedené Julianem Besagem a Peterem Greenem (statistik) , přičemž odbornice na optimalizaci Margaret Greigová byla pozoruhodná jako vůbec první ženská členka oddělení Durhamského oddělení matematických věd.

V Bayesian statistické kontextu vyhlazení Noisy (nebo poškození) obrazy, se ukázalo, jak maximální posteriori odhad z binárního obrazu lze získat přesně maximalizací průtoku přes souvisejícím obrázkem síti, zahrnující zavedení zdroje a umyvadlem . Ukázalo se tedy, že problém je efektivně řešitelný. Před tímto výsledkem byly k vyřešení takových problémů s vyhlazováním obrazu použity přibližné techniky, jako je simulované žíhání (jak navrhli bratři Gemani ) nebo iterované podmíněné režimy (typ chamtivého algoritmu podle návrhu Juliana Besaga ).

Přestože obecný problém s barvou zůstává pro přístup Greiga nevyřešen, ukázalo se, že Porteous a Seheult mají širokou použitelnost v obecných problémech počítačového vidění. Greigův, Porteousův a Seheultův přístup se často aplikuje iterativně na posloupnost binárních problémů, přičemž obvykle přináší téměř optimální řešení. ${\ displaystyle k}$ ${\ displaystyle k> 2,}$

V roce 2011 C. Couprie a kol. navrhl obecný rámec segmentace obrazu, nazývaný „Power Watershed“, který minimalizuje funkci indikátoru s reálnou hodnotou z [0,1] na graf, omezený uživatelskými počty (nebo unárními výrazy) nastavenými na 0 nebo 1, ve kterých minimalizace funkce indikátoru nad grafem je optimalizována s ohledem na exponent . Když je Power Watershed optimalizována pomocí řezů grafů, když je Power Watershed optimalizována nejkratšími cestami, je optimalizována algoritmem Random Walker a je optimalizována algoritmem Watershed (zpracování obrazu) . Tímto způsobem lze na Power Watershed pohlížet jako na zobecnění řezů grafů, které poskytují přímé spojení s jinými algoritmy segmentace/shlukování pro optimalizaci energie. ${\ displaystyle p}$ ${\ displaystyle p = 1}$ ${\ displaystyle p = 0}$ ${\ displaystyle p = 2}$ ${\ displaystyle p = \ infty}$

Binární segmentace obrázků

Zápis

Obraz: ${\ Displaystyle x \ in \ {R, G, B \}^{N}}$
Výstup: Segmentace (také nazývaná opacita) (měkká segmentace). Pro tvrdou segmentaci ${\ displaystyle S \ v R^{N}}$ ${\ Displaystyle S \ in \ {0 {\ text {pro pozadí}}, 1 {\ text {pro popředí/objekt, který má být detekován}} \}^{N}}$
Energetická funkce : kde C je barevný parametr a λ je parametr koherence. ${\ Displaystyle E (x, S, C, \ lambda)}$
${\ Displaystyle E (x, S, C, \ lambda) = E _ {\ rm {color}}+E _ {\ rm {coherence}}}$
Optimalizace: Segmentaci lze odhadnout jako globální minimum nad S: ${\ Displaystyle {\ arg \ min} _ {S} E (x, S, C, \ lambda)}$

Stávající metody

Standardní výřezy grafu: optimalizace energetické funkce přes segmentaci (neznámá hodnota S).
Iterované řezy grafu:

První krok optimalizuje parametry barev pomocí K-means.
Druhý krok provede obvyklý algoritmus řezání grafů.

Tyto 2 kroky se rekurzivně opakují až do konvergence.

Dynamické řezy grafů:
Umožňuje znovu spustit algoritmus mnohem rychleji po úpravě problému (např. Poté, co uživatel přidal nová semena).

Energetická funkce

{\ Displaystyle \ Pr (x \ mid S) = K^{-E}}

kde energie se skládá ze dvou různých modelů ( a ): ${\ displaystyle E}$ ${\ displaystyle E _ {\ rm {color}}}$ ${\ displaystyle E _ {\ rm {coherence}}}$

Pravděpodobnost / Barevný model / Regionální období

${\ displaystyle E _ {\ rm {color}}}$ - unární termín popisující pravděpodobnost každé barvy.

Tento termín lze modelovat pomocí různých místních (např. Texonů) nebo globálních (např. Histogramů, GMM, pravděpodobnosti Adaboost) popsaných níže.

Histogram

Intenzity pixelů označených jako semena používáme k získání histogramů pro distribuce intenzity objektu (popředí) a pozadí: P (I | O) a P (I | B).
Poté použijeme tyto histogramy k nastavení regionálních pokut jako negativních pravděpodobností logu.

GMM (Gaussův model směsi)

Obvykle používáme dvě distribuce: jednu pro modelování na pozadí a druhou pro pixely v popředí.
K modelování těchto 2 distribucí použijte model Gaussovy směsi (s 5–8 komponentami).
Cíl: Pokuste se tyto dvě distribuce rozdělit.

Texon

Texon (nebo texton) je sada pixelů, které mají určité vlastnosti a v obrázku se opakují.
Kroky:

Určete dobré přirozené měřítko pro prvky textury.
Vypočítejte neparametrickou statistiku texonů vnitřních částí modelu, a to buď podle intenzity, nebo podle odpovědí Gaborova filtru.

Příklady:
- Segmentace texturovaných objektů založená na deformovatelném modelu
- Analýza obrysů a textur pro segmentaci obrazu

Prior / Koherenční model / Hraniční termín

${\ displaystyle E _ {\ rm {coherence}}}$ - binární termín popisující soudržnost mezi sousedními pixely.

V praxi jsou pixely definovány jako sousedy, pokud sousedí buď horizontálně, vertikálně nebo diagonálně (4cestné připojení nebo 8cestné připojení pro 2D obrázky).
Náklady mohou být založeny na gradientu místní intenzity, Laplaciánském přechodu nulou, směru gradientu, modelu barevné směsi, ...
Byly definovány různé energetické funkce:
- Standardní Markovovo náhodné pole : Přiřaďte sankci za nesouhlasné pixely vyhodnocením rozdílu mezi jejich štítkem segmentace (hrubá míra délky hranic). Viz Boykov a Kolmogorov ICCV 2003
- Podmíněné náhodné pole : Pokud je barva velmi odlišná, mohlo by to být dobré místo pro ohraničení. Viz Lafferty et al. 2001; Kumar a Hebert 2003

Kritika

Metody řezání grafů se staly oblíbenými alternativami k přístupům založeným na úrovňové sadě pro optimalizaci umístění obrysu (rozsáhlé srovnání viz.). Přístupy ke snížení grafu však byly v literatuře kritizovány pro několik problémů:

Metrikační artefakty: Pokud je obrázek reprezentován mřížkou spojenou se 4, mohou metody řezání grafu vykazovat nežádoucí artefakty „blokovanosti“. Pro řešení tohoto problému byly navrženy různé metody, například použití dalších hran nebo formulace problému maximálního toku v souvislém prostoru.
Zmenšování zkreslení: Vzhledem k tomu, že řezy grafů nacházejí minimální řez, může být algoritmus zkreslený směrem k vytvoření malé kontury. Algoritmus například není vhodný pro segmentaci tenkých předmětů, jako jsou cévy (viz navrhovaná oprava).
Více štítků: Řezy grafů dokážou najít pouze globální optimum pro problémy s binárním označováním (tj. Dva štítky), jako je segmentace popředí/pozadí obrázku. Byla navržena rozšíření, která mohou najít přibližná řešení problémů s víceznačnými řezy grafů.
Paměť: využití paměti při řezání grafu se rychle zvyšuje s rostoucí velikostí obrázku. Algoritmus Boykov-Kolmogorovova maximálního toku v2.2 pro ilustraci alokuje bajty ( a jsou příslušným počtem uzlů a hran v grafu). Přesto bylo v tomto směru v poslední době provedeno určité množství práce pro redukci grafů před výpočtem maximálního toku. ${\ displaystyle 24n+14m}$ ${\ displaystyle n}$ ${\ displaystyle m}$

Algoritmus

Minimalizace se provádí pomocí standardního algoritmu minimálního řezu.
Díky větě o minimálním řezu Max-flow můžeme vyřešit minimalizaci energie maximalizací toku po síti. Problém Max Flow se skládá z orientovaného grafu s hranami označenými kapacitami a existují dva odlišné uzly: zdroj a jímka. Intuitivně je snadné zjistit, že maximální průtok je určen úzkým hrdlem.

Implementace (přesná)

Algoritmus Boykov-Kolmogorov je účinný způsob výpočtu maximálního toku pro graf související s počítačovým viděním.

Implementace (aproximace)

Algoritmus Sim Cut aproximuje řez grafu. Algoritmus implementuje řešení simulací elektrické sítě. Toto je přístup navržený Cederbaumovou větou o maximálním toku . Zrychlení algoritmu je možné prostřednictvím paralelního výpočtu.

Software

http://pub.ist.ac.at/~vnk/software.html-Implementace algoritmu maxflow popsaného v „Experimentálním srovnání algoritmů Min-Cut/Max-Flow pro minimalizaci energie při počítačovém vidění“ od Vladimíra Kolmogorova
http://vision.csd.uwo.ca/code/ - některé knihovny řezaných grafů a obaly MATLAB
http://gridcut.com/-rychlý vícejádrový řešič max. průtoku/min. řezu optimalizovaný pro mřížkové grafy
http://virtualscalpel.com/ - Implementace Sim Cut ; algoritmus pro výpočet přibližného řešení minimálního řezu masivně paralelním způsobem.

Languages

In other projects