Detekce popředí - Foreground detection

Detekce popředí je jedním z hlavních úkolů v oblasti počítačového vidění a zpracování obrazu, jehož cílem je detekovat změny v sekvencích obrazu. Odčítání pozadí je jakákoli technika, která umožňuje extrahovat popředí obrazu pro další zpracování (rozpoznávání objektů atd.).

Mnoho aplikací nemusí vědět vše o vývoji pohybu ve videosekvenci, ale vyžaduje pouze informace o změnách ve scéně, protože oblasti zájmu obrázku jsou objekty (lidé, auta, text atd.) V jeho popředí. Po fázi předzpracování obrazu (což může zahrnovat odšumování obrazu , následné zpracování jako morfologie atd.) Je vyžadována lokalizace objektu, která může využít tuto techniku.

Detekce popředí odděluje popředí od pozadí na základě těchto změn probíhajících v popředí. Jedná se o soubor technik, které obvykle analyzují videosekvence zaznamenané v reálném čase stacionární kamerou.

Popis

Všechny detekční techniky jsou založeny na modelování pozadí obrázku, tj. Nastavení pozadí a zjištění, které změny nastanou. Definování pozadí může být velmi obtížné, pokud obsahuje tvary, stíny a pohybující se objekty. Při definování pozadí se předpokládá, že stacionární objekty se mohou v čase lišit barvou a intenzitou.

Scénáře, kde se tyto techniky uplatňují, bývají velmi různorodé. Mohou existovat vysoce variabilní sekvence, například obrázky s velmi odlišným osvětlením, interiéry, exteriéry, kvalita a šum. Kromě zpracování v reálném čase musí být systémy schopné se těmto změnám přizpůsobit.

Velmi dobrý systém detekce popředí by měl být schopen:

• Vytvořte model na pozadí (odhad).
• Buďte robustní vůči změnám osvětlení, opakujícím se pohybům (listy, vlny, stíny) a dlouhodobým změnám.

Odečtení pozadí

Odčítání pozadí je široce používaný přístup k detekci pohybujících se objektů ve videích ze statických kamer. Důvodem přístupu je detekce pohybujících se objektů z rozdílu mezi aktuálním rámcem a referenčním rámcem, často nazývaným „obrázek na pozadí“ nebo „model pozadí“. Odečtení pozadí se většinou provádí, pokud je příslušný obrázek součástí video streamu. Odečtení pozadí poskytuje důležité podněty pro řadu aplikací v počítačovém vidění, například sledování sledování nebo odhad lidské pózy .

Odčítání pozadí je obecně založeno na hypotéze statického pozadí, která často není použitelná v reálném prostředí. U scén v interiéru vedou odrazy nebo animované obrázky na obrazovkách ke změnám na pozadí. Podobně kvůli větru, dešti nebo změnám osvětlení způsobeným počasím mají metody statického pozadí potíže s venkovními scénami.

Časově průměrný filtr

Časový průměr filtru je metoda, která byla navržena v Velastin. Tento systém odhaduje model pozadí ze mediánu všech pixelů řady předchozích obrázků. Systém používá k aktualizaci mediánu pro každý obrázek vyrovnávací paměť s hodnotami pixelů posledních snímků.

Pro modelování pozadí systém prozkoumá všechny obrázky v daném časovém období, kterému se říká doba tréninku . V tuto chvíli zobrazujeme pouze obrázky a tentokrát najdeme medián po pixelech u všech grafů na pozadí.

Po tréninkovém období pro každý nový snímek se každá hodnota pixelu porovná se vstupní hodnotou dříve vypočítaných prostředků. Pokud je vstupní pixel v mezích, považuje se pixel za shodný s modelem pozadí a jeho hodnota je zahrnuta v pixbufu. Jinak, pokud je hodnota mimo tento práh, pixel je klasifikován jako popředí a není zahrnut do vyrovnávací paměti.

Tuto metodu nelze považovat za příliš efektivní, protože nepředstavují přísný statistický základ a vyžadují vyrovnávací paměť, která má vysoké výpočetní náklady.

Konvenční přístupy

Robustní algoritmus odčítání pozadí by měl být schopen zvládnout změny osvětlení, opakující se pohyby z nepořádku a dlouhodobé změny scény. Následující analýzy využívají funkci V ( x , y , t ) jako videosekvence, kde t je časový rozměr, x a y jsou proměnné umístění pixelu. např. V (1,2,3) je intenzita pixelu v (1,2) umístění pixelu obrazu při t  = 3 ve videosekvenci.

Použití rámcové diferenciace

Detekce pohybu algoritmus začíná segmentace části, kde jsou v popředí, nebo pohybující se objekty v členění od pozadí. Nejjednodušší způsob, jak to implementovat, je vzít obrázek jako pozadí a vzít snímky získané v době t, označené I (t), pro srovnání s obrázkem pozadí označeným B. Zde pomocí jednoduchých aritmetických výpočtů můžeme segmentovat objekty jednoduše pomocí techniky odčítání obrazu s významem počítačového vidění pro každý pixel v I (t), vezměte hodnotu pixelu označenou P [I (t)] a odečtěte ji odpovídajícími pixely ve stejné pozici na obrázku na pozadí označeném jako P [B].

V matematické rovnici je zapsán jako:

${\ Displaystyle P [F (t)] = P [I (t)]-P [B]}$

Předpokládá se, že pozadí je rámec v čase t . Tento rozdílný obrázek by vykazoval pouze určitou intenzitu pro umístění pixelů, která se ve dvou rámcích změnila. Ačkoli jsme zdánlivě odstranili pozadí, tento přístup bude fungovat pouze v případech, kdy se všechny pixely v popředí pohybují a všechny pixely na pozadí jsou statické. Na tento rozdílový obrázek je vložen práh „Threshold“, aby se zlepšilo odčítání (viz prahování obrazu ).

${\ Displaystyle | P [F (t)]-P [F (t+1)] |> \ mathrm {Threshold}}$

To znamená, že intenzity pixelů rozdílného obrázku jsou 'prahové' nebo filtrované na základě hodnoty Threshold. Přesnost tohoto přístupu závisí na rychlosti pohybu ve scéně. Rychlejší pohyby mohou vyžadovat vyšší prahové hodnoty.

Střední filtr

Pro výpočet obrázku obsahujícího pouze pozadí se zprůměruje řada předchozích obrázků. Pro výpočet obrázek na pozadí v okamžiku  t ,

${\ Displaystyle B (x, y, t) = {1 \ over N} \ sum _ {i = 1}^{N} V (x, y, ti)}$

kde N je počet předchozích snímků pořízených pro průměrování. Toto zprůměrování znamená zprůměrování odpovídajících pixelů v daných obrázcích. N bude záviset na rychlosti videa (počet obrázků za sekundu ve videu) a množství pohybu ve videu. Po výpočtu pozadí B ( x , y , t ) jej pak můžeme odečíst od obrazu V ( x , y , t ) v čase t  = t a prahovat jej. Tím je popředí

${\ Displaystyle | V (x, y, t) -B (x, y, t) |> \ mathrm {Th}}$

kde Th je práh. Podobně můžeme také použít medián místo průměru ve výše uvedeném výpočtu B ( x , y , t ).

Použití globálních a časově nezávislých prahových hodnot (stejná hodnota Th pro všechny pixely v obrázku) může omezit přesnost výše uvedených dvou přístupů.

Běh Gaussova průměru

Pro tuto metodu Wren et al. navrhnout použití Gaussovy pravděpodobnostní hustoty (pdf) na nejnovější rámce. Aby se zabránilo tomu, že se soubor pdf bude v každém novém časovém rámci přizpůsobovat úplně od začátku, vypočítá se průběžný (nebo online kumulativní) průměr. ${\ displaystyle n}$${\ displaystyle t}$

Soubor pdf každého pixelu je charakterizován průměrem a rozptylem . Následuje počáteční podmínka (za předpokladu, že zpočátku je každý pixel na pozadí): ${\ displaystyle \ mu _ {t}}$ ${\ Displaystyle \ sigma _ {t}^{2}}$

${\ displaystyle \ mu _ {0} = I_ {0}}$

${\ displaystyle \ sigma _ {0}^{2} = \ langle {\ text {some default value}} \ rangle}$

kde je hodnota intenzity pixelu v čase . Abychom mohli inicializovat rozptyl, můžeme například použít rozptyl v xay z malého okna kolem každého pixelu. ${\ displaystyle I_ {t}}$${\ displaystyle t}$

Všimněte si toho, že pozadí se může v průběhu času měnit (např. Kvůli změnám osvětlení nebo nestatickým objektům na pozadí). Aby se tato změna přizpůsobila, musí být v každém snímku průměr a rozptyl každého pixelu aktualizovány následovně: ${\ displaystyle t}$

${\ Displaystyle \ mu _ {t} = \ rho I_ {t}+(1- \ rho) \ mu _ {t-1}}$

${\ Displaystyle \ sigma _ {t}^{2} = d^{2} \ rho +(1- \ rho) \ sigma _ {t-1}^{2}}$

${\ Displaystyle d = | (I_ {t}-\ mu _ {t}) |}$

Kde určuje velikost dočasného okna, které se používá k přizpůsobení formátu pdf (obvykle ), a je euklidovskou vzdáleností mezi průměrem a hodnotou pixelu. ${\ Displaystyle \ rho}$${\ Displaystyle \ rho = 0,01}$${\ displaystyle d}$

Nyní můžeme klasifikovat pixel jako pozadí, pokud jeho aktuální intenzita leží v nějakém intervalu spolehlivosti průměru jeho distribuce:

${\ Displaystyle {\ frac {| (I_ {t}-\ mu _ {t}) |} {\ sigma _ {t}}}> k \ longrightarrow {\ text {popředí}}}$

${\ Displaystyle {\ frac {| (I_ {t}-\ mu _ {t}) |} {\ sigma _ {t}}} \ leq k \ longrightarrow {\ text {background}}}$

kde parametr je volný práh (obvykle ). Větší hodnota pro umožňuje dynamičtější pozadí, zatímco menší zvyšuje pravděpodobnost přechodu z pozadí do popředí v důsledku jemnějších změn. ${\ displaystyle k}$${\ displaystyle k = 2,5}$${\ displaystyle k}$${\ displaystyle k}$

Ve variantě metody je distribuce pixelu aktualizována pouze tehdy, je -li klasifikována jako pozadí. To má zabránit tomu, aby nově zavedené objekty v popředí bledly na pozadí. Aktualizační vzorec pro průměr se odpovídajícím způsobem změní:

${\ Displaystyle \ mu _ {t} = M \ mu _ {t-1} +(1-M) (I_ {t} \ rho +(1- \ rho) \ mu _ {t-1})}$

kde, kdy je považován za popředí a jinak. Takže když je pixel detekován jako popředí, průměr zůstane stejný. Výsledkem je, že pixel, jakmile se dostal do popředí, se může znovu stát pozadím pouze tehdy, když se hodnota intenzity přiblíží tomu, co bylo před otočením popředí. Tato metoda má však několik problémů: Funguje pouze tehdy, pokud jsou všechny pixely původně pixely na pozadí (nebo pixely v popředí jsou jako takové opatřeny poznámkami). Rovněž se nedokáže vyrovnat s postupnými změnami pozadí: Pokud je pixel zařazen do popředí na příliš dlouhou dobu, intenzita pozadí v tomto místě se mohla změnit (protože se změnilo osvětlení atd.). V důsledku toho, jakmile je objekt v popředí pryč, nová intenzita pozadí již nemusí být jako taková rozpoznána. ${\ displaystyle M = 1}$${\ displaystyle I_ {t}}$${\ displaystyle M = 0}$${\ displaystyle M = 1}$

Modely směsí na pozadí

Směs Gaussových metod přistupuje k modelování každého pixelu jako směsi Gaussianů a pro aktualizaci modelu používá on-line aproximaci. Při této technice se předpokládá, že hodnoty intenzity každého pixelu ve videu lze modelovat pomocí Gaussova modelu směsi . Jednoduchá heuristika určuje, jaké intenzity jsou pravděpodobně na pozadí. Pak se pixely, které se s nimi neshodují, nazývají pixely v popředí. Pixely popředí jsou seskupeny pomocí analýzy 2D propojených komponent .

Kdykoli t je historie konkrétního pixelu ( ) ${\ displaystyle x_ {0}, y_ {0}}$

${\ Displaystyle X_ {1}, \ ldots, X_ {t} = \ {V (x_ {0}, y_ {0}, i): 1 \ leqslant i \ leqslant t \}}$

Tato historie je modelována směsicí K Gaussových distribucí:

${\ Displaystyle P (X_ {t}) = \ sum _ {i = 1}^{K} \ omega _ {i, t} N \ left (X_ {t} \ mid \ mu _ {i, t}, \ sigma _ {i, t} \ right)}$

kde

${\ Displaystyle N \ left (X_ {t} \ mid \ mu _ {i, t}, \ sigma _ {i, t} \ right) = {\ dfrac {1} {(2 \ pi)^{D/ 2}}} {1 \ over | \ sigma _ {i, t} |^{1/2}} \ exp \ left (-{1 \ over 2} (X_ {t}-\ mu _ {i, t })^{T} \ sigma _ {i, t}^{-1} \ left (X_ {t}-\ mu _ {i, t} \ right) \ right)}$

Každý pixel je nejprve charakterizován svou intenzitou v barevném prostoru RGB. Potom je pravděpodobnost pozorování aktuálního pixelu dána následujícím vzorcem ve vícerozměrném případě

${\ Displaystyle P (X_ {t}) = \ sum _ {i = 1}^{K} \ omega _ {i, t} \ eta \ left (X_ {t}, \, \ mu _ {i, t }, \ sigma _ {i, t} \ right)}$

Kde K je počet distribucí, ω je hmotnost spojená s i Gaussovým v čase t a µ, Σ jsou průměrem a standardní odchylkou uvedeného Gaussova.

${\ Displaystyle \ eta \ left (X_ {t}, \, \ mu _ {i, t}, \ sigma _ {i, t} \ right) = {\ dfrac {1} {(2 \ pi)^{ D/2}}} {1 \ over | \ sigma _ {i, t} |^{1/2}} \ exp \ left (-{1 \ over 2} (X_ {t}-\ mu _ {i , t})^{T} \ sigma _ {i, t}^{-1} \ left (X_ {t}-\ mu _ {i, t} \ right) \ right)}$

Jakmile je inicializace parametrů provedena, je možné provést první detekci popředí a poté aktualizovat parametry. První B Gaussovo rozdělení, které překračuje práh T, je zachováno pro distribuci na pozadí

${\ displaystyle B = \ operatorname {argmin} \ left (\ Sigma _ {i = 1}^{B} \ omega _ {i, t}> T \ right)}$

Ostatní distribuce jsou považovány za reprezentující distribuci v popředí. Poté, když nový snímek občas přijme , je z každého pixelu proveden test shody. Pixel se shoduje s Gaussovou distribucí, pokud je vzdálenost Mahalanobis${\ displaystyle t+1}$

${\ Displaystyle \ left (\ left (X_ {t+1}-\ mu _ {i, t} \ right)^{T} \ sigma _ {i, t}^{-1} \ left (X_ {t +1}-\ mu _ {i, t} \ right) \ right)^{0,5} <k \ cdot \ sigma _ {i, t}}$

kde k je konstantní prahová hodnota rovná . Pak mohou nastat dva případy: ${\ displaystyle 2.5}$

Případ 1: Byla nalezena shoda s jedním z k Gaussianů. U odpovídajících komponent se aktualizace provádí následujícím způsobem

${\ Displaystyle \ sigma _ {i, t+1}^{2} = \ left (1- \ rho \ right) \ sigma _ {i, t}^{2}+\ rho \ left (X_ {x+ 1}-\ mu _ {x+1} \ vpravo) \ vlevo (X_ {x+1}-\ mu _ {x+1} \ vpravo)^{T}}$

Power a Schoonees [3] použili stejný algoritmus k segmentaci popředí obrazu

${\ Displaystyle \ sigma _ {i, t+1} = \ left (1- \ alpha \ right) \ omega _ {i, t}+\ alpha P \ left (k \ mid X_ {t}, \ varphi \ že jo)}$

Základní přiblížení k je dáno pomocí${\ Displaystyle P \ left (k \ mid \ X_ {t}, \ varphi \ right)}$${\ displaystyle M_ {k, t}}$

${\ displaystyle M_ {k, t} = {\ begin {cases} 1 & {\ text {match}}, \\ 0 & {\ text {else}}. \ end {cases}}}$

Případ 2: Žádný z Gaussů nebyl nalezen . V tomto případě je nejméně pravděpodobné rozdělení nahrazeno novým s parametry ${\ displaystyle K}$${\ displaystyle K}$

${\ displaystyle k_ {it} = {\ text {nízká předchozí váha}}}}$

${\ Displaystyle \ mu _ {i, t+1} = X_ {t+1}}$

${\ displaystyle \ sigma _ {i.t+1}^{2} = {\ text {large initial variance}}}$

Jakmile je provedena údržba parametrů, lze provést detekci popředí atd. K aktualizaci Gaussianů se používá on-line aproximace K-means . Byla navržena řada vylepšení této původní metody vyvinuté Staufferem a Grimsonem a kompletní průzkum lze nalézt v Bouwmans et al. Standardní metodou adaptivního pozadí je zprůměrování obrazů v průběhu času a vytvoření aproximace pozadí, která je podobná aktuální statické scéně, kromě případů, kdy dochází k pohybu.

Průzkumy

Několik průzkumů, které se týkají kategorií nebo podkategorií modelů, lze nalézt následovně:

• Odečtení pozadí MOG
• Odčítání pozadí podprostoru
• Odčítání statistického pozadí
• Fuzzy odečítání pozadí
• Odečtení pozadí RPCA ( Další podrobnosti viz Robustní analýza hlavních komponent )
• Dynamické RPCA pro oddělení pozadí/popředí ( Další podrobnosti viz Robustní analýza hlavních komponent )
• Rozklad na matice s nízkými hodnotami plus aditivní matice pro oddělení pozadí/popředí
• Koncepty hlubokých neuronových sítí pro odčítání na pozadí
• Tradiční a nedávné přístupy k odečítání pozadí

Aplikace

• Video dohled
• Optické snímání pohybu
• Interakce lidského počítače
• Kódování videa podle obsahu
• Sledování provozu
• Rozpoznávání pohybových gest v reálném čase

Další podrobnosti viz

Viz také

• Získávání 3D dat a rekonstrukce objektů
• Gaussova adaptace
• PBAS
• Oblast zájmu
• Algoritmus Teknomo – Fernandez
• ViBe

Reference

Srovnání

V literatuře lze nalézt několik srovnávacích/hodnotících prací:

• A. Sobral, A. Vacavant. „ Komplexní přehled algoritmů odečítání pozadí vyhodnocovaných syntetickými a skutečnými videi “. Computer Vision and Image Understanding, CVIU 2014, 2014.
• A. Shahbaz, J. Hariyono, K. Jo, „ Vyhodnocení algoritmů odčítání pozadí pro video dohled “, FCV 2015, 2015.
• Y. Xu, J. Dong, B. Zhang, D. Xu, „ Metody modelování pozadí ve video analýze: přehled a srovnávací hodnocení “, CAAI Transactions on Intelligence Technology, strany 43–60, svazek 1, vydání 1, leden 2016 .

Knihy

• T. Bouwmans, F. Porikli, B. Horferlin, A. Vacavant, Handbook on „Background Modeling and Foreground Detection for Video Surveillance: Traditional and Nedávné přístupy, Implementace, Benchmarking and Evaluation“ , CRC Press, Taylor and Francis Group, červen 2014 . (Další informace: http://www.crcpress.com/product/isbn/9781482205374 )
• T. Bouwmans, N. Aybat a E. Zahzah. Příručka o robustním dekompozici s nízkým hodnocením a řídkým matricím: Aplikace ve zpracování obrazu a videa , CRC Press, Taylor and Francis Group, květen 2016. (Další informace: http://www.crcpress.com/product/isbn/9781498724623 )

Deníky

• T. Bouwmans, L. Davis, J. Gonzalez, M. Piccardi, C. Shan, speciální vydání na téma „ Modelování pozadí pro detekci popředí v dynamických scénách v reálném světě “, speciální problém ve strojovém vidění a aplikacích , červenec 2014.
• A. Vacavant, L. Tougne, T. Chateau, speciální část „ Porovnání modelů na pozadí “, počítačové vidění a porozumění obrazu , CVIU 2014, květen 2014.
• A. Petrosino, L. Maddalena, T. Bouwmans, speciální vydání „ Modelování a inicializace pozadí scény “, dopisy pro rozpoznávání vzorů , září 2017.
• T. Bouwmans, zvláštní vydání „ Detekce pohybujících se předmětů “, MDPI Journal of Imaging, 2018.

Dílny

• Učení na pozadí detekce a sledování z RGB videí (RGBD 2017) Workshop ve spojení s ICIAP 2017. (Další informace: http://rgbd2017.na.icar.cnr.it/ )
• Workshop Modelování a inicializace scény (SBMI 2015) Workshop ve spojení s ICIAP 2015. (Další informace: http://sbmi2015.na.icar.cnr.it/ )
• Workshop IEEE Change Detection ve spojení s CVPR 2014. (Další informace: http://www.changedetection.net/ )
• Workshop o výzvách modelu pozadí (BMC 2012) ve spojení s ACCV 2012. (Další informace: http://bmc.iut-auvergne.com/ )

Soutěže

• Soutěž IEEE Scene Background Modeling Contest (SBMC 2016) ve spojení s ICPR 2016 (Další informace: http://pione.dinf.usherbrooke.ca/sbmc2016/ )

externí odkazy

• Odčítání pozadí R. Venkatesh Babu
• Segmentace a sledování popředí na základě technik modelování popředí a pozadí od Jaume Gallego
• Marc Garcia i Ramis

Webové stránky

• Web pro odčítání pozadí

Web pro odčítání pozadí (T. Bouwmans, Univ. La Rochelle, Francie) obsahuje úplný seznam referencí v této oblasti a odkazy na dostupné datové sady a software.

Datové sady

• ChangeDetection.net (Další informace: http://www.changedetection.net/ )
• Challenge Models Background (Další informace: http://bmc.iut-auvergne.com/ )
• Datový soubor odčítání umělého pozadí Stuttgartu (Další informace: http://www.vis.uni-stuttgart.de/index.php?id=sabs )
• Datový soubor SBMI (Další informace: http://sbmi2015.na.icar.cnr.it/ )
• Datová sada SBMnet (Další informace: http://pione.dinf.usherbrooke.ca/dataset/ )

Knihovny

• PozadíSubtractorCNT

Knihovna BackgroundSubtractorCNT implementuje velmi rychlý a vysoce kvalitní algoritmus napsaný v C ++ na základě OpenCV. Je zaměřen na hardware s nízkou specifikací, ale funguje stejně rychle v moderních Linuxech a Windows. (Další informace: https://github.com/sagi-z/BackgroundSubtractorCNT ).

• Knihovna BGS

Knihovna BGS (A. Sobral, Univ. La Rochelle, Francie) poskytuje rámec C ++ pro provádění algoritmů odečítání pozadí. Kód funguje buď ve Windows, nebo v Linuxu. V současné době knihovna nabízí více než 30 algoritmů BGS. (Další informace: https://github.com/andrewssobral/bgslibrary )

• Knihovna LRS-nástroje s nízkým hodnocením a řídké nástroje pro modelování na pozadí a odčítání ve videích LRSLibrary (A. Sobral, Univ. La Rochelle, Francie) poskytuje v MATLABu kolekci algoritmů s nízkým hodnocením a řídkého rozkladu. Knihovna byla navržena pro segmentaci pohybu ve videích, ale lze ji také použít nebo upravit pro jiné problémy s počítačovým viděním. V současné době LRSLibrary obsahuje více než 100 algoritmů založených na matici a tenzoru. (Další informace: https://github.com/andrewssobral/lrslibrary )
• OpenCV - knihovna OpenCV poskytuje řadu algoritmů segmentace pozadí/popředí .