Měřítko prostor - Scale space
Teorie měřítkového prostoru je rámec pro vícestupňovou reprezentaci signálů vyvinutý komunitami počítačového vidění , zpracování obrazu a zpracování signálu s doplňujícími se motivacemi z fyziky a biologického vidění . Jedná se o formální teorii pro zpracování obrazových struktur v různých měřítcích , reprezentací obrazu jako jednoparametrové rodiny vyhlazených obrazů, reprezentace měřítka a prostoru , parametrizovaná velikostí vyhlazovacího jádra použitého k potlačení struktur v malém měřítku. Parametr v této rodině se označuje jako parametr měřítka s interpretací, že obrazové struktury prostorové velikosti menší než přibližně byly z velké části vyhlazeny na úrovni měřítka-prostoru v měřítku .
Hlavním typem prostoru měřítka je prostor lineární (gaussovské) měřítka , který má širokou použitelnost a atraktivní vlastnost možnosti odvození z malé sady axiomů měřítka-prostoru . Odpovídající rámec měřítka a prostoru zahrnuje teorii pro Gaussovy derivační operátory, kterou lze použít jako základ pro vyjádření velké třídy vizuálních operací pro počítačové systémy, které zpracovávají vizuální informace. Tento rámec také umožňuje provést vizuální operace tak, aby byly neměnné v měřítku , což je nezbytné pro řešení variací velikosti, které mohou nastat v obrazových datech, protože skutečné objekty mohou mít různé velikosti a navíc může být vzdálenost mezi objektem a kamerou být neznámý a může se lišit v závislosti na okolnostech.
Definice
Pojem prostor měřítka platí pro signály libovolného počtu proměnných. Nejběžnější případ v literatuře se týká dvojrozměrných obrazů, což je to, co je zde uvedeno. Pro daný obraz , jeho lineární (Gaussian) stupnice prostor reprezentace je řada odvozených signálů definován konvolucí části s dvourozměrného Gaussova jádra
takhle
kde středník v argumentu znamená, že konvoluce se provádí pouze nad proměnnými , zatímco parametr scale za středníkem pouze označuje, která úroveň měřítka je definována. Tato definice prací pro kontinuum měřítek , ale obvykle by se ve skutečnosti brala v úvahu pouze konečná diskrétní sada úrovní v reprezentaci měřítka-prostoru.
Parametr stupnice je rozptyl v Gaussův filtr a jako limit pro filtr stává impulzní funkci, tak, že to znamená, že váha prostor zastoupení na úrovni měřítku je obraz sám o sobě. Jak se zvyšuje, je výsledkem vyhlazování s větším a větším filtrem, čímž se odstraňuje stále více a více detailů, které obrázek obsahuje. Protože standardní odchylka filtru je , podrobnosti, které jsou podstatně menší než tato hodnota, jsou do značné míry odstraněny z obrázku v měřítku , viz následující obrázek a grafické znázornění.
Proč Gaussův filtr?
Když se potýkáme s úkolem generovat reprezentaci ve více měřítcích, můžeme se zeptat: může být ke generování prostoru měřítka použit jakýkoli filtr g typu low-pass as parametrem t, který určuje jeho šířku? Odpověď je ne, protože má zásadní význam, aby vyhlazovací filtr nezaváděl nové rušivé struktury v hrubých měřítcích, které neodpovídají zjednodušení odpovídajících struktur v jemnějších měřítcích. V literatuře o měřítku a prostoru byla vyjádřena řada různých způsobů, jak formulovat toto kritérium v přesných matematických termínech.
Závěr z několika různých axiomatických derivací, které byly předloženy, je ten, že prostor Gaussova měřítka představuje kanonický způsob generování prostoru lineárního měřítka, založený na základním požadavku, že při přechodu z jemného měřítka do jakéhokoli hrubšího měřítka nesmí být vytvářeny nové struktury. . Podmínky, uvedené jako měřítko-prostor axiomech , které byly použity pro odvození jedinečnost Gaussian jádra zahrnují linearity , řadicí invariance , semi-skupinu struktury, non-zvýšení lokální extrémy , měřítku invariance a rotační invariance . V pracích byla kritizována jedinečnost tvrzená v argumentech založených na škálové invarianci a byla navržena alternativní sebepodobná jádra škálovaného prostoru. Gaussovo jádro je však podle axiomatiky škálovaného prostoru jedinečnou volbou založenou na kauzalitě nebo nezvyšování lokálních extrémů.
Alternativní definice
Ekvivalentně lze rodinu měřítko-prostor definovat jako řešení difúzní rovnice (například z hlediska rovnice tepla ),
s počátečním stavem . Tato formulace reprezentace měřítka-prostoru L znamená, že je možné interpretovat hodnoty intenzity obrazu f jako „distribuci teploty“ v rovině obrazu a že proces, který generuje zobrazení měřítka a prostoru jako funkci t, odpovídá k tepelné difúzi v obrazové rovině v čase t (za předpokladu tepelné vodivosti materiálu rovné libovolně zvolené konstantě ½). I když se toto spojení může zdát povrchní pro čtenáře, který není obeznámen s diferenciálními rovnicemi , je skutečně pravda, že hlavní formulace měřítka a prostoru z hlediska nezvýšení lokálních extrémů je vyjádřena podmínkami znaménka na parciálních derivacích v 2 + 1-D objem generovaný prostorem měřítka, tedy v rámci parciálních diferenciálních rovnic . Dále podrobná analýza diskrétního případu ukazuje, že difúzní rovnice poskytuje sjednocující spojení mezi spojitými a diskrétními měřítkovými prostory, které také zobecňuje na nelineární měřítkové prostory, například pomocí anizotropní difúze . Lze tedy říci, že primárním způsobem generování prostoru měřítka je difuzní rovnice a že Gaussovo jádro vzniká jako funkce Greenovy této specifické parciální diferenciální rovnice.
Motivace
Motivace pro generování měřítko-prostorové reprezentace dané datové sady pochází ze základního pozorování, že objekty v reálném světě jsou složeny z různých struktur v různých měřítcích . To znamená, že objekty v reálném světě se na rozdíl od idealizovaných matematických entit, jako jsou body nebo čáry , mohou objevit různými způsoby v závislosti na rozsahu pozorování. Například pojem „strom“ je vhodný pro měřítko metrů, zatímco pojmy jako listy a molekuly jsou vhodnější pro jemnější měřítka. Pro systém počítačového vidění analyzující neznámou scénu neexistuje způsob, jak apriori vědět, jaké měřítka jsou vhodná pro popis zajímavých struktur v obrazových datech. Jediným rozumným přístupem je tedy zvážit popisy ve více měřítcích, aby bylo možné zachytit neznámé změny měřítka, které mohou nastat. Když se vezme do limitu, reprezentace měřítka a prostoru považuje reprezentace ve všech měřítcích.
Další motivace k konceptu měřítka a prostoru pochází z procesu provádění fyzického měření na datech z reálného světa. Aby bylo možné z procesu měření extrahovat jakékoli informace, je třeba na data použít operátory neinfinitezimální velikosti . V mnoha odvětvích počítačové vědy a aplikované matematiky je velikost operátora měření při teoretickém modelování problému ignorována. Teorie měřítkového prostoru na druhé straně výslovně zahrnuje potřebu neinfinitezimální velikosti obrazových operátorů jako nedílnou součást jakéhokoli měření i jakékoli jiné operace, která závisí na měření v reálném světě.
Mezi teorií měřítkového prostoru a biologickým viděním existuje úzké spojení. Mnoho operací v měřítku a prostoru vykazuje vysoký stupeň podobnosti s profily receptivního pole zaznamenanými ze savčí sítnice a z prvních stádií ve zrakové kůře. V těchto ohledech lze rámec škálovatelného prostoru považovat za teoreticky opodstatněné paradigma pro rané vidění, které bylo navíc důkladně otestováno algoritmy a experimenty.
Gaussovy deriváty
V libovolném měřítku v měřítkovém prostoru můžeme na reprezentaci měřítkového prostoru použít místní derivační operátory:
Kvůli komutativní vlastnosti mezi derivačním operátorem a Gaussovým vyhlazovacím operátorem lze takové derivace měřítka a prostoru ekvivalentně vypočítat konvolucí původního obrazu s Gaussovými derivačními operátory. Z tohoto důvodu se často označují jako Gaussovy deriváty :
Jedinečnost Gaussových derivačních operátorů jako lokálních operací odvozených z reprezentace měřítka a prostoru lze získat podobnými axiomatickými derivacemi, jaké se používají k odvození jedinečnosti Gaussova jádra pro vyhlazení měřítka a prostoru.
Vizuální rozhraní
Tyto Gaussovy derivační operátory lze zase kombinovat lineárními nebo nelineárními operátory do většího množství různých typů detektorů prvků, které lze v mnoha případech dobře modelovat pomocí diferenciální geometrie . Konkrétně invariance (nebo vhodněji kovariance ) k místním geometrickým transformacím, jako jsou rotace nebo místní afinní transformace, lze získat zvážením diferenciálních invariantů pod příslušnou třídou transformací nebo alternativně normalizací Gaussových derivačních operátorů na lokálně určený souřadnicový rámec určený např. z preferované orientace v doméně obrazu nebo aplikováním preferované lokální afinní transformace na opravu místního obrazu ( další podrobnosti viz článek o adaptaci na afinní tvar ).
Když se tímto způsobem používají Gaussovy derivační operátory a diferenciální invarianty jako detektory základních rysů ve více měřítcích, nepotvrzené první fáze vizuálního zpracování se často označují jako vizuální front-end . Tento celkový rámec byl aplikován na širokou škálu problémů v oblasti počítačového vidění, včetně detekce funkcí , klasifikace funkcí , segmentace obrazu , přizpůsobení obrazu , odhad pohybu , výpočet tvaru narážky a rozpoznávání objektů . Sada Gaussianových derivačních operátorů až do určitého řádu se často označuje jako N-jet a představuje základní typ prvku v rámci škálovatelného prostoru.
Příklady detektorů
V návaznosti na myšlenku vyjádření vizuálních operací ve smyslu diferenciálních invariant vypočítaných na více stupnicích pomocí operátorů Gaussovy derivace můžeme vyjádřit detektor hran z množiny bodů, které splňují požadavek, aby velikost gradientu
by měl předpokládat lokální maximum ve směru gradientu
Vypracováním diferenciální geometrie lze ukázat, že tento detektor diferenciální hrany lze ekvivalentně vyjádřit z přechodů nuly diferenciálního invariantu druhého řádu
které splňují následující podmínku znaménka na diferenciálním invariantu třetího řádu:
Podobně lze vícebodové detektory blob v libovolném daném pevném měřítku získat z lokálních maxim a lokálních minim buď laplaciánského operátora (označovaného také jako laplacián Gaussian )
nebo determinant hesenské matice
Analogickým způsobem lze detekovat rohové detektory a detektory hřebenů a údolí jako lokální maxima, minima nebo nula křížení vícenásobných diferenciálních invariantů definovaných z Gaussových derivátů. Algebraické výrazy pro operátory detekce rohů a hřebenů jsou však poněkud složitější a čtenář je pro další podrobnosti odkazován na články o detekci rohů a detekci hřebenů .
Operace v měřítku se také často používají k vyjádření metod hrubého k jemnému, zejména u úkolů, jako je shoda obrázků a segmentace obrazu ve více měřítcích .
Výběr měřítka
Dosud prezentovaná teorie popisuje opodstatněný rámec pro reprezentaci obrazových struktur ve více měřítcích. V mnoha případech je však také nutné vybrat místně vhodné váhy pro další analýzu. Tato potřeba výběru měřítka pochází ze dvou hlavních důvodů; (i) objekty v reálném světě mohou mít různou velikost a tato velikost nemusí být pro kamerový systém známa a (ii) vzdálenost mezi objektem a kamerou se může lišit a tyto informace o vzdálenosti mohou být a priori také neznámé . Velmi užitečnou vlastností reprezentace měřítka a prostoru je to, že obrazové reprezentace mohou být invariantní vůči měřítkům provedením automatického výběru místního měřítka na základě lokálních maxim (nebo minim ) přes měřítka derivátů normalizovaných na měřítko.
kde je parametr, který souvisí s rozměrností obrazového prvku. Tento algebraický výraz pro měřítko normalizované operátory Gaussovy derivace pochází ze zavedení -normalizovaných derivátů podle
- a
Teoreticky lze ukázat, že modul pro výběr měřítka fungující podle tohoto principu uspokojí následující vlastnost kovarianční škály : pokud se pro určitý typ prvku obrazu předpokládá lokální maximum v určitém obrazu v určitém měřítku , pak pod změnou měřítka obrázek pomocí faktoru měřítka bude místní maximum nad měřítky v změněném měřítku obrázku transformováno na úroveň měřítka .
Měřítko neměnné detekce funkcí
Na základě tohoto přístupu gama-normalizoval derivátů, to může být prokázáno, že různé typy měřítku adaptivního a rozsahu neměnné funkce detektorů může být vyjádřena pro úkoly, jako je detekce blob , detekce rohový , detekce hřebene , detekce hran a časoprostoru detekci zájem bodu ( v konkrétních článcích o těchto tématech najdete podrobný popis způsobu, jakým jsou formulovány tyto detektory funkcí s neměnnou velikostí). Úrovně měřítka získané z automatického výběru měřítka lze dále použít k určení oblastí zájmu pro následnou adaptaci afinního tvaru k získání afinních neměnných bodů zájmu nebo k určení úrovní měřítka pro výpočet asociovaných deskriptorů obrazu , jako jsou lokálně přizpůsobené N-trysky .
Nedávná práce ukázala, že tímto způsobem lze provádět i složitější operace, jako je rozpoznávání objektů neměnných měřítkem , výpočtem lokálních deskriptorů obrázků (N-trysky nebo lokální histogramy směrových gradientů) v měřítku přizpůsobených zájmových bodech získaných z měřítka vesmírné extrémy normalizovaného laplaciánského operátoru (viz také transformace rysu invariantního měřítka ) nebo determinant hesenska (viz také SURF ); viz také článek Scholarpedia o transformaci funkcí škálově invariantních pro obecnější výhled přístupů k rozpoznávání objektů založených na reakcích receptivního pole, pokud jde o operátory Gaussovy derivace nebo jejich aproximace.
Související víceúrovňové reprezentace
Obrazová pyramida je diskrétní reprezentace, ve které je vzorkován prostor v měřítku jak v prostoru, tak v měřítku. U invariance měřítka by měřítkové faktory měly být vzorkovány exponenciálně, například jako celočíselné mocniny 2 nebo √ 2 . Při správné konstrukci se poměr vzorkovací frekvence v prostoru a měřítku udržuje konstantní, takže impulsní odezva je stejná ve všech úrovních pyramidy. Rychlé, O (N) algoritmy existují pro výpočet škálovací invariantní pyramidy obrazu, ve které je obraz nebo signál opakovaně vyhlazován a následně převzorkován. Hodnoty prostoru měřítka mezi vzorky pyramid lze snadno odhadnout pomocí interpolace uvnitř a mezi měřítky a umožněním odhadů měřítka a polohy s přesností dílčího rozlišení.
V reprezentaci měřítka a prostoru umožňuje existence parametru spojitého měřítka sledovat přechody nuly přes váhy vedoucí k takzvané hluboké struktuře . U prvků definovaných jako nulové přechody z diferenciální invarianty je implicitní funkce věta přímo určuje trajektorie přes měřítka, a na ty, kde váhy bifurkace vyskytují, místní chování lze modelovat teorie singularity .
Rozšíření teorie lineárního měřítka a prostoru se týkají formulace nelineárních konceptů měřítka a prostoru více zaměřených na konkrétní účely. Tyto nelineární měřítkové prostory často vycházejí z ekvivalentní difúzní formulace konceptu měřítkového prostoru, která je následně nelineárně rozšířena. Tímto způsobem bylo formulováno velké množství evolučních rovnic, motivovaných různými specifickými požadavky (další informace viz výše uvedené odkazy na knihy). Je však třeba poznamenat, že ne všechny tyto nelineární měřítkové prostory uspokojují podobné „pěkné“ teoretické požadavky jako koncept lineárního Gaussova měřítka a prostoru. Někdy tedy mohou nastat neočekávané artefakty a je třeba být velmi opatrní, aby se výraz „scale-space“ nepoužíval pro jakýkoli typ jednoparametrových rodin obrazů.
Rozšíření izotropního prostoru Gaussova měřítka prvního řádu poskytuje prostor afinního (Gaussova) měřítka . Jedna motivace pro toto rozšíření pochází z běžné potřeby výpočetních deskriptorů obrazu, které jsou předmětem pro objekty z reálného světa, které jsou prohlíženy pod perspektivním modelem kamery . Chcete-li lokálně zvládnout takové nelineární deformace, lze částečné invariance (nebo přesněji kovariance ) k místním afinním deformacím dosáhnout zvážením afinních gaussovských jader s jejich tvary určenými místní strukturou obrazu, viz článek o adaptaci afinních tvarů pro teorii a algoritmy . Ve skutečnosti může být tento prostor afinního měřítka vyjádřen také z neizotropního prodloužení lineární (izotropní) difuzní rovnice, přičemž stále spadá do třídy lineárních parciálních diferenciálních rovnic .
Existuje obecnější rozšíření Gaussova modelu zmenšeného prostoru na afinní a časoprostorové zmenšené prostory. Kromě variabilit nad měřítkem, které byla navržena původní teorie měřítka-prostoru, obsahuje tato zobecněná teorie měřítka-prostoru také další typy variací způsobené geometrickými transformacemi v procesu formování obrazu, včetně variací ve směru pohledu aproximovaných místními afinními transformacemi. a relativní pohyby mezi objekty na světě a pozorovatelem, aproximované místními galilejskými transformacemi. Tato zobecněná teorie měřítka a prostoru vede k předpovědím o profilech receptivního pole v dobré kvalitativní shodě s profily receptivního pole měřenými záznamem buněk v biologickém vidění.
Mezi teorií měřítkového prostoru a vlnkovou teorií existují silné vztahy , ačkoli tyto dva pojmy reprezentace ve více měřítcích byly vyvinuty z poněkud odlišných premis. Rovněž se pracovalo na dalších víceúrovňových přístupech , jako jsou pyramidy a řada dalších jader, které nevyužívají nebo nevyžadují stejné požadavky jako skutečné popisy v měřítku.
Vztahy k biologickému vidění a sluchu
Mezi reprezentací měřítka a prostoru a biologickým viděním a sluchem existují zajímavé vztahy. Neurofyziologické studie biologického vidění ukázaly, že v savčí sítnici a zrakové kůře existují profily receptivního pole , které lze dobře modelovat lineárními operátory derivace Gaussian, v některých případech také doplněné neizotropním afinním měřítkem-prostorovým modelem, prostorovým -časový model zmenšeného prostoru a / nebo nelineární kombinace takových lineárních operátorů.
Co se týče biologického sluchu, existují recepční profily pole v dolním colliculus a primární sluchové kůře, které lze dobře modelovat spektro-časovými receptivními poli, které lze dobře modelovat Gaussovými deriváty přes logaritmické frekvence a okenními Fourierovými transformacemi v průběhu času s funkcemi okna časová jádra v měřítku.
Problémy s implementací
Při implementaci vyhlazování měřítka a prostoru v praxi existuje řada různých přístupů, které lze přijmout, pokud jde o kontinuální nebo diskrétní Gaussovo vyhlazování, implementaci v Fourierově doméně, pokud jde o pyramidy založené na binomických filtrech, které aproximují Gaussovy filtry nebo používají rekurzivní filtry . Více podrobností najdete v samostatném článku o implementaci měřítka .
Viz také
Reference
Další čtení
- Lindeberg, Tony (2008). "Měřítko" . V Benjamin Wah (ed.). Encyclopedia of Computer Science and Engineering . IV . John Wiley and Sons. 2495–2504. doi : 10,1002 / 9780470050118.ecse609 . ISBN 978-0470050118.
- Lindeberg, Tony: Scale-space theory: a basic tool for analyzing structures at different scales, in J. of Applied Statistics, 21 (2), pp. 224–270, 1994. (delší pdf tutoriál o scale-space)
- Lindeberg, Tony: Scale-space: A framework for handling image structures at multiple scales, Proc. CERN School of Computing, 96 (8): 27-38, 1996.
- Romeny, Bart ter Haar: Introduction to Scale-Space Theory: Multiscale Geometric Image Analysis, Tutorial VBC '96, Hamburg, Germany, Fourth International Conference on Visualization in Biomedical Computing.
- Florack, Luc, Romeny, Bart ter Haar, Viergever, Max, & Koenderink, Jan: Linear scale space, Journal of Mathematical Imaging and Vision volume 4: 325–351, 1994.
- Lindeberg, Tony, „Principles for automatic scale selection“, In: B. Jähne (et al., Eds.), Handbook on Computer Vision and Applications, svazek 2, str. 239–274, Academic Press, Boston, USA, 1999. (návod k přístupům k automatickému výběru měřítka)
- Lindeberg, Tony: „Scale-space theory“ In: Encyclopedia of Mathematics, ( Michiel Hazewinkel , ed) Kluwer, 1997.
- Zálohování webového archivu: Přednáška o měřítku na University of Massachusetts (pdf)





