Optisk flow - Optical flow

Den optiske strøm oplevet af en roterende observatør (i dette tilfælde en flue). Retningen og størrelsen af ​​den optiske strømning på hvert sted er repræsenteret af retningen og længden af ​​hver pil.

Optisk flow eller optisk flow er mønsteret for tilsyneladende bevægelse af objekter, overflader og kanter i en visuel scene forårsaget af den relative bevægelse mellem en observatør og en scene. Optisk flow kan også defineres som fordelingen af ​​tilsyneladende bevægelseshastigheder af lysstyrke mønster i et billede. Begrebet optisk flow blev introduceret af den amerikanske psykolog James J. Gibson i 1940'erne for at beskrive den visuelle stimulus, som dyrene bevæger sig gennem verden. Gibson understregede vigtigheden af ​​optisk flow for opfattelse af overkommelighed , evnen til at skelne muligheder for handling i miljøet. Tilhængere af Gibson og hans økologiske tilgang til psykologi har yderligere demonstreret den rolle, som den optiske flowstimulus spiller for observatørens opfattelse af bevægelse i verden; opfattelse af form, afstand og bevægelse af objekter i verden; og styringen af ​​bevægelse.

Udtrykket optisk strøm bruges også af roboter, der omfatter relaterede teknikker fra billedbehandling og styring af navigation, herunder bevægelsesdetektering , objektsegmentering , tid-til-kontakt-information, fokus på ekspansionsberegninger, luminans, bevægelseskompenseret kodning og stereo-forskelmåling.

Skøn

Sekvenser af ordnede billeder tillader estimering af bevægelse som enten øjeblikkelig billedhastighed eller diskret billedforskydning. Fleet og Weiss giver en tutorial introduktion til gradientbaseret optisk flow. John L. Barron, David J. Fleet og Steven Beauchemin leverer en præstationsanalyse af en række optiske flowteknikker. Det understreger nøjagtigheden og tætheden af ​​målinger.

De optiske flowmetoder forsøger at beregne bevægelsen mellem to billedrammer, der tages til tider t og ved hver voxelposition . Disse metoder kaldes differentielle, da de er baseret på lokale tilnærmelser fra Taylor-serien af billedsignalet; det vil sige, de bruger delvise derivater med hensyn til de rumlige og tidsmæssige koordinater. ${\ displaystyle t + \ Delta t}$

For en 2D + t dimensionale tilfælde (3D eller n -D tilfælde er ens) en voxel ved stedet med intensitet vil have flyttet ved , og mellem de to billedrammer, og følgende lysstyrke konstans begrænsning kan gives: ${\ displaystyle (x, y, t)}$${\ displaystyle I (x, y, t)}$${\ displaystyle \ Delta x}$${\ displaystyle \ Delta y}$${\ displaystyle \ Delta t}$

${\ displaystyle I (x, y, t) = I (x + \ Delta x, y + \ Delta y, t + \ Delta t)}$

Forudsat at bevægelsen er lille, kan billedbegrænsningen med Taylor-serien udvikles for at få: ${\ displaystyle I (x, y, t)}$

${\ displaystyle I (x + \ Delta x, y + \ Delta y, t + \ Delta t) = I (x, y, t) + {\ frac {\ partial I} {\ partial x}} \ Delta x + {\ frac {\ partial I} {\ partial y}} \ Delta y + {\ frac {\ partial I} {\ partial t}} \ Delta t +}$vilkår med højere ordre

Ved at afkorte de højere ordens vilkår (som udfører en linearisering) følger det at:

${\ displaystyle {\ frac {\ partial I} {\ partial x}} \ Delta x + {\ frac {\ partial I} {\ partial y}} \ Delta y + {\ frac {\ partial I} {\ partial t} } \ Delta t = 0}$

eller, divideret med , ${\ displaystyle \ Delta t}$

${\ displaystyle {\ frac {\ partial I} {\ partial x}} {\ frac {\ Delta x} {\ Delta t}} + {\ frac {\ partial I} {\ partial y}} {\ frac { \ Delta y} {\ Delta t}} + {\ frac {\ partial I} {\ partial t}} {\ frac {\ Delta t} {\ Delta t}} = 0}$

hvilket resulterer i

${\ displaystyle {\ frac {\ partial I} {\ partial x}} V_ {x} + {\ frac {\ partial I} {\ partial y}} V_ {y} + {\ frac {\ partial I} { \ partial t}} = 0}$

hvor er de og komponenter af hastigheden eller optisk strøm af og , og er derivaterne af billedet på i de tilsvarende retninger. , Og kan skrives til derivaterne i det følgende. ${\ displaystyle V_ {x}, V_ {y}}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle I (x, y, t)}$${\ displaystyle {\ tfrac {\ partial I} {\ partial x}}}$${\ displaystyle {\ tfrac {\ partial I} {\ partial y}}}$${\ displaystyle {\ tfrac {\ partial I} {\ partial t}}}$${\ displaystyle (x, y, t)}$${\ displaystyle I_ {x}}$${\ displaystyle I_ {y}}$${\ displaystyle I_ {t}}$

Dermed:

${\ displaystyle I_ {x} V_ {x} + I_ {y} V_ {y} = - I_ {t}}$

eller

${\ displaystyle \ nabla I \ cdot {\ vec {V}} = - I_ {t}}$

Dette er en ligning i to ukendte og kan ikke løses som sådan. Dette er kendt som blændeproblemet for de optiske flowalgoritmer. For at finde den optiske strømning er der brug for et andet sæt ligninger givet af yderligere begrænsning. Alle optiske flowmetoder indfører yderligere betingelser for at estimere den faktiske flow.

Metoder til bestemmelse

• Fasekorrelation - omvendt af normaliseret krydskraftspektrum
• Blokbaserede metoder - minimering af summen af ​​kvadratiske forskelle eller summen af ​​absolutte forskelle eller maksimering af normaliseret krydskorrelation
• Differentielle metoder til estimering af optisk strømning, baseret på partielle derivater af billedsignalet og / eller det søgte flowfelt og højere ordenspartielle derivater, såsom:
  • Lucas – Kanade-metoden - vedrørende billedrettelser og en affin model til flowfeltet
  • Horn – Schunck-metode - optimering af en funktionel baseret på rester fra begrænsningen af ​​lysstyrkeevne og en særlig reguleringsperiode, der udtrykker den forventede glathed i strømningsfeltet
  • Buxton – Buxton-metode - baseret på en model af bevægelse af kanter i billedsekvenser
  • Black – Jepson-metode - grov optisk flow via korrelation
  • Generelle variationsmetoder - en række ændringer / udvidelser af Horn – Schunck ved anvendelse af andre dataterminer og andre glathedsbetingelser.
• Diskrete optimeringsmetoder - søgerummet kvantiseres, og derefter adresseres billedmatchning gennem etiketildeling ved hver pixel, således at den tilsvarende deformation minimerer afstanden mellem kilden og målbilledet. Den optimale løsning genvindes ofte gennem Max-flow min-cut-sætningsalgoritmer , lineær programmering eller trosformeringsmetoder.

Mange af disse evalueres ud over de nuværende avancerede algoritmer på Middlebury Benchmark Dataset.

Anvendelser

Bevægelsesestimering og videokomprimering har udviklet sig som et vigtigt aspekt af forskning i optisk flow. Mens det optiske strømningsfelt overfladisk svarer til et tæt bevægelsesfelt afledt af teknikkerne til bevægelsesestimering, er optisk strøm studiet af ikke kun bestemmelsen af ​​selve det optiske strømningsfelt, men også af dets anvendelse til estimering af den tredimensionelle natur og struktur af scenen såvel som 3D-bevægelse af objekter og observatøren i forhold til scenen, hvoraf de fleste bruger billedet Jacobian .

Optisk flow blev brugt af robotteknikere inden for mange områder, såsom: objektdetektering og -sporing, ekstraktion af billeddominerende plan, detektion af bevægelse, robotnavigation og visuel kilometertry . Information om optisk strømning er blevet anerkendt som nyttig til styring af mikroluftbiler.

Anvendelsen af ​​optisk strømning inkluderer problemet med at udlede ikke kun observatørens bevægelser og objekter i scenen, men også strukturen af objekter og miljøet. Da bevidsthed om bevægelse og generering af mentale kort over strukturen i vores miljø er kritiske komponenter i dyrets (og menneskelige) syn , er omdannelsen af ​​denne medfødte evne til en computerkapacitet ligeledes afgørende inden for maskinvision .

Den optiske strømningsvektor for et bevægeligt objekt i en videosekvens.

Overvej et fem-rammes klip af en kugle, der bevæger sig fra nederst til venstre i et synsfelt til øverst til højre. Bevægelsesestimeringsteknikker kan bestemme, at kuglen bevæger sig op på et todimensionalt plan og til højre, og vektorer, der beskriver denne bevægelse, kan ekstraheres fra rammesekvensen. Med henblik på videokomprimering (f.eks. MPEG ) beskrives sekvensen nu så godt som den skal være. Men inden for maskinens vision er spørgsmålet om, hvorvidt bolden bevæger sig til højre, eller om observatøren bevæger sig til venstre, uigenkendelig, men alligevel kritisk information. Ikke engang hvis en statisk, mønstret baggrund var til stede i de fem rammer, kunne vi med sikkerhed fastslå, at bolden bevægede sig til højre, fordi mønsteret muligvis havde en uendelig afstand til observatøren.

Optisk flowmåler

En optisk flow sensor er en vision sensor, der er i stand til at måle optisk flow eller visuel bevægelse og udsende en måling baseret på optisk flow. Der findes forskellige konfigurationer af optiske flowfølere. En konfiguration er en billedsensorchip tilsluttet en processor, der er programmeret til at køre en optisk flowalgoritme. En anden konfiguration bruger en visionchip, som er et integreret kredsløb, der har både billedsensoren og processoren på den samme matrice, hvilket giver mulighed for en kompakt implementering. Et eksempel på dette er en generisk optisk musesensor, der bruges i en optisk mus . I nogle tilfælde kan behandlingskredsløbet implementeres ved anvendelse af analoge eller blandede signalkredsløb for at muliggøre hurtig optisk flowberegning ved anvendelse af minimalt strømforbrug.

Et område af moderne forskning er brugen af neuromorfe teknikker til at implementere kredsløb, der reagerer på optisk strømning, og kan derfor være passende til brug i en optisk strømningssensor. Sådanne kredsløb kan hente inspiration fra biologiske neurale kredsløb, der på samme måde reagerer på optisk strømning.

Optiske strømningssensorer bruges i vid udstrækning i optiske computermus som den vigtigste sensorkomponent til måling af musens bevægelse over en overflade.

Optiske strømningssensorer bruges også i robottekniske applikationer, primært hvor der er behov for at måle visuel bevægelse eller relativ bevægelse mellem robotten og andre objekter i nærheden af ​​robotten. Brugen af ​​optiske strømningssensorer i ubemandede luftfartøjer (UAV'er) til stabilitet og forhindring af forhindringer er også et område inden for nuværende forskning.

Se også

• Omgivende optisk array
• Optisk mus
• Range billeddannelse
• Visionsbehandlingsenhed
• Kontinuitetsligning

Referencer

eksterne links

• Find optisk flow
• Art of Optical Flow-artikel på fxguide.com (ved hjælp af optisk flow i visuelle effekter)
• Evaluering af optisk flow og jordens sandhedssekvenser
• Middlebury Optical flow evaluering og jorden sandhedssekvenser.
• mrf-registration.net - Optisk flowestimering gennem MRF
• Det franske luftfartslaboratorium: GPU-implementering af et Lucas-Kanade-baseret optisk flow
• CUDA Implementering af CUVI (CUDA Vision & Imaging Library)
• Horn og Schunck Optical Flow: Online demo og kildekode for Horn og Schunck-metoden
• TV-L1 Optical Flow: Online demo og kildekode fra Zach et al. metode
• Robust Optical Flow: Online demo og kildekode fra Brox et al. metode