Billedfusion - Image fusion

Den Billedet fusion proces defineres som samler alle de vigtige oplysninger fra flere billeder, og deres optagelse i færre billeder, som regel en enkelt. Dette enkeltbillede er mere informativt og nøjagtigt end noget enkelt kildebillede, og det består af alle de nødvendige oplysninger. Formålet med billedfusion er ikke kun at reducere mængden af ​​data, men også at konstruere billeder, der er mere passende og forståelige for den menneskelige og maskinens opfattelse. I computersyn er multisensor billedfusion processen med at kombinere relevant information fra to eller flere billeder til et enkelt billede. Det resulterende billede vil være mere informativt end noget af inputbillederne.

I applikationer til fjernmåling giver den stigende tilgængelighed af pladsbårne sensorer en motivation for forskellige billedfusionsalgoritmer. Flere situationer i billedbehandling kræver høj rumlig og høj spektral opløsning i et enkelt billede. Det meste af det tilgængelige udstyr er ikke i stand til at levere sådanne data på en overbevisende måde. Billedfusionsteknikker muliggør integration af forskellige informationskilder. Det smeltede billede kan have komplementære rumlige og spektrale opløsningskarakteristika. Imidlertid kan standardbilledfusionsteknikkerne fordreje den spektrale information af de multispektrale data under fusion.

I satellitbilleddannelse er der to typer billeder tilgængelige. Det panchromatiske billede, der er erhvervet af satellitter, transmitteres med den maksimale tilgængelige opløsning, og de multispektrale data transmitteres med en grovere opløsning. Dette vil normalt være to eller fire gange lavere. På modtagerstationen flettes det panchromatiske billede med de multispektrale data for at formidle mere information.

Der findes mange metoder til at udføre billedfusion. Den meget grundlæggende er højpasfiltreringsteknikken . Senere teknikker er baseret på Discrete Wavelet Transform , ensartet rationel filterbank og laplacisk pyramide .

Multi-fokus billedfusion

Multifokusbilledfusion bruges til at indsamle nyttig og nødvendig information fra inputbilleder med forskellige fokusdybder for at skabe et outputbillede, der ideelt set har al information fra inputbilleder. I visual sensor network (VSN) er sensorer kameraer, der optager billeder og videosekvenser. I mange applikationer af VSN kan et kamera ikke give en perfekt illustration inklusive alle detaljer i scenen. Dette skyldes den begrænsede dybdeskarphed, der findes i kameraets optiske linse. Derfor fokuseres og ryddes kun objektet i kameraets brændvidde, og de andre dele af billedet sløres. VSN har mulighed for at tage billeder med forskellig dybdeskarphed i scenen ved hjælp af flere kameraer. På grund af den store mængde data, der genereres af kameraet sammenlignet med andre sensorer såsom tryk- og temperaturfølere og en vis begrænsning såsom begrænset båndbredde, energiforbrug og behandlingstid, er det vigtigt at behandle de lokale inputbilleder for at mindske transmissionsmængden data. De ovennævnte grunde understreger det nødvendige ved fusion af multifokusbilleder. Multi-focus billedfusion er en proces, der kombinerer input-multifokusbillederne til et enkelt billede inklusive alle vigtige oplysninger om inputbillederne, og det er en mere præcis forklaring af scenen end hvert enkelt inputbillede.

Hvorfor billedfusion

Fusion med flere sensordata er blevet en disciplin, der kræver mere generelle formelle løsninger på en række applikationssager. Flere situationer i billedbehandling kræver både høj rumlig og høj spektral information i et enkelt billede. Dette er vigtigt i fjernmåling. Imidlertid er instrumenterne ikke i stand til at levere sådan information hverken ved design eller på grund af observationsmæssige begrænsninger. En mulig løsning på dette er datafusion .

Standard billedfusionsmetoder

Billedfusionsmetoder kan bredt klassificeres i to grupper - rumlig domæne-fusion og transformation af domæne-fusion.

Fusionsmetoderne som gennemsnit, Brovey-metoden, hovedkomponentanalyse ( PCA ) og IHS- baserede metoder falder ind under geografiske domænetilgang . En anden vigtig fusionsmetode for rumligt domæne er den højpasfiltreringsbaserede teknik. Her indsprøjtes de højfrekvente detaljer i en uprøvet version af MS-billeder. Ulempen ved geografiske domænetilgange er, at de producerer rumlig forvrængning i det sammensmeltede billede. Spektral forvrængning bliver en negativ faktor, mens vi går til yderligere behandling, såsom klassificeringsproblem. Rumlig forvrængning kan håndteres meget godt ved hjælp af frekvensdomænetilgange til billedfusion. Multiresolutionsanalysen er blevet et meget nyttigt værktøj til at analysere fjernsensorbilleder. Den diskrete wavelet-transformation er blevet et meget nyttigt værktøj til fusion. Nogle andre fusionsmetoder er også der, såsom Laplacian pyramidebaseret, curvelet transformbaseret osv. Disse metoder viser en bedre ydeevne i rumlig og spektral kvalitet af det sammensmeltede billede sammenlignet med andre rumlige metoder til fusion.

Billederne, der bruges i billedfusion, skal allerede være registreret . Fejlagtig registrering er en væsentlig kilde til fejl i billedfusion. Nogle kendte billedfusionsmetoder er:

  • Højpasfiltreringsteknik
  • IHS-transformeret baseret billedfusion
  • PCA-baseret billedfusion
  • Wavelet-transformation af billedfusion
  • Parvis rumlig frekvensmatchning

Remote sensing image fusion

Billedfusion i fjernmåling har flere applikationsdomæner. Et vigtigt domæne er fusion med flere opløsninger (ofte kaldet pan-sharpening). I satellitbilleder kan vi have to typer billeder

  • Panchromatic billeder - Et billede indsamlet i det brede visuelle bølgelængdeområde, men gengivet i sort og hvid.
  • Multispektrale billeder - Billeder optisk erhvervet i mere end et spektral- eller bølgelængdeinterval. Hvert enkelt billede har normalt det samme fysiske område og skala, men af ​​et andet spektralbånd.

Den SPOT PAN satellit giver høj opløsning (10m pixel) pankromatiske data. Mens LANDSAT TM -satellitten giver multispektrale billeder med lav opløsning (30 m pixel). Billedfusion forsøger at flette disse billeder og producere et enkelt multispektralt højopløsningsbillede.

Standardfusioneringsmetoderne for billedfusion er baseret på rød-grøn-blå (RGB) til intensitet-farvetone-mætning (IHS) transformation. De sædvanlige trin involveret i fusion af satellitbilleder er som følger:

  1. Tilpas størrelsen på multispektrale billeder med lav opløsning til samme størrelse som det panchromatiske billede.
  2. Transformer R-, G- og B-båndene fra det multispektrale billede til IHS-komponenter.
  3. Rediger det panchromatiske billede i forhold til det multispektrale billede. Dette udføres normalt ved histogramtilpasning af det panchromatiske billede med intensitetskomponenten i de multispektrale billeder som reference.
  4. Udskift intensitetskomponenten med det panchromatiske billede og udfør invers transformation for at opnå et multispektralt billede med høj opløsning.

Pan-slibning kan gøres med Photoshop . Andre anvendelser af billedsmeltning i fjernmåling er tilgængelige.

Medicinsk billedfusion

Billedfusion er blevet et almindeligt udtryk, der anvendes inden for medicinsk diagnostik og behandling. Udtrykket bruges, når flere billeder af en patient registreres og overlejres eller flettes for at give yderligere information. Fusionerede billeder kan oprettes fra flere billeder fra den samme billeddannelsesmodalitet eller ved at kombinere information fra flere modaliteter, såsom magnetisk resonansbillede (MRI), computertomografi (CT), positronemissionstomografi (PET) og enkeltfotonemissionstomografi (SPECT). I radiologi og strålingsonkologi tjener disse billeder forskellige formål. F.eks. Bruges CT-billeder oftere til at fastslå forskelle i vævstæthed, mens MR-billeder typisk bruges til at diagnosticere hjernetumorer.

For nøjagtig diagnose skal radiologer integrere information fra flere billedformater. Fusionerede, anatomisk konsistente billeder er især gavnlige til diagnosticering og behandling af kræft. Med fremkomsten af ​​disse nye teknologier kan strålingsonkologer drage fuld fordel af intensitetsmoduleret strålebehandling ( IMRT ). At kunne overlejre diagnostiske billeder til strålingsplanlægningsbilleder resulterer i mere nøjagtige IMRT- målvolumener.

Image fusion metrics

Sammenlignende analyse af billedfusionsmetoder viser, at forskellige målinger understøtter forskellige brugerbehov, følsomme over for forskellige billedfusionsmetoder og skal skræddersys til applikationen. Kategorier af billedfusionsmålinger er baseret på informationsteorifunktioner, strukturel lighed eller menneskelig opfattelse.

Se også

Referencer

eksterne links