Superopløsning af video - Video super-resolution

Image
VSR og SISR metoders output output sammenligning. VSR gendanner flere detaljer ved at bruge tidsmæssig information

Video Super-Resolution (VSR) er processen med at generere højopløselige videorammer fra de givne lavopløselige . I modsætning til enkelt billede superopløsning (SISR) er hovedmålet ikke kun at gendanne flere fine detaljer, mens der gemmes grove, men også at bevare bevægelseskonsistens.

Der er mange metoder til denne opgave, men dette problem er stadig populært og udfordrende.


Matematisk forklaring

De fleste forskningsværker betragter nedbrydningsprocessen af ​​rammer som

hvor -original højopløselig rammesekvens,

- sløre kerne,

- konvolutionsoperation

- nedskalering

- additiv støj

-rammesekvens med lav opløsning

Superopløsning er en omvendt operation, så dets problem er at estimere rammesekvens fra rammesekvens, så den er tæt på originalen . Sløringskerne , nedskalering og additiv støj bør estimeres for givet input for at opnå bedre resultater.

Videosuperopløsningsmetoder har en tendens til at have flere komponenter end billedmodstande, da de har brug for at udnytte den ekstra tidsmæssige dimension. Komplekse designs er ikke ualmindelige. Nogle af de mest essentielle komponenter til VSR styres af fire grundlæggende funktionaliteter: Formering, Alignment, Aggregation og Upsampling.

  • Formering refererer til den måde, hvorpå funktioner spredes tidsmæssigt
  • Tilpasningsproblemer vedrørende den rumlige transformation, der anvendes på fejljusterede billeder/funktioner
  • Aggregering definerer trinene til at kombinere justerede funktioner
  • Upsampling beskriver metoden til at transformere de aggregerede funktioner til det endelige outputbillede

Metoder

Når du arbejder med video, kan tidsinformation bruges til at forbedre opskaleringskvaliteten. Enkeltbillede superopløsningsmetoder kan også bruges, hvilket genererer rammer i høj opløsning uafhængigt af deres naboer, men det er mindre effektivt og introducerer tidsmæssig ustabilitet. Der er et par traditionelle metoder, der betragter videoens superopløsningsopgave som et optimeringsproblem. Sidste års dybe læringsbaserede metoder til videoopskalering overgår de traditionelle.

Traditionelle metoder

Der er flere traditionelle metoder til videoopskalering. Disse metoder forsøger at udnytte nogle naturlige præferencer og effektivt estimere bevægelse mellem rammer. Højopløsningsrammen er rekonstrueret baseret på både naturlige præferencer og estimeret bevægelse.

Frekvensdomæne

For det første transformeres lavopløsningsrammen til frekvensdomænet . Højopløsningsrammen estimeres på dette domæne. Endelig transformeres denne resultatramme til det rumlige domæne. Nogle metoder bruger Fourier -transformering , hvilket hjælper med at udvide spektret af fanget signal og dog øge opløsningen. Der er forskellige tilgange til disse metoder: ved hjælp af teori om vægtede mindste kvadrater , algoritme for total mindste kvadrat (TLS) , rumvariabel eller rumtids-varierende filtrering. Andre metoder bruger wavelet transform , som hjælper med at finde ligheder i nærliggende lokalområder. Senere blev anden generation af wavelet-transformationer brugt til video-superopløsning.

Rumligt domæne

Iterative bagprojektionsmetoder antager en vis funktion mellem billedrammer med lav opløsning og høj opløsning og forsøger at forbedre deres gættede funktion i hvert trin i en iterativ proces. Fremskrivninger på konvekse sæt (POCS), der definerer en bestemt omkostningsfunktion, kan også bruges til iterative metoder.

Iterative adaptive filtreringsalgoritmer bruger Kalman-filter til at estimere transformation fra lavopløsningsramme til højopløselig. For at forbedre det endelige resultat overvejer disse metoder tidsmæssig korrelation mellem lavopløselige sekvenser. Nogle tilgange overvejer også tidsmæssig korrelation mellem højopløselig sekvens. At tilnærme Kalman -filter er en almindelig måde at bruge mindste middelværdier (LMS) . Man kan også bruge stejleste nedstigning , mindst kvadrater (LS), rekursive mindst firkanter (RLS) .

Direkte metoder estimerer bevægelse mellem rammer, opskalerer en referenceramme og forvrænger nabobilleder til referencerammen i høj opløsning. For at konstruere resultatet smeltes disse opskalerede rammer sammen med medianfilter , vægtet medianfilter, adaptivt normaliseret gennemsnit, AdaBoost -klassifikator eller SVD -baserede filtre.

Ikke-parametriske algoritmer forbinder bevægelsesestimering og rammer fusion til et trin. Det udført under hensyntagen til patches ligheder. Fusionens vægte kan beregnes ved hjælp af filtre, der ikke er lokale midler . For at styrke søgning efter lignende stier kan man bruge rotation invariance lighedstegn eller adaptiv patch -størrelse. Beregning af ligheder inden for rammen hjælper med at bevare små detaljer og kanter. Parametre til fusion kan også beregnes ved kerneregression .

Probabilistiske metoder bruger statistisk teori til at løse opgaven. maksimal sandsynlighed (ML) metoder estimerer mere sandsynligt billede. En anden gruppe metoder anvender maksimal a posteriori (MAP) estimering. Regulariseringsparameter for MAP kan estimeres ved Tikhonov -regulering . Markov tilfældige felter (MRF) bruges ofte sammen med MAP og hjælper med at bevare ligheden i nabopatcher. Huber MRF bruges til at bevare skarpe kanter. Gaussisk MRF kan glatte nogle kanter, men fjerne støj.

Dyb læringsbaserede metoder

Justeret efter bevægelsesestimering og bevægelseskompensation

I tilgange med justering er naborammer først tilpasset mål et. Man kan justere rammer ved at udføre bevægelsesestimering og bevægelseskompensation (MEMC) eller ved at bruge Deformable convolution (DC). Motion estimering giver information om bevægelsen af pixels mellem rammer. bevægelseskompensation er en vridning, der justerer en ramme til en anden baseret på bevægelsesinformation. Eksempler på sådanne metoder:

  • Deep-DE (deep draft-ensemble learning) genererer en række SR-funktionskort og behandler dem derefter sammen for at estimere den endelige ramme
  • VSRnet er baseret på SRCNN (model for enkelt billede super opløsning ), men tager flere billeder som input. Inputrammer justeres først af Druleas -algoritmen
  • VESPCN bruger et rumligt bevægelseskompensationstransformatormodul (MCT), som estimerer og kompenserer bevægelse. Derefter udført en række konvolutions for at udtrække funktion og smelte dem
  • DRVSR (detalje-afslørende dyb video-superopløsning) består af tre hovedtrin: bevægelsesestimering , bevægelseskompensation og fusion . Motionskompensationstransformatoren (MCT) bruges til estimering af bevægelse. Sub-pixel bevægelseskompensationslaget (SPMC) kompenserer bevægelse. Fusion step bruger encoder-decoder arkitektur og ConvLSTM modul til at samle information fra både rumlige og tidsmæssige dimensioner
  • RVSR (robust video-superopløsning) har to grene: en til rumlig justering og en anden til tidsmæssig tilpasning. Den sidste ramme er en vægtet sum af filialers output
  • FRVSR (frame recurrent video super-resolution) estimerer optisk flow med lav opløsning , prøver det til høj opløsning og forvrænger tidligere output frame ved hjælp af denne optiske flow i høj opløsning
  • STTN (det spatio-tidsmæssige transformatornetværk) estimerer optisk strøm af U-stilnetværk baseret på Unet og kompenserer bevægelse ved en trekantet interpolationsmetode
  • SOF-VSR (superopløselig optisk strøm til video-superopløsning) beregner optisk strøm i høj opløsning på grov-til-fin måde. Derefter estimeres den optiske strøm med lav opløsning ved en transformation mellem rum og dybde. Det endelige resultat i superopløsning opnås ved justerede rammer med lav opløsning
  • TecoGAN (det tidsmæssigt sammenhængende GAN ) består af generator og diskriminator . Generator estimerer LR optisk flow mellem på hinanden følgende rammer og fra denne omtrentlige HR optiske strøm til at give outputramme. Diskriminatoren vurderer generatorens kvalitet
  • TOFlow (opgaveorienteret flow) er en kombination af optisk flownetværk og genopbygningsnetværk. Estimeret optisk flow er velegnet til en bestemt opgave, f.eks. Video -superopløsning
  • MMCNN (multi-hukommelse convolutional neuralt netværk) Justerer rammer med mål-en og derefter frembringer det endelige HR-resultat gennem feature extraction, detalje fusionsproteiner og har genopbygning moduler
  • RBPN (det tilbagevendende bagprojektionsnetværk). Input til hvert tilbagevendende projektionsmodul funktioner fra den forrige ramme, funktioner fra konsekvensen af ​​rammer og optisk strømning mellem naborammer
  • MEMC-Net (bevægelsesestimerings- og bevægelseskompensationsnetværket) bruger både bevægelsesestimeringsnetværk og kernestimeringsnetværk til at forvrænge rammer adaptivt
  • RTVSR (real-time video-superopløsning) tilpasser rammer med estimeret konvolutionskerne
  • MultiBoot VSR (multi-stage multi-reference bootstrapping-metoden) justerer rammer og har derefter to-trins SR-rekonstruktion for at forbedre kvaliteten
  • BasicVSR tilpasser rammer med optisk flow og smelter derefter deres funktioner i et tilbagevendende tovejsskema
  • IconVSR er en raffineret version af BasicVSR med et tilbagevendende koblet formeringsskema
  • UVSR ( afrullet netværk til video-superopløsning) tilpassede afrullede optimeringsalgoritmer til at løse VSR-problemet

Justeret efter deformerbar konvolvering

En anden måde at justere naborammer på med mål 1 er deformerbar foldning. Mens sædvanlig konvolvering har en fast kerne, skifter deformerbar konvolvering på det første trin estimat for kernen og derefter foretager konvolvering. Eksempler på sådanne metoder:

  • EDVR (Den forbedrede deformerbare videorestaurering) kan opdeles i to hovedmoduler: pyramide, kaskadende og deformerbart (PCD) modul til justering og tidsmæssigt-rumlig opmærksomhed (TSA) modul til fusion
  • DNLN (Den deformerbare ikke-lokale netværk) har alignment modul, baseret på deformerbare foldning med den hierarkiske træk fusion modul (HFFB) for bedre kvalitet) og ikke-lokal opmærksomhed modul
  • TDAN (Det tidsmæssigt deformerbare justeringsnetværk) består af et justeringsmodul og et rekonstruktionsmodul. Justering udført af deformerbar konvolvering baseret på funktion ekstraktion og justering
  • Fusionsnetværk i flere faser til video-superopløsning bruger den dilaterede deformerbare konvolvering i flere målestokke til rammelinjering og modulen Fusion Branch til at integrere justerede rammer

Justeret efter homografi

Nogle metoder justerer rammer ved beregnet homografi mellem rammer.

  • TGA (Temporal Group Attention ) deler inputrammer til N -grupper afhængigt af tidsforskel og udtrækker information fra hver gruppe uafhængigt. Hurtig rumlig tilpasningsmodul baseret på homografi, der bruges til at justere rammer

Rumlig ikke-justeret

Metoder uden justering udfører ikke justering som et første trin og behandler bare inputrammer.

  • VSRResNet ligesom GAN består af generator og diskriminator . Generatoren opsamler inputrammer, udtrækker funktioner og smelter dem sammen. Diskriminator vurderer kvaliteten af ​​resultatrammer i høj opløsning
  • FFCVSR (ramme- og funktionskontekstvideo-superopløsning) tager ujusterede rammer med lav opløsning og udsender tidligere billeder med høj opløsning for samtidigt at gendanne højfrekvente detaljer og opretholde tidsmæssig konsistens
  • MRMNet (blandingsnetværket med flere opløsninger) består af tre moduler: flaskehals, udveksling og rest. Flaskehalsenhedens ekstraktfunktioner, der har samme opløsning som inputrammer. Udvekslingsfunktioner til udvekslingsmoduler mellem naborammer og forstørrelsesfunktionskort. Resterende modulekstraktfunktioner efter udveksling en
  • STMN (det spatio-tidsmæssige matchende netværk) bruger diskret wavelet-transformation til at smelte tidsmæssige funktioner. Ikke-lokal matchende blok integrerer superopløsning og denoising . På det sidste trin får SR-resultat på det globale wavelet-domæne
  • MuCAN (multi-korrespondance sammenlægning netværk) anvender temporal multi-korrespondance strategi at fusionere tidsmæssige træk og cross-skala ikke-lokale-korrespondance til ekstrakt selv-ligheder i rammer

3D -konvolutter

Mens 2D -konvolutter fungerer på rumligt domæne, bruger 3D -konvolutions både rumlig og tidsmæssig information. De udfører bevægelseskompensation og opretholder tidsmæssig konsistens

  • DUF (de dynamiske opsamplingsfiltre) bruger deformerbare 3D -konvolutter til bevægelseskompensation . Modellen estimerer kerner for specifikke inputrammer
  • FSTRN (Det hurtige spatio-tidsmæssige restnetværk ) indeholder et par moduler: LR video overfladisk funktionsudtrækningsnet (LFENet), LR feature fusion og up-sampling modul (LSRNet) og to restmoduler: spatio-temporal og global
  • 3DSRnet (3D-superopløsningsnetværket) bruger 3D- konvolutter til at udtrække rumlig tidsinformation . Modellen har også en særlig tilgang til rammer, hvor sceneforandringer registreres
  • MP3D (multi-skala pyramide 3D convolutional netværk ) anvendelser 3D convolution at udtrække rumlige og tidslige karakteristika samtidigt, hvilket derefter gennem rekonstruktion modul med 3D subpixel convolution for upsampling
  • DMBN (det dynamiske flergrenede netværk) har tre grene til at udnytte information fra flere opløsninger. Endelig smelter information fra grene dynamisk

Tilbagevendende neurale netværk

Tilbagevendende konvolutionelle neurale netværk udfører video-superopløsning ved at gemme tidsmæssige afhængigheder.

  • STCN (det rum-tidsmæssige konvolutionsnetværk) udtrækker funktioner i det rumlige modul, sender dem gennem det tilbagevendende tidsmodul og det endelige rekonstruktionsmodul. Temporal konsistens opretholdes ved hjælp af LSTM-mekanisme (Long Short-Term Memory )
  • BRCN (det tovejs tilbagevendende konvolutionsnet) har to undernet: med fremadrettet fusion og bagudgående fusion . Resultatet af netværket er en sammensætning af to filialers output
  • RISTN (det tilbageværende invertible spatio-tidsmæssige netværk) består af rumligt, tidsmæssigt og rekonstruktionsmodul. Rumligt modul sammensat af resterende inverterbare blokke (RIB), som effektivt udtrækker rumlige funktioner. Output fra det rumlige modul behandles af det tidsmæssige modul, som udtrækker rumlig-tidsmæssig information og derefter smelter vigtige funktioner. Det endelige resultat beregnes i rekonstruktionsmodulet ved dekonvolutionsoperation
  • RRCN (residual recurrent convolutional network) er et tovejs tilbagevendende netværk, der beregner et restbillede. Derefter opnås det endelige resultat ved at tilføje en bikubisk opsamplet inputramme
  • RRN (det tilbagevendende restnetværk ) bruger en tilbagevendende sekvens af restblokke til at udtrække rumlig og tidsmæssig information
  • BTRPN (det tovejs tidsmæssige tilbagevendende forplantningsnetværk) bruger tovejs tilbagevendende skema. Final-resultat kombineret fra to grene med kanal opmærksomhed mekanisme
  • RLSP (tilbagevendende latent tilstandsudbredelse) fuldt konvolutonisk netværkscelle med meget effektiv udbredelse af tidsmæssig information gennem en skjult tilstand
  • RSDN (det tilbagevendende struktur-detaljenetværk) opdeler inputramme i struktur- og detaljekomponenter og behandler dem i to parallelle strømme

Ikke-lokal

Ikke-lokale metoder udtrækker både rumlig og tidsmæssig information. Nøgletanken er at bruge alle mulige positioner som en vægtet sum. Denne strategi kan være mere effektiv end lokale tilgange.

  • PFNL (den progressive fusions- ikke-lokale metode) udtrækker rumlig-tidsmæssige egenskaber med ikke-lokale restblokke og smelter dem derefter med progressiv fusionsrestblok (PFRB). Resultatet af disse blokke er et restbillede. Det endelige resultat opnås ved at tilføje bikubisk opsamplet inputramme
  • NLVSR (det nye video -superopløsningsnetværk ) justerer rammer med mål 1 ved tidsmæssig -rumlig ikke -lokal drift. For at integrere information fra justerede rammer bruges en opmærksomhedsbaseret mekanisme
  • MSHPFNL inkorporerer også struktur i flere skalaer og hybridkonvolutter for at udtrække afhængigheder i vidt omfang. For at undgå nogle artefakter som flimring eller spøgelse bruger de generativ modstridende træning

Metrics

Image
Top: Original sekvens, bund: PSNR (Peak signal-til-støj-forhold) visualisering af output fra en VSR-metode

Den almindelige måde at estimere ydelsen af videosuperopløsningsalgoritmer på er at bruge et par metrics:

I øjeblikket er der ikke så mange objektive metrics til at verificere videoens superopløsningsmetodes evne til at gendanne rigtige detaljer. Forskning er i øjeblikket i gang på dette område.

En anden måde at vurdere ydelsen af ​​videoens superopløsningsalgoritme på er at organisere den subjektive evaluering . Folk bliver bedt om at sammenligne de tilsvarende rammer, og den endelige gennemsnitlige meningsscore (MOS) beregnes som den aritmetiske gennemsnitlige samlede vurdering.

Datasæt

Mens deep learning-tilgange til video-superopløsning overgår de traditionelle, er det afgørende at danne et datasæt af høj kvalitet til evaluering. Det er vigtigt at kontrollere modellernes evne til at gendanne små detaljer, tekst og objekter med kompliceret struktur for at klare store bevægelser og støj.

Sammenligning af datasæt
Datasæt Videoer Gennemsnitlig videolængde Grundlæggende sandhedsopløsning Bevægelse i rammer Fine detaljer
Vid4 4 43 billeder 720 × 480 Uden hurtig bevægelse Nogle små detaljer, uden tekst
SPMCS 30 31 billeder 960 × 540 Slow motion Mange små detaljer
Vimeo-90K (test SR sæt) 7824 7 rammer 448 × 256 En masse hurtig, vanskelig, forskelligartet bevægelse Få detaljer, tekst i et par sekvenser
Xiph HD (komplette sæt) 70 2 sekunder fra 640 × 360
til 4096 × 2160
En masse hurtig, vanskelig, forskelligartet bevægelse Få detaljer, tekst i et par sekvenser
Ultra Video Dataset 4K 16 10 sekunder 4096 × 2160 Diverse bevægelser Få detaljer, uden tekst
RØD (test SR) 30 100 billeder 1280 × 720 En masse hurtig, vanskelig, forskelligartet bevægelse Få detaljer, uden tekst
Space-Time SR 5 100 billeder 1280 × 720 Diverse bevægelser Uden små detaljer og tekst
Harmonisk - - 4096 × 2160 - -
CDVL - - 1920 × 1080 - -

Benchmarks

Et par benchmarks i video-superopløsning blev organiseret af virksomheder og konferencer. Formålet med sådanne udfordringer er at sammenligne forskellige algoritmer og finde den nyeste teknik til opgaven.

Sammenligning af benchmarks
Benchmark Arrangør Datasæt Opskalere faktor Metrics
NTIRE 2019 -udfordring CVPR (Computer Vision og mønstergenkendelse) RØDE 4 PSNR , SSIM
Youku-VESR Challenge 2019 Youku Youku-VESR 4 PSNR , VMAF
AIM 2019 udfordring ECCV (European Conference on Computer Vision) Vid3oC 16 PSNR , SSIM , MOS
AIM 2020 -udfordring ECCV (European Conference on Computer Vision) Vid3oC 16 PSNR , SSIM , LPIPS
Mobile Video Restoration Challenge ICIP (International Conference of Image Processing), Kwai - - PSNR , SSIM , MOS
MSU Video Super-Resolution Benchmark 2021 MSU (Moscow State University) - 4 ERQAv1.0, PSNR og SSIM med vagtkompensation, QRCRv1.0, CRRMv1.0

NTIRE 2019 -udfordring

NTIRE 2019-udfordringen blev organiseret af CVPR og foreslog to spor til video-superopløsning: ren (kun bikubisk nedbrydning) og sløring (sløring tilføjet først). Hvert nummer havde mere end 100 deltagere, og 14 endelige resultater blev indsendt.
Dataset REDS blev indsamlet til denne udfordring. Den består af 30 videoer med 100 billeder hver. Opløsningen af ​​jord-sandhed-rammer er 1280 × 720. Den testede skalafaktor er 4. Til evaluering af modellernes ydeevne blev PSNR og SSIM brugt. De bedste deltageres resultater fremgår af tabellen:

Tophold
Hold Modelnavn PSNR
(rent spor)
SSIM
(rent spor)
PSNR
(sløret spor)
SSIM
(sløring spor)
Kørselstid pr. Billede i sek.
(Rent spor)
Kørselstid pr. Billede i sek.
(Sløringsspor)
Platform GPU Åben kilde
HejVSR EDVR 31.79 0,8962 30.17 0,8647 2.788 3.562 PyTorch TITAN Xp JA
UIUC-IFP WDVR 30.81 0,8748 29.46 0,8430 0,980 0,980 PyTorch Tesla V100 JA
SuperRior ensemble af RDN,
RCAN, DUF
31.13 0,8811 - - 120.000 - PyTorch Tesla V100 INGEN
CyberverseSanDiego RecNet 31.00 0,8822 27,71 0,8067 3.000 3.000 TensorFlow RTX 2080 Ti JA
TTI RBPN 30,97 0,8804 28,92 0,8333 1.390 1.390 PyTorch TITAN X JA
NERCMS PFNL 30,91 0,8782 28,98 0,8307 6.020 6.020 PyTorch GTX 1080 Ti JA
XJTU-IAIR FSTDN - - 28,86 0,8301 - 13.000 PyTorch GTX 1080 Ti INGEN

Youku-VESR Challenge 2019

Youku-VESR-udfordringen blev tilrettelagt for at kontrollere modellernes evne til at klare nedbrydning og støj, som er rigtige for Youku online video-visningsprogram. Det foreslåede datasæt består af 1000 videoer, hver længde er 4-6 sekunder. Opløsningen af ​​grund-sandhed-rammer er 1920 × 1080. Den testede skalafaktor er 4. PSNR- og VMAF -metrics blev brugt til evaluering af ydeevne. De bedste metoder udføres i tabellen:

Tophold
Hold PSNR VMAF
Avengers samles 37,851 41.617
NJU_L1 37.681 41.227
ALONG_NTES 37.632 40,405

AIM 2019 udfordring

Udfordringen blev holdt af ECCV og havde to spor på video ekstrem superopløsning: første spor kontrollerer troværdigheden med referenceramme (målt ved PSNR og SSIM ). Det andet spor kontrollerer den perceptuelle kvalitet af videoer ( MOS ). Datasæt består af 328 videosekvenser med hver 120 billeder. Opløsningen af ​​grund-sandhed-rammer er 1920 × 1080. Den testede skalafaktor er 16. Topmetoder er udført i tabellen:

Tophold
Hold Modelnavn PSNR SSIM MOS Kørselstid pr. Billede i sek Platform GPU/CPU Åben kilde
fenglinglwb baseret på EDVR 22.53 0,64 første resultat 0,35 PyTorch 4 × Titan X INGEN
NERCMS PFNL 22.35 0,63 - 0,51 PyTorch 2 × 1080 Ti INGEN
baseline RLSP 21,75 0,60 - 0,09 TensorFlow Titan Xp INGEN
HIT-XLab baseret på EDSR 21.45 0,60 andet resultat 60,00 PyTorch V100 INGEN

AIM 2020 -udfordring

Challenges betingelser er de samme som AIM 2019 Challenge. De bedste metoder udføres i tabellen:

Tophold
Hold Modelnavn Params nummer PSNR SSIM Kørselstid pr. Billede i sek GPU/CPU Åben kilde
KirinUK EVESRNet 45,29 mio 22,83 0,6450 6,1 s 1 × 2080Ti 6 INGEN
Team-WVU - 29,51 mio 22.48 0,6378 4,9 s 1 × TitanXp INGEN
BOE-IOT-AIBD 3D-MGBP 53M 22.48 0.6304 4,83 sek 1 × 1080 INGEN
sr xxx baseret på EDVR - 22.43 0,6353 4 s 1 × V100 INGEN
ZZX MAHA 31,14 mio 22.28 0,6321 4 s 1 × 1080Ti INGEN
lyl FineNet - 22.08 0,6256 13 s - INGEN
TTI baseret på STARnet - 21,91 0,6165 0,249 sek - INGEN
CET CVLab - 21,77 0,6112 0,04 sek 1 × P100 INGEN

MSU Video Super-Resolution Benchmark

MSU Video Super-Resolution Benchmark blev organiseret af MSU og foreslog tre typer bevægelser, to måder at sænke opløsning og otte typer indhold i datasættet. Opløsningen af ​​jord-sandhed-rammer er 1920 × 1280. Den testede skalafaktor er 4. 14 modeller blev testet. For at evaluere modellernes ydeevne blev PSNR og SSIM brugt med skiftkompensation. Foreslog også et par nye metrics: ERQAv1.0, QRCRv1.0 og CRRMv1.0. De bedste metoder udføres i tabellen:

Top metoder
Modelnavn Multi-frame Subjektiv ERQAv1.0 PSNR SSIM QRCRv1.0 CRRMv1.0 Kørselstid pr. Billede i sek Åben kilde
DBVSR JA 5.561 0,737 31.071 0,894 0,629 0,992 - JA
LGFN JA 5.040 0,740 31.291 0,898 0,629 0,996 1.499 JA
DynaVSR-R JA 4,751 0,709 28.377 0,865 0,557 0,997 5.664 JA
TDAN JA 4.036 0,706 30.244 0,883 0,557 0,994 - JA
DUF-28L JA 3,910 0,645 25.852 0,830 0,549 0,993 2.392 JA
RRN-10L JA 3.887 0,627 24.252 0,790 0,557 0,989 0,390 JA
RealSR INGEN 3.749 0,690 25,989 0,767 0,000 0,886 - JA

Ansøgning

På mange områder, der arbejder med video, beskæftiger vi os med forskellige former for videonedbrydning, herunder nedskalering. Videoens opløsning kan forringes på grund af ufuldkommenheder i måleenheder, såsom optiske nedbrydninger og begrænsede størrelser på kamerasensorer . Dårligt lys og vejrforhold tilføjer støj til video. Objekt og kamerabevægelse reducerer også videokvaliteten. Superopløsningsteknikker hjælper med at gendanne den originale video. Det er nyttigt i en lang række applikationer, som f.eks

  • videoovervågning (for at forbedre video taget fra kameraet og genkende bilnumre og ansigter)
  • medicinsk billeddannelse (for bedre at opdage nogle organer eller væv til klinisk analyse og medicinsk intervention)
  • retsmedicin (for at hjælpe med efterforskningen under straffesagen)
  • astronomi (for at forbedre kvaliteten af ​​video af stjerner og planeter)
  • fjernmåling (for at fjerne observation af et objekt)
  • mikroskopi (for at styrke mikroskopernes evne)

Det hjælper også med at løse opgaven med objektregistrering , ansigts- og karaktergenkendelse (som forbehandlingstrin). Interessen for superopløsning vokser med udviklingen af high-definition computerskærme og fjernsyn .

Image
Simulering af de naturlige håndbevægelser ved at "jiggle" kameraet.

Videosuperopløsning finder sin praktiske anvendelse i nogle moderne smartphones og kameraer, hvor den bruges til at rekonstruere digitale fotografier.

Rekonstruktion af detaljer om digitale fotografier er en vanskelig opgave, da disse fotografier allerede er ufuldstændige: kamerasensorelementerne måler kun lysets intensitet, ikke direkte dens farve. En proces kaldet demosaisering bruges til at rekonstruere fotos fra delvis farveinformation. En enkelt ramme giver os ikke nok data til at udfylde de manglende farver, men vi kan modtage nogle af de manglende oplysninger fra flere billeder taget efter hinanden. Denne proces er kendt som burst -fotografering og kan bruges til at gendanne et enkelt billede af god kvalitet fra flere sekventielle rammer.

Når vi tager mange sekventielle fotos med en smartphone eller et håndholdt kamera, er der altid en vis bevægelse til stede mellem billederne på grund af håndbevægelsen. Vi kan drage fordel af denne håndskælv ved at kombinere oplysningerne om disse billeder. Vi vælger et enkelt billede som "base" eller referenceramme og justerer hver anden ramme i forhold til det.

Der er situationer, hvor håndbevægelse simpelthen ikke er til stede, fordi enheden er stabiliseret (f.eks. Placeret på et stativ). Der er en måde at simulere naturlig håndbevægelse ved bevidst at bevæge kameraet lidt. Bevægelserne er ekstremt små, så de forstyrrer ikke almindelige fotos. Du kan observere disse bevægelser på Google Pixel 3-telefonen ved at holde den helt stille (f.eks. Trykke den mod vinduet) og maksimalt knibe-zoome søgeren.

Se også

Referencer

eksterne links