Superopløsning af video - Video super-resolution
Video Super-Resolution (VSR) er processen med at generere højopløselige videorammer fra de givne lavopløselige . I modsætning til enkelt billede superopløsning (SISR) er hovedmålet ikke kun at gendanne flere fine detaljer, mens der gemmes grove, men også at bevare bevægelseskonsistens.
Der er mange metoder til denne opgave, men dette problem er stadig populært og udfordrende.
Matematisk forklaring
De fleste forskningsværker betragter nedbrydningsprocessen af rammer som
hvor -original højopløselig rammesekvens,
- sløre kerne,
- konvolutionsoperation
- nedskalering
- additiv støj
-rammesekvens med lav opløsning
Superopløsning er en omvendt operation, så dets problem er at estimere rammesekvens fra rammesekvens, så den er tæt på originalen . Sløringskerne , nedskalering og additiv støj bør estimeres for givet input for at opnå bedre resultater.
Videosuperopløsningsmetoder har en tendens til at have flere komponenter end billedmodstande, da de har brug for at udnytte den ekstra tidsmæssige dimension. Komplekse designs er ikke ualmindelige. Nogle af de mest essentielle komponenter til VSR styres af fire grundlæggende funktionaliteter: Formering, Alignment, Aggregation og Upsampling.
- Formering refererer til den måde, hvorpå funktioner spredes tidsmæssigt
- Tilpasningsproblemer vedrørende den rumlige transformation, der anvendes på fejljusterede billeder/funktioner
- Aggregering definerer trinene til at kombinere justerede funktioner
- Upsampling beskriver metoden til at transformere de aggregerede funktioner til det endelige outputbillede
Metoder
Når du arbejder med video, kan tidsinformation bruges til at forbedre opskaleringskvaliteten. Enkeltbillede superopløsningsmetoder kan også bruges, hvilket genererer rammer i høj opløsning uafhængigt af deres naboer, men det er mindre effektivt og introducerer tidsmæssig ustabilitet. Der er et par traditionelle metoder, der betragter videoens superopløsningsopgave som et optimeringsproblem. Sidste års dybe læringsbaserede metoder til videoopskalering overgår de traditionelle.
Traditionelle metoder
Der er flere traditionelle metoder til videoopskalering. Disse metoder forsøger at udnytte nogle naturlige præferencer og effektivt estimere bevægelse mellem rammer. Højopløsningsrammen er rekonstrueret baseret på både naturlige præferencer og estimeret bevægelse.
Frekvensdomæne
For det første transformeres lavopløsningsrammen til frekvensdomænet . Højopløsningsrammen estimeres på dette domæne. Endelig transformeres denne resultatramme til det rumlige domæne. Nogle metoder bruger Fourier -transformering , hvilket hjælper med at udvide spektret af fanget signal og dog øge opløsningen. Der er forskellige tilgange til disse metoder: ved hjælp af teori om vægtede mindste kvadrater , algoritme for total mindste kvadrat (TLS) , rumvariabel eller rumtids-varierende filtrering. Andre metoder bruger wavelet transform , som hjælper med at finde ligheder i nærliggende lokalområder. Senere blev anden generation af wavelet-transformationer brugt til video-superopløsning.
Rumligt domæne
Iterative bagprojektionsmetoder antager en vis funktion mellem billedrammer med lav opløsning og høj opløsning og forsøger at forbedre deres gættede funktion i hvert trin i en iterativ proces. Fremskrivninger på konvekse sæt (POCS), der definerer en bestemt omkostningsfunktion, kan også bruges til iterative metoder.
Iterative adaptive filtreringsalgoritmer bruger Kalman-filter til at estimere transformation fra lavopløsningsramme til højopløselig. For at forbedre det endelige resultat overvejer disse metoder tidsmæssig korrelation mellem lavopløselige sekvenser. Nogle tilgange overvejer også tidsmæssig korrelation mellem højopløselig sekvens. At tilnærme Kalman -filter er en almindelig måde at bruge mindste middelværdier (LMS) . Man kan også bruge stejleste nedstigning , mindst kvadrater (LS), rekursive mindst firkanter (RLS) .
Direkte metoder estimerer bevægelse mellem rammer, opskalerer en referenceramme og forvrænger nabobilleder til referencerammen i høj opløsning. For at konstruere resultatet smeltes disse opskalerede rammer sammen med medianfilter , vægtet medianfilter, adaptivt normaliseret gennemsnit, AdaBoost -klassifikator eller SVD -baserede filtre.
Ikke-parametriske algoritmer forbinder bevægelsesestimering og rammer fusion til et trin. Det udført under hensyntagen til patches ligheder. Fusionens vægte kan beregnes ved hjælp af filtre, der ikke er lokale midler . For at styrke søgning efter lignende stier kan man bruge rotation invariance lighedstegn eller adaptiv patch -størrelse. Beregning af ligheder inden for rammen hjælper med at bevare små detaljer og kanter. Parametre til fusion kan også beregnes ved kerneregression .
Probabilistiske metoder bruger statistisk teori til at løse opgaven. maksimal sandsynlighed (ML) metoder estimerer mere sandsynligt billede. En anden gruppe metoder anvender maksimal a posteriori (MAP) estimering. Regulariseringsparameter for MAP kan estimeres ved Tikhonov -regulering . Markov tilfældige felter (MRF) bruges ofte sammen med MAP og hjælper med at bevare ligheden i nabopatcher. Huber MRF bruges til at bevare skarpe kanter. Gaussisk MRF kan glatte nogle kanter, men fjerne støj.
Dyb læringsbaserede metoder
Justeret efter bevægelsesestimering og bevægelseskompensation
I tilgange med justering er naborammer først tilpasset mål et. Man kan justere rammer ved at udføre bevægelsesestimering og bevægelseskompensation (MEMC) eller ved at bruge Deformable convolution (DC). Motion estimering giver information om bevægelsen af pixels mellem rammer. bevægelseskompensation er en vridning, der justerer en ramme til en anden baseret på bevægelsesinformation. Eksempler på sådanne metoder:
- Deep-DE (deep draft-ensemble learning) genererer en række SR-funktionskort og behandler dem derefter sammen for at estimere den endelige ramme
- VSRnet er baseret på SRCNN (model for enkelt billede super opløsning ), men tager flere billeder som input. Inputrammer justeres først af Druleas -algoritmen
- VESPCN bruger et rumligt bevægelseskompensationstransformatormodul (MCT), som estimerer og kompenserer bevægelse. Derefter udført en række konvolutions for at udtrække funktion og smelte dem
- DRVSR (detalje-afslørende dyb video-superopløsning) består af tre hovedtrin: bevægelsesestimering , bevægelseskompensation og fusion . Motionskompensationstransformatoren (MCT) bruges til estimering af bevægelse. Sub-pixel bevægelseskompensationslaget (SPMC) kompenserer bevægelse. Fusion step bruger encoder-decoder arkitektur og ConvLSTM modul til at samle information fra både rumlige og tidsmæssige dimensioner
- RVSR (robust video-superopløsning) har to grene: en til rumlig justering og en anden til tidsmæssig tilpasning. Den sidste ramme er en vægtet sum af filialers output
- FRVSR (frame recurrent video super-resolution) estimerer optisk flow med lav opløsning , prøver det til høj opløsning og forvrænger tidligere output frame ved hjælp af denne optiske flow i høj opløsning
- STTN (det spatio-tidsmæssige transformatornetværk) estimerer optisk strøm af U-stilnetværk baseret på Unet og kompenserer bevægelse ved en trekantet interpolationsmetode
- SOF-VSR (superopløselig optisk strøm til video-superopløsning) beregner optisk strøm i høj opløsning på grov-til-fin måde. Derefter estimeres den optiske strøm med lav opløsning ved en transformation mellem rum og dybde. Det endelige resultat i superopløsning opnås ved justerede rammer med lav opløsning
- TecoGAN (det tidsmæssigt sammenhængende GAN ) består af generator og diskriminator . Generator estimerer LR optisk flow mellem på hinanden følgende rammer og fra denne omtrentlige HR optiske strøm til at give outputramme. Diskriminatoren vurderer generatorens kvalitet
- TOFlow (opgaveorienteret flow) er en kombination af optisk flownetværk og genopbygningsnetværk. Estimeret optisk flow er velegnet til en bestemt opgave, f.eks. Video -superopløsning
- MMCNN (multi-hukommelse convolutional neuralt netværk) Justerer rammer med mål-en og derefter frembringer det endelige HR-resultat gennem feature extraction, detalje fusionsproteiner og har genopbygning moduler
- RBPN (det tilbagevendende bagprojektionsnetværk). Input til hvert tilbagevendende projektionsmodul funktioner fra den forrige ramme, funktioner fra konsekvensen af rammer og optisk strømning mellem naborammer
- MEMC-Net (bevægelsesestimerings- og bevægelseskompensationsnetværket) bruger både bevægelsesestimeringsnetværk og kernestimeringsnetværk til at forvrænge rammer adaptivt
- RTVSR (real-time video-superopløsning) tilpasser rammer med estimeret konvolutionskerne
- MultiBoot VSR (multi-stage multi-reference bootstrapping-metoden) justerer rammer og har derefter to-trins SR-rekonstruktion for at forbedre kvaliteten
- BasicVSR tilpasser rammer med optisk flow og smelter derefter deres funktioner i et tilbagevendende tovejsskema
- IconVSR er en raffineret version af BasicVSR med et tilbagevendende koblet formeringsskema
- UVSR ( afrullet netværk til video-superopløsning) tilpassede afrullede optimeringsalgoritmer til at løse VSR-problemet
Justeret efter deformerbar konvolvering
En anden måde at justere naborammer på med mål 1 er deformerbar foldning. Mens sædvanlig konvolvering har en fast kerne, skifter deformerbar konvolvering på det første trin estimat for kernen og derefter foretager konvolvering. Eksempler på sådanne metoder:
- EDVR (Den forbedrede deformerbare videorestaurering) kan opdeles i to hovedmoduler: pyramide, kaskadende og deformerbart (PCD) modul til justering og tidsmæssigt-rumlig opmærksomhed (TSA) modul til fusion
- DNLN (Den deformerbare ikke-lokale netværk) har alignment modul, baseret på deformerbare foldning med den hierarkiske træk fusion modul (HFFB) for bedre kvalitet) og ikke-lokal opmærksomhed modul
- TDAN (Det tidsmæssigt deformerbare justeringsnetværk) består af et justeringsmodul og et rekonstruktionsmodul. Justering udført af deformerbar konvolvering baseret på funktion ekstraktion og justering
- Fusionsnetværk i flere faser til video-superopløsning bruger den dilaterede deformerbare konvolvering i flere målestokke til rammelinjering og modulen Fusion Branch til at integrere justerede rammer
Justeret efter homografi
Nogle metoder justerer rammer ved beregnet homografi mellem rammer.
- TGA (Temporal Group Attention ) deler inputrammer til N -grupper afhængigt af tidsforskel og udtrækker information fra hver gruppe uafhængigt. Hurtig rumlig tilpasningsmodul baseret på homografi, der bruges til at justere rammer
Rumlig ikke-justeret
Metoder uden justering udfører ikke justering som et første trin og behandler bare inputrammer.
- VSRResNet ligesom GAN består af generator og diskriminator . Generatoren opsamler inputrammer, udtrækker funktioner og smelter dem sammen. Diskriminator vurderer kvaliteten af resultatrammer i høj opløsning
- FFCVSR (ramme- og funktionskontekstvideo-superopløsning) tager ujusterede rammer med lav opløsning og udsender tidligere billeder med høj opløsning for samtidigt at gendanne højfrekvente detaljer og opretholde tidsmæssig konsistens
- MRMNet (blandingsnetværket med flere opløsninger) består af tre moduler: flaskehals, udveksling og rest. Flaskehalsenhedens ekstraktfunktioner, der har samme opløsning som inputrammer. Udvekslingsfunktioner til udvekslingsmoduler mellem naborammer og forstørrelsesfunktionskort. Resterende modulekstraktfunktioner efter udveksling en
- STMN (det spatio-tidsmæssige matchende netværk) bruger diskret wavelet-transformation til at smelte tidsmæssige funktioner. Ikke-lokal matchende blok integrerer superopløsning og denoising . På det sidste trin får SR-resultat på det globale wavelet-domæne
- MuCAN (multi-korrespondance sammenlægning netværk) anvender temporal multi-korrespondance strategi at fusionere tidsmæssige træk og cross-skala ikke-lokale-korrespondance til ekstrakt selv-ligheder i rammer
3D -konvolutter
Mens 2D -konvolutter fungerer på rumligt domæne, bruger 3D -konvolutions både rumlig og tidsmæssig information. De udfører bevægelseskompensation og opretholder tidsmæssig konsistens
- DUF (de dynamiske opsamplingsfiltre) bruger deformerbare 3D -konvolutter til bevægelseskompensation . Modellen estimerer kerner for specifikke inputrammer
- FSTRN (Det hurtige spatio-tidsmæssige restnetværk ) indeholder et par moduler: LR video overfladisk funktionsudtrækningsnet (LFENet), LR feature fusion og up-sampling modul (LSRNet) og to restmoduler: spatio-temporal og global
- 3DSRnet (3D-superopløsningsnetværket) bruger 3D- konvolutter til at udtrække rumlig tidsinformation . Modellen har også en særlig tilgang til rammer, hvor sceneforandringer registreres
- MP3D (multi-skala pyramide 3D convolutional netværk ) anvendelser 3D convolution at udtrække rumlige og tidslige karakteristika samtidigt, hvilket derefter gennem rekonstruktion modul med 3D subpixel convolution for upsampling
- DMBN (det dynamiske flergrenede netværk) har tre grene til at udnytte information fra flere opløsninger. Endelig smelter information fra grene dynamisk
Tilbagevendende neurale netværk
Tilbagevendende konvolutionelle neurale netværk udfører video-superopløsning ved at gemme tidsmæssige afhængigheder.
- STCN (det rum-tidsmæssige konvolutionsnetværk) udtrækker funktioner i det rumlige modul, sender dem gennem det tilbagevendende tidsmodul og det endelige rekonstruktionsmodul. Temporal konsistens opretholdes ved hjælp af LSTM-mekanisme (Long Short-Term Memory )
- BRCN (det tovejs tilbagevendende konvolutionsnet) har to undernet: med fremadrettet fusion og bagudgående fusion . Resultatet af netværket er en sammensætning af to filialers output
- RISTN (det tilbageværende invertible spatio-tidsmæssige netværk) består af rumligt, tidsmæssigt og rekonstruktionsmodul. Rumligt modul sammensat af resterende inverterbare blokke (RIB), som effektivt udtrækker rumlige funktioner. Output fra det rumlige modul behandles af det tidsmæssige modul, som udtrækker rumlig-tidsmæssig information og derefter smelter vigtige funktioner. Det endelige resultat beregnes i rekonstruktionsmodulet ved dekonvolutionsoperation
- RRCN (residual recurrent convolutional network) er et tovejs tilbagevendende netværk, der beregner et restbillede. Derefter opnås det endelige resultat ved at tilføje en bikubisk opsamplet inputramme
- RRN (det tilbagevendende restnetværk ) bruger en tilbagevendende sekvens af restblokke til at udtrække rumlig og tidsmæssig information
- BTRPN (det tovejs tidsmæssige tilbagevendende forplantningsnetværk) bruger tovejs tilbagevendende skema. Final-resultat kombineret fra to grene med kanal opmærksomhed mekanisme
- RLSP (tilbagevendende latent tilstandsudbredelse) fuldt konvolutonisk netværkscelle med meget effektiv udbredelse af tidsmæssig information gennem en skjult tilstand
- RSDN (det tilbagevendende struktur-detaljenetværk) opdeler inputramme i struktur- og detaljekomponenter og behandler dem i to parallelle strømme
Ikke-lokal
Ikke-lokale metoder udtrækker både rumlig og tidsmæssig information. Nøgletanken er at bruge alle mulige positioner som en vægtet sum. Denne strategi kan være mere effektiv end lokale tilgange.
- PFNL (den progressive fusions- ikke-lokale metode) udtrækker rumlig-tidsmæssige egenskaber med ikke-lokale restblokke og smelter dem derefter med progressiv fusionsrestblok (PFRB). Resultatet af disse blokke er et restbillede. Det endelige resultat opnås ved at tilføje bikubisk opsamplet inputramme
- NLVSR (det nye video -superopløsningsnetværk ) justerer rammer med mål 1 ved tidsmæssig -rumlig ikke -lokal drift. For at integrere information fra justerede rammer bruges en opmærksomhedsbaseret mekanisme
- MSHPFNL inkorporerer også struktur i flere skalaer og hybridkonvolutter for at udtrække afhængigheder i vidt omfang. For at undgå nogle artefakter som flimring eller spøgelse bruger de generativ modstridende træning
Metrics
Den almindelige måde at estimere ydelsen af videosuperopløsningsalgoritmer på er at bruge et par metrics:
- PSNR (Peak signal-noise ratio) beregner forskellen mellem to tilsvarende rammer baseret på gennemsnitlig kvadratfejl ( MSE )
- SSIM (Structural similarity index) måler strukturens lighed mellem to tilsvarende rammer
- IFC (Information Fidelity Criterion) viser informationslighed med referencerammen
- MOVIE (Motion-based Video Integrity Evaluation index) integrerer eksplicit bevægelsesinformation ved at estimere forvrængninger langs bevægelsesbaner
- VMAF (Video Multimethod Assessment Fusion) forudsiger subjektiv videokvalitet baseret på en reference og forvrænget videosekvens
- VIF (Visual Information Fidelity) er et full-reference billedkvalitetsvurderingsindeks baseret på naturlig scenestatistik og forestillingen om billedinformation udvundet af det menneskelige visuelle system
- LPIPS (Learned Perceptual Image Patch Similarity) sammenligner den perceptuelle lighed mellem rammer baseret på højordens billedstruktur
- tOF måler pixelvis bevægelseslighed med referenceramme baseret på optisk flow
- tLP beregner, hvordan LPIPS ændrer sig fra ramme til ramme i sammenligning med referencesekvensen
- FSIM (Feature Similarity Index for Image Quality) bruger fasekongruens som den primære funktion til at måle ligheden mellem to tilsvarende rammer.
I øjeblikket er der ikke så mange objektive metrics til at verificere videoens superopløsningsmetodes evne til at gendanne rigtige detaljer. Forskning er i øjeblikket i gang på dette område.
En anden måde at vurdere ydelsen af videoens superopløsningsalgoritme på er at organisere den subjektive evaluering . Folk bliver bedt om at sammenligne de tilsvarende rammer, og den endelige gennemsnitlige meningsscore (MOS) beregnes som den aritmetiske gennemsnitlige samlede vurdering.
Datasæt
Mens deep learning-tilgange til video-superopløsning overgår de traditionelle, er det afgørende at danne et datasæt af høj kvalitet til evaluering. Det er vigtigt at kontrollere modellernes evne til at gendanne små detaljer, tekst og objekter med kompliceret struktur for at klare store bevægelser og støj.
| Datasæt | Videoer | Gennemsnitlig videolængde | Grundlæggende sandhedsopløsning | Bevægelse i rammer | Fine detaljer |
|---|---|---|---|---|---|
| Vid4 | 4 | 43 billeder | 720 × 480 | Uden hurtig bevægelse | Nogle små detaljer, uden tekst |
| SPMCS | 30 | 31 billeder | 960 × 540 | Slow motion | Mange små detaljer |
| Vimeo-90K (test SR sæt) | 7824 | 7 rammer | 448 × 256 | En masse hurtig, vanskelig, forskelligartet bevægelse | Få detaljer, tekst i et par sekvenser |
| Xiph HD (komplette sæt) | 70 | 2 sekunder | fra 640 × 360 til 4096 × 2160 |
En masse hurtig, vanskelig, forskelligartet bevægelse | Få detaljer, tekst i et par sekvenser |
| Ultra Video Dataset 4K | 16 | 10 sekunder | 4096 × 2160 | Diverse bevægelser | Få detaljer, uden tekst |
| RØD (test SR) | 30 | 100 billeder | 1280 × 720 | En masse hurtig, vanskelig, forskelligartet bevægelse | Få detaljer, uden tekst |
| Space-Time SR | 5 | 100 billeder | 1280 × 720 | Diverse bevægelser | Uden små detaljer og tekst |
| Harmonisk | - | - | 4096 × 2160 | - | - |
| CDVL | - | - | 1920 × 1080 | - | - |
Benchmarks
Et par benchmarks i video-superopløsning blev organiseret af virksomheder og konferencer. Formålet med sådanne udfordringer er at sammenligne forskellige algoritmer og finde den nyeste teknik til opgaven.
| Benchmark | Arrangør | Datasæt | Opskalere faktor | Metrics |
|---|---|---|---|---|
| NTIRE 2019 -udfordring | CVPR (Computer Vision og mønstergenkendelse) | RØDE | 4 | PSNR , SSIM |
| Youku-VESR Challenge 2019 | Youku | Youku-VESR | 4 | PSNR , VMAF |
| AIM 2019 udfordring | ECCV (European Conference on Computer Vision) | Vid3oC | 16 | PSNR , SSIM , MOS |
| AIM 2020 -udfordring | ECCV (European Conference on Computer Vision) | Vid3oC | 16 | PSNR , SSIM , LPIPS |
| Mobile Video Restoration Challenge | ICIP (International Conference of Image Processing), Kwai | - | - | PSNR , SSIM , MOS |
| MSU Video Super-Resolution Benchmark 2021 | MSU (Moscow State University) | - | 4 | ERQAv1.0, PSNR og SSIM med vagtkompensation, QRCRv1.0, CRRMv1.0 |
NTIRE 2019 -udfordring
NTIRE 2019-udfordringen blev organiseret af CVPR og foreslog to spor til video-superopløsning: ren (kun bikubisk nedbrydning) og sløring (sløring tilføjet først). Hvert nummer havde mere end 100 deltagere, og 14 endelige resultater blev indsendt.
Dataset REDS blev indsamlet til denne udfordring. Den består af 30 videoer med 100 billeder hver. Opløsningen af jord-sandhed-rammer er 1280 × 720. Den testede skalafaktor er 4. Til evaluering af modellernes ydeevne blev PSNR og SSIM brugt. De bedste deltageres resultater fremgår af tabellen:
| Hold | Modelnavn | PSNR (rent spor) |
SSIM (rent spor) |
PSNR (sløret spor) |
SSIM (sløring spor) |
Kørselstid pr. Billede i sek. (Rent spor) |
Kørselstid pr. Billede i sek. (Sløringsspor) |
Platform | GPU | Åben kilde |
|---|---|---|---|---|---|---|---|---|---|---|
| HejVSR | EDVR | 31.79 | 0,8962 | 30.17 | 0,8647 | 2.788 | 3.562 | PyTorch | TITAN Xp | JA |
| UIUC-IFP | WDVR | 30.81 | 0,8748 | 29.46 | 0,8430 | 0,980 | 0,980 | PyTorch | Tesla V100 | JA |
| SuperRior | ensemble af RDN, RCAN, DUF |
31.13 | 0,8811 | - | - | 120.000 | - | PyTorch | Tesla V100 | INGEN |
| CyberverseSanDiego | RecNet | 31.00 | 0,8822 | 27,71 | 0,8067 | 3.000 | 3.000 | TensorFlow | RTX 2080 Ti | JA |
| TTI | RBPN | 30,97 | 0,8804 | 28,92 | 0,8333 | 1.390 | 1.390 | PyTorch | TITAN X | JA |
| NERCMS | PFNL | 30,91 | 0,8782 | 28,98 | 0,8307 | 6.020 | 6.020 | PyTorch | GTX 1080 Ti | JA |
| XJTU-IAIR | FSTDN | - | - | 28,86 | 0,8301 | - | 13.000 | PyTorch | GTX 1080 Ti | INGEN |
Youku-VESR Challenge 2019
Youku-VESR-udfordringen blev tilrettelagt for at kontrollere modellernes evne til at klare nedbrydning og støj, som er rigtige for Youku online video-visningsprogram. Det foreslåede datasæt består af 1000 videoer, hver længde er 4-6 sekunder. Opløsningen af grund-sandhed-rammer er 1920 × 1080. Den testede skalafaktor er 4. PSNR- og VMAF -metrics blev brugt til evaluering af ydeevne. De bedste metoder udføres i tabellen:
| Hold | PSNR | VMAF |
|---|---|---|
| Avengers samles | 37,851 | 41.617 |
| NJU_L1 | 37.681 | 41.227 |
| ALONG_NTES | 37.632 | 40,405 |
AIM 2019 udfordring
Udfordringen blev holdt af ECCV og havde to spor på video ekstrem superopløsning: første spor kontrollerer troværdigheden med referenceramme (målt ved PSNR og SSIM ). Det andet spor kontrollerer den perceptuelle kvalitet af videoer ( MOS ). Datasæt består af 328 videosekvenser med hver 120 billeder. Opløsningen af grund-sandhed-rammer er 1920 × 1080. Den testede skalafaktor er 16. Topmetoder er udført i tabellen:
| Hold | Modelnavn | PSNR | SSIM | MOS | Kørselstid pr. Billede i sek | Platform | GPU/CPU | Åben kilde |
|---|---|---|---|---|---|---|---|---|
| fenglinglwb | baseret på EDVR | 22.53 | 0,64 | første resultat | 0,35 | PyTorch | 4 × Titan X | INGEN |
| NERCMS | PFNL | 22.35 | 0,63 | - | 0,51 | PyTorch | 2 × 1080 Ti | INGEN |
| baseline | RLSP | 21,75 | 0,60 | - | 0,09 | TensorFlow | Titan Xp | INGEN |
| HIT-XLab | baseret på EDSR | 21.45 | 0,60 | andet resultat | 60,00 | PyTorch | V100 | INGEN |
AIM 2020 -udfordring
Challenges betingelser er de samme som AIM 2019 Challenge. De bedste metoder udføres i tabellen:
| Hold | Modelnavn | Params nummer | PSNR | SSIM | Kørselstid pr. Billede i sek | GPU/CPU | Åben kilde |
|---|---|---|---|---|---|---|---|
| KirinUK | EVESRNet | 45,29 mio | 22,83 | 0,6450 | 6,1 s | 1 × 2080Ti 6 | INGEN |
| Team-WVU | - | 29,51 mio | 22.48 | 0,6378 | 4,9 s | 1 × TitanXp | INGEN |
| BOE-IOT-AIBD | 3D-MGBP | 53M | 22.48 | 0.6304 | 4,83 sek | 1 × 1080 | INGEN |
| sr xxx | baseret på EDVR | - | 22.43 | 0,6353 | 4 s | 1 × V100 | INGEN |
| ZZX | MAHA | 31,14 mio | 22.28 | 0,6321 | 4 s | 1 × 1080Ti | INGEN |
| lyl | FineNet | - | 22.08 | 0,6256 | 13 s | - | INGEN |
| TTI | baseret på STARnet | - | 21,91 | 0,6165 | 0,249 sek | - | INGEN |
| CET CVLab | - | 21,77 | 0,6112 | 0,04 sek | 1 × P100 | INGEN |
MSU Video Super-Resolution Benchmark
MSU Video Super-Resolution Benchmark blev organiseret af MSU og foreslog tre typer bevægelser, to måder at sænke opløsning og otte typer indhold i datasættet. Opløsningen af jord-sandhed-rammer er 1920 × 1280. Den testede skalafaktor er 4. 14 modeller blev testet. For at evaluere modellernes ydeevne blev PSNR og SSIM brugt med skiftkompensation. Foreslog også et par nye metrics: ERQAv1.0, QRCRv1.0 og CRRMv1.0. De bedste metoder udføres i tabellen:
| Modelnavn | Multi-frame | Subjektiv | ERQAv1.0 | PSNR | SSIM | QRCRv1.0 | CRRMv1.0 | Kørselstid pr. Billede i sek | Åben kilde |
|---|---|---|---|---|---|---|---|---|---|
| DBVSR | JA | 5.561 | 0,737 | 31.071 | 0,894 | 0,629 | 0,992 | - | JA |
| LGFN | JA | 5.040 | 0,740 | 31.291 | 0,898 | 0,629 | 0,996 | 1.499 | JA |
| DynaVSR-R | JA | 4,751 | 0,709 | 28.377 | 0,865 | 0,557 | 0,997 | 5.664 | JA |
| TDAN | JA | 4.036 | 0,706 | 30.244 | 0,883 | 0,557 | 0,994 | - | JA |
| DUF-28L | JA | 3,910 | 0,645 | 25.852 | 0,830 | 0,549 | 0,993 | 2.392 | JA |
| RRN-10L | JA | 3.887 | 0,627 | 24.252 | 0,790 | 0,557 | 0,989 | 0,390 | JA |
| RealSR | INGEN | 3.749 | 0,690 | 25,989 | 0,767 | 0,000 | 0,886 | - | JA |
Ansøgning
På mange områder, der arbejder med video, beskæftiger vi os med forskellige former for videonedbrydning, herunder nedskalering. Videoens opløsning kan forringes på grund af ufuldkommenheder i måleenheder, såsom optiske nedbrydninger og begrænsede størrelser på kamerasensorer . Dårligt lys og vejrforhold tilføjer støj til video. Objekt og kamerabevægelse reducerer også videokvaliteten. Superopløsningsteknikker hjælper med at gendanne den originale video. Det er nyttigt i en lang række applikationer, som f.eks
- videoovervågning (for at forbedre video taget fra kameraet og genkende bilnumre og ansigter)
- medicinsk billeddannelse (for bedre at opdage nogle organer eller væv til klinisk analyse og medicinsk intervention)
- retsmedicin (for at hjælpe med efterforskningen under straffesagen)
- astronomi (for at forbedre kvaliteten af video af stjerner og planeter)
- fjernmåling (for at fjerne observation af et objekt)
- mikroskopi (for at styrke mikroskopernes evne)
Det hjælper også med at løse opgaven med objektregistrering , ansigts- og karaktergenkendelse (som forbehandlingstrin). Interessen for superopløsning vokser med udviklingen af high-definition computerskærme og fjernsyn .
Videosuperopløsning finder sin praktiske anvendelse i nogle moderne smartphones og kameraer, hvor den bruges til at rekonstruere digitale fotografier.
Rekonstruktion af detaljer om digitale fotografier er en vanskelig opgave, da disse fotografier allerede er ufuldstændige: kamerasensorelementerne måler kun lysets intensitet, ikke direkte dens farve. En proces kaldet demosaisering bruges til at rekonstruere fotos fra delvis farveinformation. En enkelt ramme giver os ikke nok data til at udfylde de manglende farver, men vi kan modtage nogle af de manglende oplysninger fra flere billeder taget efter hinanden. Denne proces er kendt som burst -fotografering og kan bruges til at gendanne et enkelt billede af god kvalitet fra flere sekventielle rammer.
Når vi tager mange sekventielle fotos med en smartphone eller et håndholdt kamera, er der altid en vis bevægelse til stede mellem billederne på grund af håndbevægelsen. Vi kan drage fordel af denne håndskælv ved at kombinere oplysningerne om disse billeder. Vi vælger et enkelt billede som "base" eller referenceramme og justerer hver anden ramme i forhold til det.
Der er situationer, hvor håndbevægelse simpelthen ikke er til stede, fordi enheden er stabiliseret (f.eks. Placeret på et stativ). Der er en måde at simulere naturlig håndbevægelse ved bevidst at bevæge kameraet lidt. Bevægelserne er ekstremt små, så de forstyrrer ikke almindelige fotos. Du kan observere disse bevægelser på Google Pixel 3-telefonen ved at holde den helt stille (f.eks. Trykke den mod vinduet) og maksimalt knibe-zoome søgeren.
Se også
- Superopløsningsbilleddannelse
- Billedopløsning
- High definition video
- Skærmopløsning
- Ultra-high-definition fjernsyn
- Oversampling
- Video med højt dynamisk område
