Visuel deskriptor - Visual descriptor

I computersyn er visuelle beskrivelser eller billedbeskrivere beskrivelser af de visuelle funktioner i indholdet i billeder , videoer eller algoritmer eller applikationer, der producerer sådanne beskrivelser. De beskriver blandt andet elementære egenskaber såsom form , farve , struktur eller bevægelse .

Introduktion

Som et resultat af de nye kommunikationsteknologier og den massive brug af Internet i vores samfund, øges mængden af ​​audiovisuel information tilgængelig i digitalt format betydeligt. Derfor har det været nødvendigt at designe nogle systemer, der giver os mulighed for at beskrive indholdet af flere typer multimedieoplysninger for at søge og klassificere dem.

De audiovisuelle deskriptorer har ansvaret for indholdsbeskrivelsen. Disse deskriptorer har et godt kendskab til objekterne og begivenhederne, der findes i en video, et billede eller en lyd, og de giver mulighed for hurtig og effektiv søgning af det audiovisuelle indhold.

Dette system kan sammenlignes med søgemaskinerne for tekstindhold. Selv om det er sikkert, at det er relativt let at finde tekst med en computer, er det meget sværere at finde konkrete lyd- og videodele. Forestil dig for eksempel nogen, der søger på en scene af en lykkelig person. Lykken er en følelse, og det er ikke tydeligt dens form, farve og teksturbeskrivelse i billeder.

Beskrivelsen af ​​det audiovisuelle indhold er ikke en overfladisk opgave, og det er afgørende for en effektiv brug af denne type arkiver. Standardiseringssystemet, der beskæftiger sig med audiovisuelle deskriptorer, er MPEG-7 ( Motion Picture Expert Group - 7 ).

Typer

Beskrivelser er det første skridt til at finde ud af forbindelsen mellem pixels indeholdt i et digitalt billede og hvad mennesker husker efter at have observeret et billede eller en gruppe billeder efter nogle minutter.

Visuelle deskriptorer er opdelt i to hovedgrupper:

  • Generelle informationsbeskrivere: indeholder deskriptorer på lavt niveau, der giver en beskrivelse af farve, form, regioner , teksturer og bevægelse.
  • Specifikke domæneinformationsbeskrivere: Giv information om objekter og begivenheder i scenen. Et konkret eksempel ville være ansigtsgenkendelse .

Generelle informationsbeskrivere

Generelle informationsbeskrivere består af et sæt deskriptorer, der dækker forskellige grundlæggende og elementære funktioner som: farve, struktur, form, bevægelse, placering og andre. Denne beskrivelse genereres automatisk ved hjælp af signalbehandling .

Farve

Det er den mest basale kvalitet af visuelt indhold. Fem værktøjer er defineret til at beskrive farve. De tre første værktøjer repræsenterer farvefordelingen, og de sidste beskriver farveforholdet mellem sekvenser eller gruppe af billeder :

  • Dominant farvebeskrivelse (DCD)
  • Skalerbar farvebeskrivelse (SCD)
  • Farvestrukturbeskrivelse (CSD)
  • Color layout descriptor (CLD)
  • Gruppe af ramme (GoF) eller gruppe af billeder (GoP)

Struktur

Det er en vigtig kvalitet for at beskrive et billede. Teksturbeskrivere karakteriserer billedstrukturer eller regioner. De observerer regionens homogenitet og histogrammerne for disse områdegrænser. Sættet af deskriptorer er dannet af:

Form

Den indeholder vigtig semantisk information på grund af menneskets evne til at genkende objekter gennem deres form. Denne information kan dog kun udvindes ved hjælp af en segmentering svarende til den, som det menneskelige visuelle system implementerer. I dag er et sådant segmenteringssystem endnu ikke tilgængeligt, men der findes en række algoritmer, der anses for at være en god tilnærmelse. Disse deskriptorer beskriver regioner, konturer og former til 2D- billeder og til 3D- volumener. De form deskriptorer er følgende:

  • Regionbaseret formbeskrivelse (RSD)
  • Konturbaseret formbeskrivelse (CSD)
  • 3-D-formbeskrivelse (3-D SD)

Bevægelse

Det er defineret ved fire forskellige deskriptorer, der beskriver bevægelse i video sekvens. Bevægelse er relateret til objekternes bevægelse i sekvensen og til kamerabevægelsen . Denne sidste information leveres af fangeindretningen, mens resten implementeres ved hjælp af billedbehandling . Beskrivelsessættet er følgende:

  • Motion Activity Descriptor (MAD)
  • Kamerabevægelsesbeskrivelse (CMD)
  • Motion trajectory descriptor (MTD)
  • Bøjning og parametrisk bevægelsesbeskrivelse (WMD og PMD)

Beliggenhed

Elementernes placering i billedet bruges til at beskrive elementer i det rumlige domæne. Derudover kan elementer også placeres i det tidsmæssige domæne:

  • Region locator descriptor (RLD)
  • Spatio temporal locator descriptor (STLD)

Specifikke beskrivelser af domæneoplysninger

Disse deskriptorer, der giver information om objekter og begivenheder i scenen, kan ikke let udtrækkes, endnu mere når udtrækningen skal ske automatisk. Ikke desto mindre kan de behandles manuelt.

Som nævnt tidligere er ansigtsgenkendelse et konkret eksempel på en applikation, der automatisk forsøger at få disse oplysninger.

Beskrivelser ansøgninger

Blandt alle applikationer er de vigtigste:

  • Multimediedokumenter søgemaskiner og klassifikatorer.
  • Digitalt bibliotek : visuelle beskrivelser muliggør en meget detaljeret og konkret søgning af enhver video eller billede ved hjælp af forskellige søgeparametre. For eksempel søgning på film, hvor en kendt skuespiller vises, søgning på videoer, der indeholder Everest-bjerget osv.
  • Personlig elektronisk nyhedstjeneste.
  • Mulighed for en automatisk forbindelse til en tv-kanal, der sender en fodboldkamp, ​​for eksempel når en spiller nærmer sig målområdet.
  • Kontrol og filtrering af konkret audiovisuelt indhold, som voldeligt eller pornografisk materiale. Også tilladelse til noget multimedieindhold .

Se også

Referencer

  • BS Manjunath (Editor), Philippe Salembier (Editor) og Thomas Sikora (Editor): Introduktion til MPEG-7: Interface til multimediebeskrivelse af indhold . Wiley & Sons, april 2002 - ISBN   0-471-48678-7