Vizuální deskriptor - Visual descriptor

V počítačovém vidění , vizuální popisovače nebo obrazové popisovače jsou popisy vizuálních rysů těchto obsahů v obrázky , videa nebo algoritmy nebo aplikacemi, které vyvolávají takové popisy. Popisují základní vlastnosti, jako je tvar , barva , struktura nebo pohyb , mimo jiné.

Úvod

V důsledku nových komunikačních technologií a masivního používání internetu v naší společnosti se značně zvyšuje množství audiovizuálních informací dostupných v digitálním formátu. Proto bylo nutné navrhnout některé systémy, které nám umožní popsat obsah několika typů multimediálních informací, abychom je mohli hledat a klasifikovat.

Popis obsahu mají na starosti audiovizuální deskriptory. Tito deskriptory mají dobrou znalost objektů a událostí nalezených ve videu, obrazu nebo zvuku a umožňují rychlé a efektivní vyhledávání audiovizuálního obsahu.

Tento systém lze přirovnat k vyhledávačům pro textový obsah. I když je jisté, že je relativně snadné najít text pomocí počítače, je mnohem obtížnější najít konkrétní zvukové a obrazové části. Představte si například někoho, kdo hledá scénu šťastného člověka. Štěstí je pocit a na obrázcích není patrný jeho tvar, barva a popis textury.

Popis audiovizuálního obsahu není povrchní úkol a je nezbytný pro efektivní využití tohoto typu archivů. Standardizačním systémem, který se zabývá audiovizuálními deskriptory, je MPEG-7 ( Motion Picture Expert Group - 7 ).

Typy

Deskriptory jsou prvním krokem ke zjištění souvislosti mezi pixely obsaženými v digitálním obrazu a tím, co si lidé pamatují poté, co po několika minutách pozorovali obraz nebo skupinu obrazů.

Vizuální deskriptory jsou rozděleny do dvou hlavních skupin:

  • Deskriptory obecných informací: obsahují deskriptory nízké úrovně, které poskytují popis barev, tvarů, oblastí , textur a pohybu.
  • Specifické deskriptory informací o doméně: poskytují informace o objektech a událostech ve scéně. Konkrétním příkladem by bylo rozpoznání tváře .

Deskriptory obecných informací

Deskriptory obecných informací se skládají ze sady deskriptorů, které pokrývají různé základní a základní funkce, jako jsou: barva, textura, tvar, pohyb, umístění a další. Tento popis je automaticky generován pomocí zpracování signálu .

Barva

Je to nejzákladnější kvalita vizuálního obsahu. K popisu barvy je definováno pět nástrojů. Tři první nástroje představují distribuci barev a poslední popisují vztah barev mezi sekvencemi nebo skupinou obrázků :

  • Dominantní popisovač barev (DCD)
  • Škálovatelný deskriptor barev (SCD)
  • Deskriptor barevné struktury (CSD)
  • Deskriptor barevného rozložení (CLD)
  • Skupina snímků (GoF) nebo skupina obrázků (GoP)

Textura

Je to důležitá kvalita pro popis obrázku. Deskriptory textury charakterizují textury nebo oblasti obrazu. Pozorují homogenitu regionu a histogramy hranic těchto regionů. Soubor deskriptorů je tvořen:

Tvar

Obsahuje důležité sémantické informace díky schopnosti člověka rozpoznávat objekty podle jejich tvaru. Tyto informace však lze extrahovat pouze pomocí segmentace podobné té, kterou implementuje lidský vizuální systém. V současné době takový segmentační systém ještě není k dispozici, existuje však řada algoritmů, které jsou považovány za dobrou aproximaci. Tyto deskriptory popisují oblasti, obrysy a tvary pro 2D obrazy a pro 3D objemy. Tyto tvarové Deskriptory jsou následující:

  • Deskriptor tvarů podle oblasti (RSD)
  • Obrysový deskriptor tvarů (CSD)
  • Deskriptor 3D tvaru (3D SD)

Pohyb

Je definován čtyřmi různými deskriptory, které popisují pohyb ve videosekvenci . Pohyb souvisí s pohybem objektů v sekvenci a s pohybem kamery . Tato poslední informace je poskytována snímacím zařízením, zatímco zbytek je implementován pomocí zpracování obrazu . Sada deskriptorů je následující:

  • Deskriptor pohybové aktivity (MAD)
  • Deskriptor pohybu kamery (CMD)
  • Deskriptor pohybové trajektorie (MTD)
  • Deformátor a parametrický deskriptor pohybu (WMD a PMD)

Umístění

Umístění prvků v obrázku se používá k popisu prvků v prostorové doméně. Kromě toho mohou být prvky umístěny také v časové doméně:

  • Deskriptor lokátoru regionu (RLD)
  • Prostorový dočasný lokátor deskriptor (STLD)

Specifické deskriptory informací o doméně

Tyto deskriptory, které poskytují informace o objektech a událostech ve scéně, nelze snadno extrahovat, ještě více, když má být extrakce provedena automaticky. Lze je však zpracovat ručně.

Jak již bylo zmíněno dříve, rozpoznávání obličeje je konkrétním příkladem aplikace, která se pokouší tyto informace automaticky získat.

Aplikace deskriptorů

Mezi všemi aplikacemi jsou nejdůležitější:

  • Vyhledávače a klasifikátory multimediálních dokumentů.
  • Digitální knihovna : vizuální deskriptory umožňují velmi podrobné a konkrétní vyhledávání jakéhokoli videa nebo obrazu pomocí různých parametrů vyhledávání. Například hledání filmů, kde se objeví známý herec, hledání videí obsahujících horu Everest atd.
  • Personalizovaná elektronická zpravodajská služba.
  • Možnost automatického připojení k televiznímu kanálu vysílajícímu fotbalový zápas, například kdykoli se hráč přiblíží k brankovišti.
  • Ovládání a filtrování konkrétního audiovizuálního obsahu, jako je násilný nebo pornografický materiál. Také autorizace pro některý multimediální obsah.

Viz také

Reference

  • BS Manjunath (editor), Philippe Salembier (editor) a Thomas Sikora (editor): Úvod do MPEG-7: Rozhraní popisu multimediálního obsahu . Wiley & Sons, duben 2002 - ISBN   0-471-48678-7