Počítačový konkurz - Computer audition

Počítačový konkurz (CA) nebo poslech zařízení je obecným studijním oborem algoritmů a systémů pro porozumění zvuku strojem. Protože představa, co to znamená, že stroj „slyší“, je velmi široká a poněkud vágní, počítačový konkurz se pokouší spojit několik oborů, které se původně zabývaly konkrétními problémy nebo měly na mysli konkrétní aplikaci. Inženýr Paris Smaragdis , s nímž v rozhovoru pro Technology Review , hovoří o těchto systémech - „software, který pomocí zvuku lokalizuje lidi pohybující se v místnostech, monitoruje strojní zařízení pro blížící se poruchy nebo aktivuje dopravní kamery pro záznam nehod.“

Inspirován modely lidského konkurzu se CA zabývá otázkami reprezentace, transdukce , seskupování, využití hudebních znalostí a obecné zvukové sémantiky za účelem provádění inteligentních operací se zvukovými a hudebními signály z počítače. Technicky to vyžaduje kombinaci metod z oblasti zpracování signálu , sluchového modelování , vnímání a poznávání hudby , rozpoznávání vzorů a strojového učení , stejně jako tradičnějších metod umělé inteligence pro reprezentaci hudebních znalostí.

Aplikace

Stejně jako počítačové vidění versus zpracování obrazu se počítačový konkurz versus zvukové inženýrství zabývá spíše porozuměním zvuku než zpracováním. Liší se také od problémů porozumění řeči strojem, protože se zabývá obecnými zvukovými signály, jako jsou přirozené zvuky a hudební nahrávky.

Aplikace počítačového konkurzu se velmi liší a zahrnují vyhledávání zvuků , rozpoznávání žánrů , akustické monitorování , přepis hudby , sledování partitur, zvukové textury , hudební improvizace , emoce ve zvuku atd.

Související disciplíny

Počítačový konkurz se překrývá s následujícími disciplínami:

  • Music Information Retrieval : metody pro vyhledávání a analýzu podobnosti mezi hudebními signály.
  • Analýza sluchové scény: porozumění a popis zvukových zdrojů a událostí.
  • Strojový poslech: metody extrakce zvukových smysluplných parametrů ze zvukových signálů.
  • Výpočetní muzikologie a matematická hudební teorie: použití algoritmů, které využívají hudební znalosti pro analýzu hudebních dat.
  • Počítačová hudba : využití počítačů v kreativních hudebních aplikacích.
  • Strojové muzikantství: interaktivní hudební systémy založené na konkurzu.

Oblasti studia

Jelikož zvukové signály jsou interpretovány systémem lidského ucha a mozku, měl by být tento složitý percepční mechanismus nějak simulován v softwaru pro „strojové naslouchání“. Jinými slovy, aby počítač fungoval na stejné úrovni jako člověk, měl by slyšet a rozumět zvukovému obsahu stejně jako lidé. Přesná analýza zvuku zahrnuje několik oblastí: elektrotechnika (analýza spektra, filtrování a zvukové transformace); umělá inteligence (strojové učení a klasifikace zvuku); psychoakustika (vnímání zvuku); kognitivní vědy (neurovědy a umělá inteligence); akustika (fyzika zvukové produkce); a hudba (harmonie, rytmus a zabarvení). Kromě toho by zvukové transformace, jako je posun výšky tónu, prodloužení času a filtrování zvukových objektů, měly být vnímatelné a hudebně smysluplné. Pro dosažení nejlepších výsledků vyžadují tyto transformace percepční porozumění spektrálním modelům, extrakci funkcí na vysoké úrovni a zvukovou analýzu / syntézu. A konečně, strukturování a kódování obsahu zvukového souboru (zvuk a metadata) by mohlo těžit z efektivních schémat komprese, které zahodí neslyšitelné informace ve zvuku. Výpočtové modely vnímání a poznávání hudby a zvuku mohou vést ke smysluplnějšímu zobrazení, intuitivnější digitální manipulaci a generování zvuku a hudby v hudebních rozhraních člověk-stroj.

Studium CA lze zhruba rozdělit na následující dílčí problémy:

  1. Znázornění: signální a symbolické. Tento aspekt se zabývá časově-frekvenčními reprezentacemi, a to jak z hlediska not, tak spektrálních modelů, včetně přehrávání vzorů a zvukové textury.
  2. Extrakce funkcí : zvukové deskriptory, segmentace, nástup, detekce výšky tónu a obálky , chroma a sluchové reprezentace.
  3. Hudební znalostní struktury: analýza tonality , rytmu a harmonií .
  4. Podobnost zvuku: metody pro srovnání zvuků, identifikace zvuku, detekce novinek, segmentace a shlukování.
  5. Sekvenční modelování: shoda a zarovnání mezi signály a sekvencemi not.
  6. Oddělení zdrojů: metody seskupování simultánních zvuků, jako je detekce vícenásobné výšky tónu a metody časově-frekvenčního shlukování.
  7. Sluchové poznání: modelování emocí, očekávání a známost, sluchové překvapení a analýza hudební struktury.
  8. Multimodální analýza: hledání shody mezi textovými, vizuálními a zvukovými signály.

Problémy se zastupováním

Počítačový konkurz se zabývá zvukovými signály, které mohou být zastoupeny různými způsoby, od přímého kódování digitálního zvuku ve dvou nebo více kanálech až po symbolicky znázorněné pokyny pro syntézu. Zvukové signály jsou obvykle zastoupeny ve smyslu analogových nebo digitálních záznamů. Digitální záznamy jsou vzorky akustických vln nebo parametrů algoritmů komprese zvuku . Jednou z jedinečných vlastností hudebních signálů je, že často kombinují různé typy reprezentací, jako jsou grafické skóre a sekvence akcí výkonu, které jsou kódovány jako soubory MIDI .

Protože zvukové signály obvykle obsahují více zvukových zdrojů, na rozdíl od řečových signálů, které lze efektivně popsat pomocí konkrétních modelů (například model zdrojového filtru), je těžké vymyslet parametrické vyjádření obecného zvuku. Parametrické zvukové reprezentace obvykle používají k zachycení více zvukových parametrů banky filtrů nebo sinusové modely, někdy zvětšují velikost reprezentace, aby zachytily vnitřní strukturu signálu. Další typy dat, které jsou relevantní pro počítačový konkurz, jsou textové popisy zvukového obsahu, jako jsou anotace, recenze a vizuální informace v případě audiovizuálních záznamů.

Funkce

Popis obsahu obecných zvukových signálů obvykle vyžaduje extrakci funkcí, které zachycují specifické aspekty zvukového signálu. Obecně lze prvky rozdělit na signální nebo matematické deskriptory, jako je energie, popis spektrálního tvaru atd., Statistická charakterizace, jako je změna nebo detekce novinky, speciální reprezentace, které jsou lépe přizpůsobeny povaze hudebních signálů nebo sluchového systému, jako je logaritmický růst citlivosti ( šířka pásma ) ve frekvenční nebo oktávové invariance (chroma).

Vzhledem k tomu, že parametrické modely ve zvuku obvykle vyžadují velmi mnoho parametrů, funkce se používají k shrnutí vlastností více parametrů v kompaktnějším nebo výraznějším vyjádření.

Hudební znalosti

Nalezení konkrétních hudebních struktur je možné pomocí hudebních znalostí i metod strojového učení pod dohledem a bez dozoru. Mezi příklady patří detekce tonality podle rozdělení frekvencí, které odpovídají vzorcům výskytu not v hudebních stupnicích, distribuce časů začátku not pro detekci rytmické struktury, distribuce energií na různých frekvencích pro detekci hudebních akordů atd.

Podobnost zvuku a modelování sekvence

Porovnání zvuků lze provést porovnáním funkcí s nebo bez odkazu na čas. V některých případech lze celkovou podobnost posoudit blízkými hodnotami prvků mezi dvěma zvuky. V jiných případech, kdy je důležitá časová struktura, je třeba použít metody dynamického časového zkreslení, aby se „opravily“ různé časové stupnice akustických událostí. Hledání opakování a podobných dílčích sekvencí zvukových událostí je důležité pro úkoly, jako je syntéza textur a strojová improvizace .

Oddělení zdrojů

Jelikož jednou ze základních charakteristik obecného zvuku je to, že zahrnuje více současně znějících zdrojů, jako je několik hudebních nástrojů, mluvení lidí, zvuky strojů nebo vokalizace zvířat, je schopnost identifikovat a oddělit jednotlivé zdroje velmi žádoucí. Bohužel neexistují žádné metody, které by tento problém robustním způsobem vyřešily . Existující metody oddělení zdroje někdy spoléhají na korelaci mezi různými zvukovými kanály ve vícekanálových záznamech . Schopnost oddělit zdroje od stereofonních signálů vyžaduje jiné techniky, než jaké se obvykle používají v komunikaci, kde je k dispozici více senzorů. Jiné metody separace zdrojů se spoléhají na trénink nebo seskupení funkcí v mono záznamu, jako je sledování harmonicky souvisejících parciálních částí pro detekci vícenásobné výšky tónu. Některé metody se před explicitním rozpoznáním spoléhají na odhalení struktur v datech bez znalosti struktur (jako je rozpoznávání objektů v abstraktních obrazech bez přiřazení smysluplných štítků) vyhledáním nejméně složitých reprezentací dat, například popis zvukových scén generovaných několika tónovými vzory a jejich trajektorie (polyfonní hlasy) a akustické kontury nakreslené tónem (akordy).

Sluchové poznání

Poslech hudby a obecného zvuku obvykle není činnost zaměřená na úkol. Lidé si hudbu užívají z různých špatně pochopených důvodů, které se běžně označují jako emocionální účinek hudby v důsledku vytváření očekávání a jejich realizace nebo porušení. Zvířata se ve zvucích věnují známkám nebezpečí, což mohou být buď konkrétní, nebo obecné představy o překvapivé a neočekávané změně. Obecně to vytváří situaci, kdy se počítačový audit nemůže spoléhat pouze na detekci konkrétních funkcí nebo zvukových vlastností a musí přijít s obecnými metodami přizpůsobení se měnícímu se sluchovému prostředí a sledování jeho struktury. To spočívá v analýze větších struktur opakování a sebepodobnosti ve zvuku k detekci inovací, jakož i schopnosti předvídat dynamiku místních funkcí.

Multimodální analýza

Mezi dostupnými údaji pro popis hudby jsou textová znázornění, například poznámky k nahrávce, recenze a kritika, které popisují zvukový obsah slovy. V jiných případech mohou nahlédnutí do obsahu a struktury zvuku poskytnout reakce člověka, jako jsou emocionální úsudky nebo psychofyziologická měření. Computer Audition se pokouší najít vztah mezi těmito různými reprezentacemi, aby poskytl toto další porozumění zvukovému obsahu.

Viz také

externí odkazy

Reference