Computer audition - Computer audition

Computer audition (CA) eller maskinlytning er et generelt felt af algoritmer og systemer til lydforståelse efter maskine. Da forestillingen om, hvad det betyder for en maskine at "høre", er meget bred og noget vag, forsøger computerrevision at samle flere discipliner, der oprindeligt beskæftigede sig med specifikke problemer eller havde en konkret anvendelse i tankerne. Ingeniøren Paris Smaragdis , interviewet i Technology Review , taler om disse systemer - "software, der bruger lyd til at lokalisere mennesker, der bevæger sig gennem rum, overvåge maskiner til forestående nedbrud eller aktivere trafikkameraer til at registrere ulykker."

Inspireret af modeller af menneskelig audition beskæftiger CA sig spørgsmål om repræsentation, transduktion , gruppering, brug af musikalsk viden og generel lydsemantik med det formål at udføre intelligente operationer på lyd- og musiksignaler fra computeren. Teknisk set kræver dette en kombination af metoder inden for signalbehandling , auditiv modellering , musikopfattelse og kognition , mønstergenkendelse og maskinindlæring samt mere traditionelle metoder til kunstig intelligens til musikalsk videnrepræsentation.

Ansøgninger

Ligesom computersyn versus billedbehandling behandler computer audition versus lydteknik forståelse af lyd snarere end behandling. Det adskiller sig også fra problemer med maskinforståelse, da det beskæftiger sig med generelle lydsignaler, såsom naturlige lyde og musikoptagelser.

Anvendelser af computer audition er meget varierende, og inkluderer søgen efter lyde , genre anerkendelse, akustisk overvågning , musik transskription , score på, lyd tekstur , improvisationsmusik , følelser i lyd og så videre.

Relaterede discipliner

Computer Audition overlapper med følgende discipliner:

  • Hentning af musikinformation: metoder til søgning og analyse af ligheden mellem musiksignaler.
  • Auditory Scene Analysis: forståelse og beskrivelse af lydkilder og begivenheder.
  • Maskinlytning: metoder til at udtrække auditive meningsfulde parametre fra lydsignaler.
  • Computational musicology og matematisk musikteori: brug af algoritmer, der anvender musikalsk viden til analyse af musikdata.
  • Computermusik : brug af computere i kreative musikalske applikationer.
  • Maskinmusik: auditionsdrevne interaktive musiksystemer.

Studieområder

Da lydsignaler fortolkes af det menneskelige øre-hjerne-system, skal den komplekse perceptuelle mekanisme simuleres på en eller anden måde i software til "maskinlytning". Med andre ord, for at udføre på niveau med mennesker, skal computeren høre og forstå lydindhold meget som mennesker gør. Analysering af lyd involverer nøjagtigt flere områder: elektroteknik (spektrumanalyse, filtrering og lydtransformationer); kunstig intelligens (maskinlæring og lydklassificering); psykoakustik (lydopfattelse); kognitive videnskaber (neurovidenskab og kunstig intelligens); akustik (lydproduktionens fysik); og musik (harmoni, rytme og klang). Desuden bør lydtransformationer såsom tonehøjdeforskydning, tidsstrækning og lydobjektfiltrering være perceptuelt og musikalsk meningsfuld. For de bedste resultater kræver disse transformationer perceptuel forståelse af spektralmodeller, ekstraktion af højt niveau og lydanalyse / syntese. Endelig kan strukturering og kodning af indholdet af en lydfil (lyd og metadata) drage fordel af effektive komprimeringsordninger, som kasserer uhørbar information i lyden. Beregningsmodeller for musik og lydopfattelse og kognition kan føre til en mere meningsfuld gengivelse, en mere intuitiv digital manipulation og generering af lyd og musik i musikalske grænseflader mellem mennesker og maskiner.

Undersøgelsen af ​​CA kunne groft inddeles i følgende delproblemer:

  1. Repræsentation: signal og symbolsk. Dette aspekt beskæftiger sig med tidsfrekvensrepræsentationer, både med hensyn til noter og spektrale modeller, inklusive mønsterafspilning og lydtekstur.
  2. Ekstraktion af funktioner : lydbeskrivere, segmentering, start, detektering af tonehøjde og konvolut , chroma og auditive repræsentationer.
  3. Musikale videnstrukturer: analyse af tonalitet , rytme og harmonier .
  4. Lydlignelighed: metoder til sammenligning mellem lyde, identifikation af lyd, detektion af nyheder, segmentering og gruppering.
  5. Sekvensmodellering: matching og justering mellem signaler og notesekvenser.
  6. Kildeseparation: metoder til gruppering af samtidige lyde, såsom multiple pitch-detektering og tidsfrekvens-klyngemetoder.
  7. Auditiv kognition: modellering af følelser, forventning og fortrolighed, auditiv overraskelse og analyse af musikalsk struktur.
  8. Multimodal analyse: at finde korrespondancer mellem tekst-, visuelle og lydsignaler.

Repræsentationsspørgsmål

Computer audition beskæftiger sig med lydsignaler, der kan repræsenteres i en række forskellige mode, fra direkte kodning af digital lyd i to eller flere kanaler til symbolsk repræsenteret synteseinstruktioner. Lydsignaler er normalt repræsenteret i form af analoge eller digitale optagelser. Digitale optagelser er eksempler på akustisk bølgeform eller parametre for lydkomprimeringsalgoritmer . En af de unikke egenskaber ved musikalske signaler er, at de ofte kombinerer forskellige typer repræsentationer, såsom grafiske scores og sekvenser af ydeevnehandlinger, der er kodet som MIDI- filer.

Da lydsignaler normalt omfatter flere lydkilder, er det i modsætning til talesignaler, der effektivt kan beskrives i form af specifikke modeller (som kildefiltermodel), svært at udtænke en parametrisk repræsentation for generel lyd. Parametriske lydrepræsentationer bruger normalt filterbanker eller sinusformede modeller til at indfange flere lydparametre, hvilket undertiden øger repræsentationsstørrelsen for at fange intern struktur i signalet. Yderligere typer data, der er relevante for audition af computere, er tekstbeskrivelser af lydindhold, såsom kommentarer, anmeldelser og visuel information i tilfælde af audiovisuelle optagelser.

Funktioner

Beskrivelse af indholdet af generelle lydsignaler kræver normalt ekstraktion af funktioner, der fanger specifikke aspekter af lydsignalet. Generelt kunne man opdele funktionerne i signal- eller matematiske deskriptorer såsom energi, beskrivelse af spektralform osv., Statistisk karakterisering såsom ændring eller nyhedsdetektering, specielle repræsentationer, der er bedre tilpasset naturen af ​​musikalske signaler eller det auditive system, såsom logaritmisk vækst af følsomhed ( båndbredden ) i frekvens eller oktav invarians (chroma).

Da parametriske modeller i lyd normalt kræver meget mange parametre, bruges funktionerne til at opsummere egenskaberne for flere parametre i en mere kompakt eller fremtrædende repræsentation.

Musikalsk viden

At finde specifikke musikalske strukturer er muligt ved hjælp af musikalsk viden såvel som overvågede og ikke-overvågede maskinlæringsmetoder. Eksempler på dette inkluderer detektion af tonalitet i henhold til fordeling af frekvenser, der svarer til mønstre for forekomst af toner i musikalske skalaer, fordeling af tones begyndelsestider til påvisning af beatstruktur, fordeling af energier i forskellige frekvenser til detektering af musikalske akkorder og så videre.

Lydlighed og sekvensmodellering

Sammenligning af lyde kan udføres ved sammenligning af funktioner med eller uden henvisning til tid. I nogle tilfælde kan en samlet lighed vurderes ved tætte værdier af funktioner mellem to lyde. I andre tilfælde, hvor tidsmæssig struktur er vigtig, skal der anvendes metoder til dynamisk tidsforvrængning for at "korrigere" for forskellige tidsmæssige skalaer for akustiske begivenheder. At finde gentagelser og lignende undersekvenser af lydhændelser er vigtigt for opgaver som tekstursyntese og maskinimprovisation .

Kildeseparation

Da en af ​​de grundlæggende egenskaber ved generel lyd er, at den omfatter flere kilder, der lyder samtidigt, såsom flere musikinstrumenter, folk, der taler, maskinlyde eller dyrestemning, er evnen til at identificere og adskille individuelle kilder meget ønskelig. Desværre er der ingen metoder, der kan løse dette problem på en robust måde. Eksisterende metoder til kildeseparation er undertiden afhængige af sammenhæng mellem forskellige lydkanaler i flerkanalsoptagelser . Evnen til at adskille kilder fra stereosignaler kræver forskellige teknikker end dem, der normalt anvendes i kommunikation, hvor flere sensorer er tilgængelige. Andre kildeseparationsmetoder er afhængige af træning eller gruppering af funktioner i mono-optagelse, såsom sporing af harmonisk relaterede partialer til detektering af flere tonehøjder. Nogle metoder, før eksplicit genkendelse, er afhængige af at afsløre strukturer i data uden at kende strukturer (som at genkende objekter i abstrakte billeder uden at tildele dem meningsfulde etiketter) ved at finde de mindst komplekse datarepræsentationer, for eksempel at beskrive lydscener som genereret af et par tonemønstre og deres baner (polyfoniske stemmer) og akustiske konturer tegnet af en tone (akkorder).

Auditiv erkendelse

At lytte til musik og generel lyd er normalt ikke en opgavestyret aktivitet. Folk nyder musik af forskellige dårligt forståede grunde, som ofte refereres til musikens følelsesmæssige effekt på grund af skabelse af forventninger og deres realisering eller krænkelse. Dyr er opmærksomme på tegn på fare i lyde, som enten kan være specifikke eller generelle forestillinger om overraskende og uventet forandring. Generelt skaber dette en situation, hvor computereudition ikke kun kan stole på detektering af specifikke funktioner eller lydegenskaber og er nødt til at komme med generelle metoder til at tilpasse sig skiftende auditive miljø og overvåge dets struktur. Dette består af analyse af større gentagelses- og selvlignende strukturer i lyd for at detektere innovation samt evne til at forudsige lokal funktionsdynamik.

Multimodal analyse

Blandt de tilgængelige data til beskrivelse af musik er der tekstlige repræsentationer, såsom liner noter, anmeldelser og kritik, der beskriver lydindholdet i ord. I andre tilfælde kan menneskelige reaktioner såsom følelsesmæssige vurderinger eller psyko-fysiologiske målinger give et indblik i lydens indhold og struktur. Computer Audition forsøger at finde sammenhæng mellem disse forskellige repræsentationer for at give denne yderligere forståelse af lydindholdet.

Se også

eksterne links

Referencer