Svakt tilsyn - Weak supervision

Svakt tilsyn er en gren av maskinlæring der støyende, begrensede eller upresise kilder brukes til å gi veiledningssignal for merking av store mengder treningsdata i en overvåket læringsinnstilling . Denne tilnærmingen lindrer byrden ved å skaffe håndmerkede datasett, som kan være kostbare eller upraktiske. I stedet brukes billige svake etiketter med den forståelse at de er ufullkomne, men kan likevel brukes til å lage en sterk prediktiv modell.

Problem med merkede treningsdata

Maskinlæringsmodeller og teknikker blir stadig mer tilgjengelige for forskere og utviklere; nytten av disse modellene i virkeligheten avhenger imidlertid av tilgang til merkede treningsdata av høy kvalitet. Dette behovet for merkede opplæringsdata viser seg ofte å være et betydelig hinder for anvendelsen av maskinlæringsmodeller i en organisasjon eller bransje. Denne flaskehalseffekten manifesterer seg på forskjellige måter, inkludert følgende eksempler:

Utilstrekkelig mengde merkede data

Når maskinlæringsteknikker i utgangspunktet brukes i nye applikasjoner eller bransjer, er det ofte ikke nok opplæringsdata tilgjengelig for å anvende tradisjonelle prosesser. Noen bransjer har fordelen av tiår med opplæringsdata som er lett tilgjengelig; de som ikke har en vesentlig ulempe. I slike tilfeller kan det være upraktisk, dyrt eller umulig å skaffe opplæringsdata uten å vente år på at det akkumuleres.

Utilstrekkelig fagkunnskap for å merke data

Når merking av treningsdata krever spesiell relevant kompetanse, kan det raskt bli uoverkommelig dyrt å lage et brukbart treningsdatasett. Dette problemet vil sannsynligvis forekomme for eksempel i biomedisinske eller sikkerhetsrelaterte applikasjoner for maskinlæring.

Utilstrekkelig tid til å merke og forberede data

Mesteparten av tiden som kreves for å implementere maskinlæring, brukes på å forberede datasett. Når en industri eller et forskningsfelt håndterer problemer som av natur er i rask utvikling, kan det være umulig å samle inn og forberede data raskt nok til at resultatene kan være nyttige i virkelige applikasjoner. Dette problemet kan for eksempel forekomme i svindeloppdagelse eller cybersikkerhetsapplikasjoner .

Det finnes andre områder innen maskinlæring som også er motivert av kravet om økt mengde og kvalitet på merkede treningsdata, men bruker forskjellige teknikker på høyt nivå for å nærme seg dette kravet. Disse andre tilnærmingene inkluderer aktiv læring , halvtilsynet læring og overføringslæring .

Typer svake etiketter

Svake etiketter er ment å redusere kostnadene og øke effektiviteten til menneskelig innsats som brukes i håndmerkingsdata. De kan ha mange former, inkludert følgende:

• Presise eller unøyaktige etiketter: utviklere kan bruke høyere nivå, mindre presise innspill fra fageksperter for å lage heuristiske regler , definere forventede distribusjoner eller pålegge andre begrensninger for treningsdataene.
• Unøyaktige etiketter: utviklere kan bruke rimelige input av lavere kvalitet gjennom midler som crowdsourcing for å skaffe mange etiketter, men som ikke forventes å være helt riktige.
• Eksisterende ressurser : utviklere kan dra nytte av eksisterende ressurser (for eksempel kunnskapsbaser, alternative datasett eller forhåndsutdannede modeller) for å lage etiketter som er nyttige, men ikke perfekt egnet for den gitte oppgaven.

Søknader om svakt tilsyn

Søknader om svakt tilsyn er mange og varierte innen forskningsmiljøet for maskinlæring.

I 2014 brukte forskere fra UC Berkeley prinsippene for svak veiledning for å foreslå en iterativ læringsalgoritme som utelukkende avhenger av etiketter generert av heuristikk og lindrer behovet for å samle inn grunnleggende sannhetsetiketter. Algoritmen ble brukt på smarte måledata for å lære om husholdningens belegg uten noen gang å be om beleggingsdata, som har reist spørsmål om personvern og sikkerhet som dekket av en artikkel i IEEE Spectrum.

I 2018 foreslo forskere fra UC Riverside en metode for å lokalisere handlinger/hendelser i videoer ved å bruke bare svakt tilsyn, det vil si etiketter på videonivå, uten informasjon om start- og sluttid for hendelsene under trening. Arbeidet deres introduserte en oppmerksomhetsbasert likhet mellom to videoer, som fungerer som en regulator for læring med svake etiketter. Deretter introduserte de i 2019 et nytt problem med hendelseslokalisering i videoer ved hjelp av tekstspørringer fra brukere, men med svake kommentarer mens de trente. Senere i et samarbeid med NEC Laboratories America ble en lignende oppmerksomhetsbasert justeringsmekanisme med svake etiketter introdusert for å tilpasse en kildesemantisk segmenteringsmodell til et måldomene. Når de svake etikettene til målbildene er estimert ved hjelp av kildemodellen, er det uovervåket domenetilpasning , som ikke krever noen målannoteringskostnad, og når de svake etikettene er hentet fra en annotator, påløper det en svært liten mengde annoteringskostnader og faller under kategorien svakt overvåket domenetilpasning, som først ble introdusert i dette arbeidet for semantisk segmentering.

Forskere ved Stanford University opprettet Snorkel, et åpen kildekode-system for rask montering av treningsdata gjennom svakt tilsyn. Snorkel benytter de sentrale prinsippene i dataprogrammeringsparadigmet, der utviklere lager merkingsfunksjoner, som deretter brukes til å programmere etiketter data, og bruker overvåket læringsteknikk for å vurdere nøyaktigheten av disse merkingsfunksjonene. På denne måten kan potensielt lavkvalitetsinnganger brukes til å lage modeller av høy kvalitet. Etterpå opprettet Stanford AI Lab-forskerne Snorkel AI, som stammer fra Snorkel-prosjektet, ved hjelp av topp moderne programmatisk datamerking og svake tilsynsmetoder, noe som vellykket reduserer AI-utviklingskostnader og tid betydelig.

I et felles arbeid med Google viste Stanford -forskere at eksisterende organisatoriske kunnskapsressurser kan konverteres til svake tilsynskilder og brukes til å redusere utviklingskostnader og tid betydelig.

I 2019 ga Massachusetts Institute of Technology og Google -forskere ut cleanlab, den første standardiserte Python -pakken for maskinlæring og dyp læring med støyende etiketter. Cleanlab implementerer trygg læring , et rammeverk for teori og algoritmer for å håndtere usikkerhet i datasettetiketter, for (1) å finne etikettfeil i datasett, (2) karakterisere etikettstøy og (3) standardisere og forenkle forskning i svak veiledning og læring med bråkete etiketter.

Forskere ved University of Massachusetts Amherst foreslår å øke tradisjonelle metoder for aktiv læring ved å be om etiketter på funksjoner i stedet for forekomster i et datasett.

Forskere ved Johns Hopkins University foreslår å redusere kostnaden for merking av datasett ved å la annotatorer gi rasjonaler som støtter hver av deres datakommentarer, og deretter bruke disse rasjonene til å trene både diskriminerende og generative modeller for merking av tilleggsdata.

Forskere ved University of Alberta foreslår en metode som bruker tradisjonelle metoder for aktiv læring for å forbedre kvaliteten på de ufullkomne etikettene som tilbys av svakt tilsyn.