Supervisione debole - Weak supervision

La supervisione debole è una branca dell'apprendimento automatico in cui vengono utilizzate fonti rumorose, limitate o imprecise per fornire un segnale di supervisione per etichettare grandi quantità di dati di addestramento in un ambiente di apprendimento supervisionato . Questo approccio allevia l'onere di ottenere set di dati etichettati a mano, che possono essere costosi o poco pratici. Invece, le etichette deboli poco costose vengono utilizzate con la consapevolezza che sono imperfette, ma possono comunque essere utilizzate per creare un modello predittivo forte.

Problema dei dati di allenamento etichettati

I modelli e le tecniche di apprendimento automatico sono sempre più accessibili a ricercatori e sviluppatori; l'utilità nel mondo reale di questi modelli, tuttavia, dipende dall'accesso a dati di addestramento etichettati di alta qualità. Questa necessità di dati di formazione etichettati si rivela spesso un ostacolo significativo all'applicazione di modelli di apprendimento automatico all'interno di un'organizzazione o di un settore. Questo effetto collo di bottiglia si manifesta in vari modi, inclusi i seguenti esempi:

Quantità insufficiente di dati etichettati

Quando le tecniche di apprendimento automatico vengono inizialmente utilizzate in nuove applicazioni o settori, spesso non sono disponibili dati di formazione sufficienti per applicare i processi tradizionali. Alcuni settori hanno il vantaggio di disporre di dati di formazione decennale; quelli che non lo sono hanno uno svantaggio significativo. In tali casi, ottenere dati di formazione può essere poco pratico, costoso o impossibile senza attendere anni per il loro accumulo.

Competenza in materia insufficiente per etichettare i dati

Quando l'etichettatura dei dati di addestramento richiede competenze specifiche pertinenti, la creazione di un set di dati di addestramento utilizzabile può diventare rapidamente proibitivo. È probabile che questo problema si verifichi, ad esempio, nelle applicazioni biomediche o legate alla sicurezza dell'apprendimento automatico.

Tempo insufficiente per etichettare e preparare i dati

La maggior parte del tempo necessario per implementare l'apprendimento automatico viene impiegato nella preparazione dei set di dati. Quando un'industria o un campo di ricerca si occupa di problemi che sono, per natura, in rapida evoluzione, può essere impossibile raccogliere e preparare dati abbastanza rapidamente affinché i risultati siano utili nelle applicazioni del mondo reale. Questo problema potrebbe verificarsi, ad esempio, nelle applicazioni di rilevamento delle frodi o di sicurezza informatica .

Esistono altre aree di apprendimento automatico che sono ugualmente motivate dalla richiesta di una maggiore quantità e qualità di dati di formazione etichettati, ma impiegano diverse tecniche di alto livello per affrontare questa domanda. Questi altri approcci includono l' apprendimento attivo , l' apprendimento semi-supervisionato e l' apprendimento per trasferimento .

Tipi di etichette deboli

Le etichette deboli hanno lo scopo di ridurre i costi e aumentare l'efficienza degli sforzi umani dedicati all'etichettatura manuale dei dati. Possono assumere molte forme, tra cui le seguenti:

• Etichette imprecise o inesatte: gli sviluppatori possono utilizzare input di livello superiore e meno precisi da esperti in materia per creare regole euristiche , definire distribuzioni previste o imporre altri vincoli ai dati di addestramento.
• Etichette imprecise: gli sviluppatori possono utilizzare input poco costosi e di qualità inferiore attraverso mezzi come il crowdsourcing per ottenere etichette numerose, ma non dovrebbero essere perfettamente corrette.
• Risorse esistenti : gli sviluppatori possono sfruttare le risorse esistenti (come basi di conoscenza, set di dati alternativi o modelli pre-addestrati) per creare etichette utili, anche se non perfettamente adatte al compito dato.

Applicazioni di supervisione debole

Le applicazioni della supervisione debole sono numerose e varie all'interno della comunità di ricerca sull'apprendimento automatico.

Nel 2014, i ricercatori dell'UC Berkeley hanno utilizzato i principi della supervisione debole per proporre un algoritmo di apprendimento iterativo che dipende esclusivamente dalle etichette generate dall'euristica e allevia la necessità di raccogliere eventuali etichette di verità di base. L'algoritmo è stato applicato ai dati dei contatori intelligenti per conoscere l'occupazione della famiglia senza mai chiedere i dati sull'occupazione, il che ha sollevato problemi di privacy e sicurezza come trattato da un articolo in IEEE Spectrum.

Nel 2018, i ricercatori di UC Riverside hanno proposto un metodo per localizzare azioni/eventi nei video utilizzando solo una supervisione debole, ad esempio etichette a livello di video, senza alcuna informazione sull'ora di inizio e fine degli eventi durante la formazione. Il loro lavoro ha introdotto una somiglianza basata sull'attenzione tra due video, che funge da regolarizzatore per l'apprendimento con etichette deboli. Successivamente, nel 2019, hanno introdotto un nuovo problema di localizzazione degli eventi nei video utilizzando le query di testo degli utenti, ma con annotazioni deboli durante l'allenamento. Successivamente, in una collaborazione con NEC Laboratories America , è stato introdotto un meccanismo di allineamento basato sull'attenzione simile con etichette deboli per adattare un modello di segmentazione semantica di origine a un dominio di destinazione. Quando le etichette deboli delle immagini di destinazione vengono stimate utilizzando il modello di origine, si tratta di un adattamento del dominio non supervisionato , che non richiede alcun costo di annotazione di destinazione, e quando le etichette deboli vengono acquisite da un annotatore, incorre in una quantità molto piccola di costi di annotazione e rientra la categoria di adattamento del dominio debolmente supervisionato, che viene introdotta per la prima volta in questo lavoro per la segmentazione semantica.

I ricercatori della Stanford University hanno creato Snorkel, un sistema open source per assemblare rapidamente i dati di addestramento attraverso una supervisione debole. Snorkel impiega i principi centrali del paradigma di programmazione dei dati, in cui gli sviluppatori creano funzioni di etichettatura, che vengono quindi utilizzate per etichettare i dati in modo programmatico e impiega tecniche di apprendimento supervisionato per valutare l'accuratezza di tali funzioni di etichettatura. In questo modo, input potenzialmente di bassa qualità possono essere utilizzati per creare modelli di alta qualità. Successivamente, i ricercatori di Stanford AI Lab hanno creato Snorkel AI, che ha avuto origine dal progetto Snorkel, utilizzando l'etichettatura dei dati programmatica all'avanguardia e approcci di supervisione deboli, riducendo con successo i costi e i tempi di sviluppo dell'IA in modo significativo.

In un lavoro congiunto con Google , i ricercatori di Stanford hanno dimostrato che le risorse di conoscenza organizzativa esistenti potrebbero essere convertite in fonti di supervisione deboli e utilizzate per ridurre significativamente i costi e i tempi di sviluppo.

Nel 2019, i ricercatori del Massachusetts Institute of Technology e di Google hanno rilasciato cleanlab, il primo pacchetto Python standardizzato per l'apprendimento automatico e il deep learning con etichette rumorose. Cleanlab implementa l' apprendimento sicuro , un quadro di teoria e algoritmi per affrontare l'incertezza nelle etichette dei set di dati, per (1) trovare errori di etichetta nei set di dati, (2) caratterizzare il rumore delle etichette e (3) standardizzare e semplificare la ricerca in caso di supervisione e apprendimento deboli con etichette rumorose.

I ricercatori dell'Università del Massachusetts Amherst propongono di aumentare i tradizionali approcci di apprendimento attivo sollecitando etichette sulle caratteristiche piuttosto che sulle istanze all'interno di un set di dati.

I ricercatori della Johns Hopkins University propongono di ridurre il costo dell'etichettatura dei set di dati facendo in modo che gli annotatori forniscano motivazioni a supporto di ciascuna delle loro annotazioni di dati, quindi utilizzando tali motivazioni per addestrare modelli sia discriminativi che generativi per l'etichettatura di dati aggiuntivi.

I ricercatori dell'Università di Alberta propongono un metodo che applica i tradizionali approcci di apprendimento attivo per migliorare la qualità delle etichette imperfette fornite da una supervisione debole.