Adattamento del dominio - Domain adaptation

Distinzione tra l'impostazione abituale dell'apprendimento automatico e l' apprendimento del trasferimento e il posizionamento dell'adattamento del dominio.

L'adattamento del dominio è un campo associato al machine learning e al transfer learning . Questo scenario si presenta quando miriamo ad apprendere da una distribuzione di dati di origine un modello ben funzionante su una distribuzione di dati di destinazione diversa (ma correlata). Ad esempio, uno dei compiti del comune problema di filtraggio dello spam consiste nell'adattare un modello da un utente (la distribuzione di origine) a un nuovo utente che riceve e-mail significativamente diverse (la distribuzione di destinazione). È stato anche dimostrato che l'adattamento del dominio è vantaggioso per l'apprendimento di fonti non correlate. Si noti che, quando è disponibile più di una distribuzione di origine, il problema viene indicato come adattamento del dominio a più origini.

Panoramica

L'adattamento del dominio è la capacità di applicare un algoritmo addestrato in uno o più "domini di origine" a un "dominio di destinazione" diverso (ma correlato). L'adattamento di dominio è una sottocategoria dell'apprendimento per trasferimento. Nell'adattamento del dominio, i domini di origine e di destinazione hanno tutti lo stesso spazio di funzionalità (ma distribuzioni diverse); al contrario, l'apprendimento per trasferimento include casi in cui lo spazio di funzionalità del dominio di destinazione è diverso dallo spazio o dagli spazi di funzionalità di origine.

Cambio di dominio

Uno spostamento di dominio , o spostamento distributivo , è un cambiamento nella distribuzione dei dati tra il set di dati di addestramento di un algoritmo e un set di dati che incontra quando viene distribuito. Questi cambiamenti di dominio sono comuni nelle applicazioni pratiche dell'intelligenza artificiale. Gli algoritmi convenzionali di apprendimento automatico spesso si adattano male ai cambiamenti di dominio. La moderna comunità di apprendimento automatico ha molte strategie diverse per tentare di ottenere un migliore adattamento del dominio.

Esempi

• Un algoritmo addestrato sui notiziari potrebbe doversi adattare a un nuovo set di dati di documenti biomedici.
• Un filtro antispam, addestrato su un determinato gruppo di utenti di posta elettronica durante la formazione, deve adattarsi a un nuovo utente di destinazione quando viene distribuito.
• Applicazione di algoritmi diagnostici AI, formati su dati etichettati associati a malattie precedenti, a nuovi dati non etichettati associati alla pandemia di COVID-19 .
• Un improvviso cambiamento della società, come un'epidemia di pandemia, può costituire un cambiamento di dominio e causare il fallimento degli algoritmi di apprendimento automatico formati su dati dei consumatori ormai obsoleti e richiedere un intervento.

Altre applicazioni includono il rilevamento della localizzazione Wi-Fi e molti aspetti della visione artificiale .

Formalizzazione

Sia lo spazio di input (o spazio di descrizione) e sia lo spazio di output (o spazio di etichetta). L'obiettivo di un algoritmo di apprendimento automatico è quello di apprendere un modello matematico (un'ipotesi) in grado di associare un'etichetta da a un esempio da . Questo modello viene appreso da un campione di apprendimento . ${\displaystyle X}$${\displaystyle Y}$${\displaystyle h:X\to Y}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}}$

Di solito nell'apprendimento supervisionato (senza adattamento del dominio), si suppone che gli esempi siano tratti da una distribuzione di supporto (sconosciuta e fissa). L'obiettivo è quindi imparare (da ) in modo tale da commettere il minor errore possibile per etichettare nuovi esempi provenienti dalla distribuzione . ${\displaystyle (x_{i},y_{i})\in S}$${\displaystyle D_{S}}$${\displaystyle X\times Y}$${\displaystyleh}$${\displaystyle S}$${\displaystyle D_{S}}$

La principale differenza tra l'apprendimento supervisionato e l'adattamento di dominio è che in quest'ultima situazione studiamo due distribuzioni diverse (ma correlate) e su . Il compito di adattamento del dominio consiste quindi nel trasferimento di conoscenza dal dominio di origine a quello di destinazione . L'obiettivo è quindi imparare (da campioni etichettati o non etichettati provenienti dai due domini) in modo tale da commettere il minor errore possibile sul dominio di destinazione . ${\displaystyle D_{S}}$${\displaystyle D_{T}}$${\displaystyle X\times Y}$${\displaystyle D_{S}}$${\displaystyle D_{T}}$${\displaystyleh}$${\displaystyle D_{T}}$

Il problema principale è il seguente: se un modello viene appreso da un dominio di origine, qual è la sua capacità di etichettare correttamente i dati provenienti dal dominio di destinazione?

I diversi tipi di adattamento del dominio

Esistono diversi contesti di adattamento del dominio. Differiscono nelle informazioni considerate per l'attività di destinazione.

1. L' adattamento del dominio non supervisionato : il campione di apprendimento contiene una serie di esempi di origine etichettati, una serie di esempi di origine non etichettati e una serie di esempi di destinazione non etichettati.
2. L' adattamento del dominio semi-supervisionato : in questa situazione, consideriamo anche un "piccolo" insieme di esempi di target etichettati.
3. L' adattamento del dominio supervisionato : tutti gli esempi considerati dovrebbero essere etichettati.

Quattro principi algoritmici

Algoritmi di riponderazione

L'obiettivo è ripesare il campione etichettato come sorgente in modo che "assomigli" al campione di destinazione (in termini di misura di errore considerata).

Algoritmi iterativi

Un metodo di adattamento consiste nell'"auto-etichettare" in modo iterativo gli esempi di destinazione. Il principio è semplice:

1. un modello viene appreso dagli esempi etichettati;${\displaystyleh}$
2. ${\displaystyleh}$ etichetta automaticamente alcuni esempi di target;
3. un nuovo modello viene appreso dai nuovi esempi etichettati.

Nota che esistono altri approcci iterativi, ma di solito hanno bisogno di esempi etichettati come target.

Ricerca di uno spazio di rappresentazione comune

L'obiettivo è trovare o costruire uno spazio di rappresentazione comune per i due domini. L'obiettivo è ottenere uno spazio in cui i domini siano vicini tra loro mantenendo buone prestazioni nell'attività di etichettatura della sorgente. Ciò può essere ottenuto attraverso l'uso di tecniche di apprendimento automatico contraddittorio in cui le rappresentazioni delle caratteristiche da campioni in diversi domini sono incoraggiate a essere indistinguibili.

Modello bayesiano gerarchico

L'obiettivo è costruire un modello gerarchico bayesiano , che è essenzialmente un modello di fattorizzazione per i conteggi , per derivare rappresentazioni latenti dipendenti dal dominio che consentano fattori latenti sia specifici del dominio che condivisi a livello globale. ${\displaystyle p(n)}$${\displaystyle n}$

Riferimenti