Modello linguaggio cache - Cache language model

Un modello di linguaggio della cache è un tipo di modello di linguaggio statistico . Questi si verificano nel sottocampo di elaborazione del linguaggio naturale dell'informatica e assegnano probabilità a date sequenze di parole mediante una distribuzione di probabilità . I modelli linguistici statistici sono componenti chiave dei sistemi di riconoscimento vocale e di molti sistemi di traduzione automatica : indicano a tali sistemi quali possibili sequenze di parole in uscita sono probabili e quali improbabili. La caratteristica particolare di un modello di linguaggio cache è che contiene un componente cache e assegna probabilità relativamente alte a parole o sequenze di parole che ricorrono altrove in un dato testo. L'uso principale, ma non l'unico, dei modelli di linguaggio cache è nei sistemi di riconoscimento vocale.

Per capire perché è una buona idea che un modello di linguaggio statistico contenga un componente cache, si potrebbe considerare qualcuno che sta dettando una lettera sugli elefanti a un sistema di riconoscimento vocale. I modelli linguistici standard (non cache) N-gram assegneranno una probabilità molto bassa alla parola "elefante" perché è una parola molto rara in inglese . Se il sistema di riconoscimento vocale non contiene una componente cache la persona che detta la lettera può essere infastidita: ogni volta che viene pronunciata la parola "elefante" può essere riconosciuta un'altra sequenza di parole con una probabilità maggiore secondo il modello linguistico N-gram (es. , "racconta un piano"). Queste sequenze errate dovranno essere cancellate manualmente e sostituite nel testo con "elefante" ogni volta che si pronuncia "elefante". Se il sistema ha un modello di linguaggio cache, "elephant" sarà probabilmente riconosciuto erroneamente la prima volta che viene pronunciato e dovrà essere inserito manualmente nel testo; tuttavia, da questo punto in poi il sistema è consapevole che è probabile che "elefante" si ripresenti - la probabilità stimata di occorrenza di "elefante" è stata aumentata, rendendo più probabile che se viene pronunciato verrà riconosciuto correttamente. Una volta che "elefante" si è verificato più volte, è probabile che il sistema lo riconosca correttamente ogni volta che viene pronunciato fino a quando la lettera non è stata completamente dettata. Questo aumento della probabilità assegnata al verificarsi di "elefante" è un esempio di una conseguenza dell'apprendimento automatico e più specificamente del riconoscimento di modelli .

Esistono varianti del modello di linguaggio cache in cui non solo a singole parole ma anche a sequenze di più parole che si sono verificate in precedenza vengono assegnate probabilità più elevate (ad esempio, se "San Francisco" si verifica vicino all'inizio del testo verrebbero assegnate istanze successive di esso una probabilità più alta).

Il modello del linguaggio cache è stato proposto per la prima volta in un articolo pubblicato nel 1990, dopo di che il gruppo di riconoscimento vocale IBM ha sperimentato il concetto. Il gruppo ha scoperto che l'implementazione di una forma di modello di linguaggio cache ha prodotto un calo del 24% dei tassi di errore delle parole una volta che le prime centinaia di parole di un documento erano state dettate. Un'indagine dettagliata sulle tecniche di modellazione del linguaggio ha concluso che il modello del linguaggio della cache era una delle poche nuove tecniche di modellazione del linguaggio che ha prodotto miglioramenti rispetto all'approccio standard N-gram: "I nostri risultati di memorizzazione nella cache mostrano che la memorizzazione nella cache è di gran lunga la tecnica più utile per la riduzione delle perplessità a piccole e medie dimensioni dei dati di addestramento ".

Lo sviluppo del modello del linguaggio cache ha generato un notevole interesse tra coloro che si occupano di linguistica computazionale in generale e dell'elaborazione statistica del linguaggio naturale in particolare: recentemente c'è stato interesse nell'applicazione del modello del linguaggio cache nel campo della traduzione automatica statistica.

Il successo del modello del linguaggio cache nel migliorare la predizione delle parole si basa sulla tendenza umana a usare le parole in modo "rapido": quando si discute di un certo argomento in un certo contesto, la frequenza con cui si usano certe parole sarà abbastanza diversa da le loro frequenze quando si discute di altri argomenti in altri contesti. I tradizionali modelli di linguaggio N-gram, che si basano interamente sulle informazioni di un numero molto piccolo (quattro, tre o due) di parole che precedono la parola a cui deve essere assegnata una probabilità, non modellano adeguatamente questa "raffinatezza".

Recentemente, il concetto di modello del linguaggio della cache - originariamente concepito per il paradigma del modello del linguaggio statistico N-gram - è stato adattato per l'uso nel paradigma neurale. Ad esempio, un recente lavoro sui modelli di linguaggio della cache continua nell'impostazione della rete neurale ricorrente (RNN) ha applicato il concetto di cache a contesti molto più ampi rispetto a prima, producendo significative riduzioni di perplessità. Un'altra linea di ricerca recente prevede l'incorporazione di un componente cache in un modello di linguaggio neurale feed-forward (FN-LM) per ottenere un rapido adattamento del dominio.

Guarda anche

Riferimenti

Ulteriore lettura