Välimuistin kielimalli - Cache language model

Välimuisti Kielimalli on eräänlainen tilastollinen kielen mallin . Nämä esiintyvät luonnollisen kielen käsittely alikentän tietotekniikan ja määrittää todennäköisyydet annettujen sanojen sekvenssit avulla todennäköisyysjakauman . Tilastolliset kielimallit ovat puheentunnistusjärjestelmien ja monien konekäännösjärjestelmien keskeisiä komponentteja : ne kertovat tällaisille järjestelmille, mitkä mahdolliset lähtösanojen sekvenssit ovat todennäköisiä ja mitkä epätodennäköisiä. Välimuistikielimallin erityispiirre on, että se sisältää välimuistikomponentin ja antaa suhteellisen suuren todennäköisyyden sanoille tai sanasekvensseille, joita esiintyy muualla tietyssä tekstissä. Välimuistin kielimallien ensisijainen, mutta ei suinkaan ainoa käyttö on puheentunnistusjärjestelmissä.

Jos haluat ymmärtää, miksi tilastollisessa kielimallissa on hyvä sisältää välimuistikomponentti, voidaan harkita jotakuta, joka sanelee kirjeen norsuista puheentunnistusjärjestelmälle. N-gramman vakiomallit (ei välimuisti) antavat sanalle "norsu" erittäin pienen todennäköisyyden, koska se on hyvin harvinainen sana englanniksi . Jos puheentunnistusjärjestelmä ei sisällä välimuistikomponenttia, kirjeen saneleva henkilö voi olla ärtynyt: joka kerta, kun sana "norsu" puhutaan, voidaan tunnistaa toinen sanasarja, jolla on suurempi todennäköisyys N-gramman kielimallin mukaan (esim. , "kerro suunnitelma"). Nämä virheelliset jaksot on poistettava manuaalisesti ja korvattava tekstissä sanalla "norsu" joka kerta, kun "norsu" puhutaan. Jos järjestelmässä on välimuistin kielimalli, "norsu" tunnistetaan todennäköisesti väärin ensimmäisellä kerralla, kun se puhutaan, ja se on syötettävä tekstiin manuaalisesti. Tästä lähtien järjestelmä on kuitenkin tietoinen siitä, että "norsu" esiintyy todennäköisesti uudelleen - arvioitu "norsun" esiintymisen todennäköisyys on kasvanut, mikä tekee todennäköisemmäksi, että jos se puhutaan, se tunnistetaan oikein. Kun "elefanttia" on esiintynyt useita kertoja, järjestelmä todennäköisesti tunnistaa sen oikein joka kerta, kun se puhutaan, kunnes kirje on täysin saneltu. Tämä "norsun" esiintymiselle osoitetun todennäköisyyden kasvu on esimerkki koneoppimisen ja tarkemmin kuvion tunnistamisen seurauksesta .

Välimuistin kielimallissa on muunnelmia, joissa yksittäisten sanojen lisäksi myös aiemmin esiintyneille monisanaisille jaksoille on annettu suurempi todennäköisyys (esim. Jos "San Francisco" tapahtui tekstin alussa, sen myöhemmät esiintymät osoitettaisiin suurempi todennäköisyys).

Välimuistin kielimallia ehdotettiin ensimmäisen kerran vuonna 1990 julkaistussa asiakirjassa, jonka jälkeen IBM: n puheentunnistusryhmä kokeili konseptia. Ryhmä havaitsi, että täytäntöönpano muodossa välimuistin kielimallin tuotti 24%: n lasku sana-virheiden määrä , kun ensimmäinen muutama sata sanat asiakirja oli sanelema. Yksityiskohtaisessa kyselyssä kielimallintamistekniikoista pääteltiin, että välimuistin kielimalli oli yksi harvoista uusista kielimallintamistekniikoista, joka tuotti parannuksia tavalliseen N-gramman lähestymistapaan verrattuna: "Välimuistituloksemme osoittavat, että välimuisti on ylivoimaisesti hyödyllisin tekniikka hämmennyksen vähentämiseksi pienillä ja keskisuurilla harjoitustietojen kooilla ".

Välimuistikielimallin kehittäminen on herättänyt huomattavaa kiinnostusta laskennallisen kielitieteen parissa ja erityisesti luonnollisen kielen tilastollisessa käsittelyssä : Viime aikoina on ollut kiinnostunut välimuistikielimallin soveltamisesta tilastollisen konekääntämisen alalla.

Välimuistikielimallin menestys sanan ennustamisen parantamisessa perustuu ihmisen taipumukseen käyttää sanoja "purskeella": kun keskustellaan tietystä aiheesta tietyssä kontekstissa, tiettyjen sanojen käyttötiheys on melko erilainen kuin niiden taajuudet, kun keskustellaan muista aiheista muissa yhteyksissä. Perinteiset N-gramman kielimallit, jotka perustuvat täysin tietoihin hyvin pienestä joukosta (neljä, kolme tai kaksi) sanaa, joka edeltää sanaa, jolle todennäköisyys osoitetaan, eivät mallintaa riittävästi tätä "pursketta".

Äskettäin välimuistin kielimallikonsepti - alun perin suunniteltu N-gramman tilastolliselle kielimalliparadigmalle - on sovitettu käytettäväksi hermoparadigmassa. Esimerkiksi viimeaikainen jatkuvan välimuistin kielimallien työ toistuvassa hermoverkkoyhteydessä (RNN) on soveltanut välimuistikonseptia paljon suurempiin yhteyksiin kuin aikaisemmin, mikä on johtanut merkittävään hämmennyksen vähenemiseen. Toinen viimeaikainen tutkimuslinja sisältää välimuistikomponentin sisällyttämisen eteenpäin suuntautuvaan hermokielimalliin (FN-LM) verkkotunnuksen nopean sopeutumisen saavuttamiseksi.

Katso myös

Viitteet

Lisälukemista