Generování odkazujícího výrazu - Referring expression generation

Generování odkazujících výrazů ( REG ) je dílčí úkol generování přirozeného jazyka (NLG), kterému se dostalo největší odborné pozornosti. Zatímco NLG se zabývá převodem mimojazykových informací do přirozeného jazyka, REG se zaměřuje pouze na vytváření odkazujících výrazů (podstatných frází), které identifikují konkrétní entity zvané cíle .

Tuto úlohu lze rozdělit na dvě části. Část pro výběr obsahu určuje, která sada vlastností odlišuje zamýšlený cíl, a část lingvistické realizace definuje, jak jsou tyto vlastnosti přeloženy do přirozeného jazyka. Pro generování různých typů odkazujících výrazů byla v komunitě NLG vyvinuta řada algoritmů.

Typy odkazujících výrazů

Odkazem výraz (RE), v lingvistice, je nějaký jmenná fráze , nebo náhrada za jmenné fráze, jehož funkce v diskursu je identifikovat některé jednotlivé objekty (věc, pohody, event ...) Tento odborné terminologie pro identifikaci liší skvělý jednat od jedné lingvistické školy k druhé. Nejrozšířenější termín je pravděpodobně odkazují , a věc je identifikován referent , jako například v díle Johna Lyonse . V lingvistice patří studium referenčních vztahů k pragmatice , ke studiu používání jazyka, i když je také předmětem velkého zájmu filozofů, zejména těch, kteří chtějí pochopit podstatu znalostí , vnímání a poznání obecněji.

Pro referenci lze použít různá zařízení: determinanty , zájmena , vlastní jména ... Referenční vztahy mohou být různého druhu; referenti mohou být v „reálném“ nebo imaginárním světě, v samotném diskurzu, a mohou být singulární, množní nebo kolektivní.

Zájmena

Nejjednodušším typem odkazujících výrazů jsou zájmena , jako on a it . Lingvistické komunity a komunity pro zpracování přirozeného jazyka vyvinuly různé modely pro předpovídání anaphorových referentů, například teorii centrování, a v ideálním případě by generování doporučujícího výrazu bylo založeno na těchto modelech. Většina systémů NLG však používá mnohem jednodušší algoritmy, například použití zájmena, pokud byl referent zmíněn v předchozí větě (nebo větě o větě), a v této větě nebyl zmíněn žádný jiný subjekt stejného pohlaví.

Určité podstatné fráze

Bylo provedeno značné množství výzkumu generování definitivních frází podstatného jména, jako je velká červená kniha . Hodně z toho vychází z modelu navrženého Daleem a Reiterem. Toto bylo rozšířeno různými způsoby, například Krahmer et al. představit graficko-teoretický model konečné generace NP s mnoha pěknými vlastnostmi. V posledních letech událost se sdílenými úkoly porovnávala různé algoritmy pro definitivní generování NP pomocí korpusu TUNA.

Prostorový a časový odkaz

V poslední době došlo k dalšímu výzkumu generování odkazujících výrazů pro čas a prostor. Takové odkazy bývají nepřesné (jaký je přesný význam dnešního večera ?) A také je různými lidmi interpretují různými způsoby. Proto může být nutné explicitně uvažovat o falešně pozitivních vs. falešně negativních kompromisech a dokonce vypočítat užitečnost různých možných odkazujících výrazů v kontextu konkrétní úlohy.

Kritéria pro dobré výrazy

V ideálním případě by měl dobrý odkazující výraz splňovat řadu kritérií:

Referenční úspěch : Mělo by jednoznačně identifikovat referenta čtenáři.
Snadné porozumění : Čtenář by měl být schopen rychle číst a porozumět mu.
Výpočetní složitost : Algoritmus generování by měl být rychlý
Žádné falešné závěry : Tento výraz by neměl čtenáře zmást nebo uvést v omyl tím, že navrhuje falešné implikace nebo jiné pragmatické závěry. Čtenář může být například zmatený, když mu řekne Sit u hnědého dřevěného stolu v kontextu, kde je pouze jeden stůl.

Dějiny

Éra před rokem 2000

REG se vrací do počátků NLG. Jeden z prvních přístupů provedl Winograd v roce 1972, který pro svůj program SHRDLU vyvinul „ přírůstkový “ algoritmus REG . Poté vědci začali v 80. letech modelovat lidské schopnosti k vytváření odkazujících výrazů. Tento nový přístup k tématu ovlivnili vědci Appelt a Kronfeld, kteří vytvořili programy KAMP a BERTRAND a považovali odkazující výrazy za součást větších řečových aktů.

Mezi jejich nejzajímavější zjištění patřila skutečnost, že odkazující výrazy lze použít k přidání informací nad rámec identifikace referenta, jakož i vliv komunikativního kontextu a gricijských maxim na odkazující výrazy. Navíc jeho skepse ohledně přirozenosti minimálních popisů učinila z výzkumu Appelta a Kronfelda základ pozdější práce na REG.

Hledání jednoduchých, dobře definovaných problémů změnilo směr výzkumu na počátku 90. let. Tento nový přístup vedli Dale a Reiter, kteří zdůraznili identifikaci referenta jako ústředního cíle. Stejně jako Appelt diskutují o souvislosti mezi Griceanskými maximy a odkazujícími výrazy ve svém vrcholném článku, ve kterém také navrhují formální definici problému . Reiter a Dale dále diskutují o algoritmech Full Brevity a Greedy Heuristics i o jejich přírůstkovém algoritmu (IA), který se stal jedním z nejdůležitějších algoritmů v REG.

Pozdější vývoj

Po roce 2000 začal výzkum zvedat některé zjednodušující předpoklady, které byly provedeny v raných výzkumech REG za účelem vytvoření jednodušších algoritmů. Různé výzkumné skupiny se soustředily na různá omezení a vytvořily několik rozšířených algoritmů. Často tyto rozšiřují IA v jediné perspektivě, například ve vztahu k:

Odkaz na sady jako „nositelé triček“ nebo „zelená jablka a banán vlevo“
Relační popisy jako „šálek na stole“ nebo „žena, která má tři děti“
Kontextová závislost , nejasnost a stoupavost zahrnují výroky jako „starší muž“ nebo „auto nalevo“, které jsou často nejasné bez kontextu
Nápad a tvorba zájmen jsou velmi závislé na diskurzu, takže například „ona“ odkazuje na „(nejvýznamnější) osobu ženy“

Mnoho zjednodušujících předpokladů stále existuje nebo se na nich právě začalo pracovat. Rovněž je třeba provést kombinaci různých rozšíření a Krahmer a van Deemter ji nazývají „netriviální podnik“.

Další důležitou změnou po roce 2000 bylo rostoucí využívání empirických studií za účelem vyhodnocení algoritmů. Tento vývoj nastal v důsledku vzniku transparentních korpusů . Přestože stále existují diskuse o tom, jaké jsou nejlepší metriky hodnocení, použití experimentálního hodnocení již vedlo k lepší srovnatelnosti algoritmů, diskusi o cílech REG a výzkumu více zaměřenému na úkoly.

Výzkum dále rozšířil svoji nabídku na související témata, jako je výběr rámců znalostní reprezentace (KR) . V této oblasti zůstává otevřená hlavní otázka, který rámec KR je nejvhodnější pro použití v REG. Odpověď na tuto otázku závisí na tom, jak dobře lze popisy vyjádřit nebo najít. Mnoho potenciálu rámců KR bylo dosud nevyužito.

Mezi různé přístupy patří použití:

Hledání grafů, které zachází se vztahy mezi cíli stejně jako s vlastnostmi.
Omezení spokojenosti, které umožňuje oddělení mezi specifikací problému a implementací.
Moderní reprezentace znalostí, která nabízí logický závěr například v logice popisu nebo koncepčních grafech .

Definice problému

Dale a Reiter (1995) uvažují o odkazování na výrazy jako na rozlišující popisy.

Definují:

Referent jako subjekt, který by měl být popsán
Kontext nastaven jako soubor význačných subjektů
Kontrast set nebo potenciální distraktory jako všechny prvky kontextové sady kromě referent
Vlastnost jako odkaz na jedné dvojici atribut-hodnota

Každá entita v doméně může být charakterizována jako sada párů atributů a hodnot, například typ, pes , pohlaví, žena nebo věk, 10 let . ${\ displaystyle \ langle}$ ${\ displaystyle \ rangle}$ ${\ displaystyle \ langle}$ ${\ displaystyle \ rangle}$ ${\ displaystyle \ langle}$ ${\ displaystyle \ rangle}$

Problém je pak definován takto:

Dovolme být zamýšleným referentem a kontrastní sadou. Sada dvojic atributů a hodnot pak bude představovat rozlišující popis, pokud platí následující dvě podmínky: ${\ displaystyle r}$ ${\ displaystyle C}$ ${\ displaystyle L}$

Každý pár atribut – hodnota se vztahuje na : to znamená, že každý prvek specifikuje atribut – hodnota, který má. ${\ displaystyle L}$ ${\ displaystyle r}$ ${\ displaystyle L}$ ${\ displaystyle r}$
Pro každého člena části , tam je alespoň jeden prvek ze které se nevztahuje na : to znamená, že je v tom, že určuje atribut-hodnota, která nemá. údajně vylučuje . ${\ displaystyle c}$ ${\ displaystyle C}$ ${\ displaystyle l}$ ${\ displaystyle L}$ ${\ displaystyle c}$ ${\ displaystyle l}$ ${\ displaystyle L}$ ${\ displaystyle c}$ ${\ displaystyle l}$ ${\ displaystyle c}$

Jinými slovy, pro vygenerování odkazujícího výrazu se hledá sada vlastností, které se vztahují na referenta, ale ne na distraktory.

Problém lze snadno vyřešit spojením všech vlastností referenta, což často vede k dlouhým popisům, které porušují druhý Gricean Maxim of Quantity . Dalším přístupem by bylo najít nejkratší rozlišovací popis, jako je tomu u algoritmu Full Brevity . Přesto je v praxi nejběžnější zahrnout podmínku, že odkazované výrazy vytvořené algoritmem by měly být co nejpodobnější lidským výrazům, i když to často není výslovně uvedeno.

Základní algoritmy

Plná stručnost

Algoritmus Full Brevity vždy najde minimální rozlišovací popis, což znamená, že neexistuje žádný kratší rozlišovací popis použitých vlastností.

Proto iteruje a kontroluje každý popis délky vlastností, dokud není nalezen charakteristický popis. ${\ displaystyle n = 1,2,3,4, ...}$ ${\ displaystyle n}$

Z tohoto způsobu vytváření odkazujících výrazů vyplývají dva problémy. Za prvé má algoritmus vysokou složitost, což znamená, že je NP-tvrdý, což znemožňuje jeho použití. Zadruhé lidští mluvčí vytvářejí popisy, které nejsou v mnoha situacích minimální.

Chamtivá heuristika

Algoritmus Greedy Heuristics aproximuje algoritmus Full Brevity iterativním přidáním nejvýraznější vlastnosti k popisu. Nejvýraznější vlastností se rozumí vlastnost, která vylučuje většinu zbývajících rušivých prvků. Algoritmus Greedy Heuristics je efektivnější než algoritmus Full Brevity.

Dale a Reiter (1995) představují následující algoritmus pro chamtivou heuristiku:

Nechť je sada vlastností, které mají být realizovány v našem popisu; nechť je množina vlastností, o nichž je známo, že jsou pravdivé našeho zamýšleného referenta (předpokládáme, že není prázdný); a nechť je množina distraktorů (kontrastní sada). Počáteční podmínky jsou tedy následující: ${\ displaystyle L}$ ${\ displaystyle P}$ ${\ displaystyle r}$ ${\ displaystyle P}$ ${\ displaystyle C}$

 $C=\{\langle$ all distractors $\rangle \}$ ;
 $P=\{\langle$ all properties true of  $r\rangle \}$ ;
 $L=\{\}$

Abychom popsali zamýšleného referenta s ohledem na sadu kontrastu , uděláme následující: ${\ displaystyle r}$ ${\ displaystyle C}$

1. Check Success:
   if  $|C|=0$  then return  $L$  as a distinguishing description
   elseif  $P=\emptyset$  then fail
   else goto Step 2.
2. Choose Property:
   for each  $p_{i}\in P$  do:  $C_{i}\leftarrow C\cap \{x|p_{i}(x)\}$ 
   Chosen property is  $p_{j}$  , where  $C_{j}$  is the smallest set.
   goto Step 3.
3. Extend Description (wrt the chosen  $p_{j}$ ):
    $L\leftarrow L\cup \{p_{j}\}$ 
    $C\leftarrow C_{j}$ 
    $P\leftarrow P-\{p_{j}\}$ 
   goto Step 1.

Inkrementální algoritmus

Inkrementální algoritmus (IA) od Dale a Reitera byl nejvlivnějším algoritmem před rokem 2000. Je založen na myšlence preferenčního pořadí atributů nebo vlastností, kterými se reproduktory řídí. Aby bylo možné spustit přírůstkový algoritmus, je třeba nejprve zadat pořadí preferencí atributů. Algoritmus nyní sleduje toto pořadí a přidává tyto vlastnosti do popisu, které vylučují všechny zbývající rušivé prvky. Dale a Reiter dále zdůrazňují typ atributu, který je vždy zahrnut do jejich popisu, i když nevylučuje žádné rušivé prvky.

Hodnoty typu jsou také součástí hierarchie subsumpce včetně některých hodnot základní úrovně . Například v zájmovém domény čivava je zahrnut psa a pes u zvířete . Protože pes je definován jako základní úroveň, pes by byl podle algoritmů preferován, pokud čivava nevylučuje žádné rušivé prvky.

Inkrementální algoritmus je snadno implementovatelný a také výpočetně efektivní běh v polynomiálním čase . Popis generovaný IA může obsahovat nadbytečné vlastnosti, které jsou nadbytečné z důvodu později přidaných vlastností. Tvůrci to nepovažují za slabost, ale za to, aby výrazy byly méně „psycholingvisticky nepravděpodobné“.

Následující algoritmus je zjednodušená verze Dale a Reiterův přírůstkové algoritmus KRAHMER a van Deemter, který bere jako vstup referent r , tím D obsahující kolekci objektů domény a domény specifické seřazený seznam Pref preferovaných atributů. V notace L je popis, C kontext sada distraktorů a funkce RulesOut (⟨A _i , V⟩) vrátí sadu objektů, které mají jinou hodnotu pro V pro atribut A _i .

IncrementalAlgorithm ({r}, D, Pref)
    L ← ∅
    C ← D - {r}
    for each A_i in list Pref do
        V = Value(r, A_i)
        if C ∩ RulesOut(⟨A_i, V⟩) ≠ ∅
        then L ← L ∪ {⟨A_i, V⟩}
            C ← C - RulesOut(⟨A_i, V⟩)
        endif
        if C = ∅
        then return L
        endif
    return failure

Hodnocení REG systémů

Před rokem 2000 mělo hodnocení systémů REG teoretickou povahu, jakou provedli Dale a Reiter. V poslední době se staly populární empirické studie, které jsou většinou založeny na předpokladu, že generované výrazy by měly být podobné lidským. Hodnocení založené na korpusu začalo v REG poměrně pozdě kvůli nedostatku vhodných datových souborů. Hodnocení založené na korpusu je v současné době nejdominantnější metodou, i když existuje i hodnocení lidským úsudkem.

Korpusové hodnocení

Nejprve je třeba rozlišovat mezi textovými korpusy a experimentálními korpusy. Textové korpusy, jako je korpus GNOME, mohou obsahovat texty ze všech druhů domén. V REG se používají k vyhodnocení realizační části algoritmů. Obsah výběr součástí REG na druhé straně vyžaduje korpus, který obsahuje vlastnosti všech objektů domény, stejně jako vlastnosti používané v odkazech. Typicky ty, které jsou plně „sémanticky transparentní“ vytvořené v experimentech pomocí jednoduchého a kontrolovaného nastavení.

Tyto experimentální korpusy lze znovu rozdělit na korpusy pro všeobecné účely, které byly shromážděny pro jiný účel, ale byly analyzovány pro odkazující výrazy a vyhrazené korpusy, které se zaměřují konkrétně na odkazující výrazy. Příkladem korpusů pro všeobecné účely jsou příběhy hrušek, korpus Mapové úlohy nebo korpus kokosových ořechů, zatímco korpus Bishop, korpus zásuvky a korpus TUNA se počítají do vyhrazených korpusů. Korpus TUNA, který obsahuje data shromážděná z webu o nábytku a lidech dvou domén, byl již použit ve třech sdílených výzvách REG.

Metriky hodnocení

Pro měření korespondence mezi korpusy a výsledky REG algoritmů bylo vyvinuto několik metrik.

K měření části pro výběr obsahu se používá kostkový koeficient nebo metrika MASI (Measuring Agreement on Set-valued Items). Ty měří překrývání vlastností ve dvou popisech. Při hodnocení se skóre obvykle zprůměrují nad referencemi provedenými různými lidskými účastníky korpusu. Někdy se také používá míra nazývaná Percent Recall Percentage (PRP) nebo Accuracy, která počítá procento dokonalých shod mezi referencí vytvořenou algoritmem a lidskou produkcí.

U jazykové realizační části REG bylo překrytí mezi řetězci měřeno pomocí metrik jako BLEU nebo NIST . Problém, který se vyskytuje u metrik založených na řetězcích, spočívá v tom, že například „Malá opice“ se měří blíže k „Malému oslu“ než k „Malé opici“.

Časově náročnějším způsobem vyhodnocení algoritmů REG je nechat lidi posoudit adekvátnost (Jak jasný je popis?) A Plynulost (Je popis uveden v dobré a jasné angličtině?) Generovaného výrazu. Také Belz a Gatt hodnotili odkazující výrazy pomocí experimentálního nastavení. Účastníci získají vygenerovaný popis a poté musí kliknout na cíl. Zde lze vyhodnotit dobu čtení vnějších metrik, čas identifikace a chybovost.

Languages

In other projects