Verweisende Ausdrucksgenerierung - Referring expression generation

Die referenzierte Ausdrucksgenerierung ( REG ) ist die Teilaufgabe der Erzeugung natürlicher Sprache (NLG), die die größte wissenschaftliche Aufmerksamkeit erhielt. Während sich NLG mit der Umwandlung nichtsprachlicher Informationen in natürliche Sprache befasst, konzentriert sich REG nur auf die Erstellung von Referenzausdrücken (Nominalphrasen), die bestimmte Entitäten identifizieren, die als Ziele bezeichnet werden .

Diese Aufgabe kann in zwei Abschnitte unterteilt werden. Der Teil zur Inhaltsauswahl bestimmt, welche Eigenschaften das beabsichtigte Ziel unterscheiden, und der Teil zur sprachlichen Realisierung definiert, wie diese Eigenschaften in die natürliche Sprache übersetzt werden. In der NLG-Community wurde eine Vielzahl von Algorithmen entwickelt, um verschiedene Arten von verweisenden Ausdrücken zu generieren.

Arten von verweisenden Ausdrücken

Ein verweisender Ausdruck (RE) in der Linguistik ist eine beliebige Nominalphrase oder ein Ersatz für eine Nominalphrase, deren Funktion im Diskurs darin besteht , ein einzelnes Objekt (Ding, Sein, Ereignis ...) zu identifizieren. Die technische Terminologie für die Identifizierung unterscheidet sich stark Deal von einer Schule der Linguistik zur anderen. Der am weitesten verbreitete Begriff wird wahrscheinlich beziehen , und eine Sache identifiziert ist ein referent , wie zum Beispiel in der Arbeit von John Lyons . In der Linguistik gehört das Studium der Referenzbeziehungen zur Pragmatik , zum Studium des Sprachgebrauchs, obwohl es auch für Philosophen von großem Interesse ist, insbesondere für diejenigen, die die Natur von Wissen , Wahrnehmung und Erkenntnis allgemeiner verstehen wollen .

Verschiedene Geräte können als Referenz verwendet werden: Determinatoren , Pronomen , Eigennamen ... Referenzbeziehungen können von unterschiedlicher Art sein; Referenten können sich in einer "realen" oder imaginären Welt befinden, im Diskurs selbst, und sie können Singular, Plural oder Kollektiv sein.

Pronomen

Die einfachste Art, sich auf Ausdrücke zu beziehen, sind Pronomen wie er und es . Die Gemeinschaften der Linguistik und der Verarbeitung natürlicher Sprache haben verschiedene Modelle zur Vorhersage von Anaphernreferenzen entwickelt, beispielsweise die Zentrierungstheorie, und im Idealfall würde die Erzeugung von Referenzausdrücken auf solchen Modellen basieren. Die meisten NLG-Systeme verwenden jedoch viel einfachere Algorithmen, beispielsweise die Verwendung eines Pronomen, wenn der Referent im vorherigen Satz (oder in der Sententialklausel) erwähnt wurde und in diesem Satz keine andere Entität des gleichen Geschlechts erwähnt wurde.

Bestimmte Nominalphrasen

Es wurde viel über die Erzeugung bestimmter Nominalphrasen geforscht, beispielsweise über das große rote Buch . Ein Großteil davon baut auf dem von Dale und Reiter vorgeschlagenen Modell auf. Dies wurde auf verschiedene Weise erweitert, zum Beispiel von Krahmer et al. präsentieren ein graphentheoretisches Modell der bestimmten NP-Erzeugung mit vielen schönen Eigenschaften. In den letzten Jahren hat ein Ereignis mit gemeinsamen Aufgaben verschiedene Algorithmen für die eindeutige NP-Erzeugung unter Verwendung des TUNA-Korpus verglichen.

Räumlicher und zeitlicher Bezug

In letzter Zeit wurde mehr über die Erzeugung von Referenzausdrücken für Zeit und Raum geforscht. Solche Referenzen sind in der Regel ungenau (was bedeutet sie heute Abend genau ?) Und werden von verschiedenen Personen auf unterschiedliche Weise interpretiert. Daher kann es notwendig sein, explizit über falsch positive und falsch negative Kompromisse nachzudenken und sogar die Nützlichkeit verschiedener möglicher Verweisausdrücke in einem bestimmten Aufgabenkontext zu berechnen.

Kriterien für gute Ausdrücke

Im Idealfall sollte ein guter Verweis eine Reihe von Kriterien erfüllen:

Referentieller Erfolg : Der Referent sollte für den Leser eindeutig identifiziert werden.
Einfaches Verständnis : Der Leser sollte es schnell lesen und verstehen können.
Rechenkomplexität : Der Generierungsalgorithmus sollte schnell sein
Keine falschen Schlussfolgerungen : Der Ausdruck sollte den Leser nicht verwirren oder irreführen, indem er falsche Implikaturen oder andere pragmatische Schlussfolgerungen vorschlägt . Zum Beispiel kann ein Leser verwirrt sein, wenn ihm gesagt wird, dass er in einem Kontext, in dem es nur einen Tisch gibt, am braunen Holztisch sitzen soll.

Geschichte

Ära vor 2000

REG geht auf die Anfänge von NLG zurück. Einer der ersten Ansätze wurde 1972 von Winograd durchgeführt, der einen " inkrementellen " REG-Algorithmus für sein SHRDLU- Programm entwickelte. Danach begannen die Forscher in den 1980er Jahren, die menschlichen Fähigkeiten zu modellieren, um Referenzausdrücke zu erstellen. Diese neue Herangehensweise an das Thema wurde von den Forschern Appelt und Kronfeld beeinflusst, die die Programme KAMP und BERTRAND erstellten und die Bezugnahme auf Ausdrücke als Teil größerer Sprechakte betrachteten.

Einige ihrer interessantesten Ergebnisse waren die Tatsache, dass referenzierende Ausdrücke verwendet werden können, um Informationen hinzuzufügen, die über die Identifizierung des Referenten hinausgehen, sowie der Einfluss des kommunikativen Kontexts und der griceanischen Maximen auf referenzierende Ausdrücke. Darüber hinaus machte seine Skepsis gegenüber der Natürlichkeit minimaler Beschreibungen die Forschung von Appelt und Kronfeld zu einer Grundlage späterer Arbeiten zu REG.

Die Suche nach einfachen, genau definierten Problemen veränderte Anfang der neunziger Jahre die Forschungsrichtung. Dieser neue Ansatz wurde von Dale und Reiter geleitet, die die Identifizierung des Referenten als zentrales Ziel betonten. Wie Appelt diskutieren sie den Zusammenhang zwischen den griceanischen Maximen und den Verweisen in ihrem Abschlusspapier, in dem sie auch eine formale Problemdefinition vorschlagen . Darüber hinaus diskutieren Reiter und Dale die Algorithmen Full Brevity und Greedy Heuristics sowie ihren Incremental Algorithm (IA), der zu einem der wichtigsten Algorithmen in REG wurde.

Spätere Entwicklungen

Nach dem Jahr 2000 begann die Forschung, einige der vereinfachenden Annahmen aufzuheben, die in der frühen REG-Forschung getroffen worden waren, um einfachere Algorithmen zu erstellen. Verschiedene Forschungsgruppen konzentrierten sich auf unterschiedliche Einschränkungen und erstellten mehrere erweiterte Algorithmen. Oft erweitern diese die Folgenabschätzung in einer einzigen Perspektive, zum Beispiel in Bezug auf:

Verweis auf Sets wie "die T-Shirt-Träger" oder "die grünen Äpfel und die Banane links"
Relationale Beschreibungen wie "die Tasse auf dem Tisch" oder "die Frau, die drei Kinder hat"
Kontextabhängigkeit , Vagheit und Steigfähigkeit beinhalten Aussagen wie „der ältere Mann“ oder „das Auto auf der linken Seite“ , die ohne Kontext oft unklar sind
Salience und Generierung von Pronomen sind stark diskursabhängig, was beispielsweise "sie" zu einem Hinweis auf "die (hervorstechendste) weibliche Person" macht.

Viele vereinfachende Annahmen sind noch vorhanden oder wurden gerade erst bearbeitet. Auch eine Kombination der verschiedenen Erweiterungen muss noch vorgenommen werden und wird von Krahmer und van Deemter als "nicht triviales Unternehmen" bezeichnet.

Eine weitere wichtige Änderung nach 2000 war die zunehmende Verwendung empirischer Studien zur Bewertung von Algorithmen. Diese Entwicklung erfolgte aufgrund der Entstehung transparenter Korpora . Obwohl es immer noch Diskussionen über die besten Bewertungsmetriken gibt, hat die Verwendung der experimentellen Bewertung bereits zu einer besseren Vergleichbarkeit der Algorithmen, einer Diskussion über die Ziele der REG und einer aufgabenorientierteren Forschung geführt.

Darüber hinaus hat die Forschung ihr Spektrum auf verwandte Themen wie die Wahl von Wissensrepräsentations- Frameworks (KR) erweitert . In diesem Bereich bleibt die Hauptfrage offen, welches KR-Framework für die Verwendung in REG am besten geeignet ist. Die Antwort auf diese Frage hängt davon ab, wie gut Beschreibungen ausgedrückt oder gefunden werden können. Ein Großteil des Potenzials von KR-Frameworks wurde bisher nicht genutzt.

Einige der verschiedenen Ansätze sind die Verwendung von:

Diagrammsuche, bei der Beziehungen zwischen Zielen genauso behandelt werden wie Eigenschaften.
Constraint Satisfaction, die eine Trennung zwischen Problemspezifikation und Implementierung ermöglicht.
Moderne Wissensrepräsentation, die logische Rückschlüsse beispielsweise auf die Beschreibung von Logik- oder Konzeptgraphen bietet .

Problem Definition

Dale und Reiter (1995) denken darüber nach, Ausdrücke als unterscheidende Beschreibungen zu bezeichnen.

Sie definieren:

Der Referent als die Entität, die beschrieben werden soll
Der Kontext, der als Satz hervorstechender Entitäten festgelegt wurde
Die Kontrastmenge oder potenzielle Ablenker als alle Elemente der Kontextmenge mit Ausnahme des Referenten
Eine Eigenschaft als Referenz auf ein einzelnes Attribut-Wert-Paar

Jede Entität in der Domäne kann als eine Reihe von Attribut-Wert-Paaren charakterisiert werden, z. B. Typ, Hund , Geschlecht, Frau oder Alter, 10 Jahre . ${\ displaystyle \ langle}$ ${\ displaystyle \ rangle}$ ${\ displaystyle \ langle}$ ${\ displaystyle \ rangle}$ ${\ displaystyle \ langle}$ ${\ displaystyle \ rangle}$

Das Problem ist dann wie folgt definiert:

Sei der beabsichtigte Referent und der Kontrast. Dann stellt eine Reihe von Attribut-Wert-Paaren eine unterscheidende Beschreibung dar, wenn die folgenden zwei Bedingungen gelten: ${\ displaystyle r}$ ${\ displaystyle C}$ ${\ displaystyle L}$

Jedes Attribut-Wert-Paar in gilt für : Das heißt, jedes Element von gibt einen Attribut-Wert an, der besitzt. ${\ displaystyle L}$ ${\ displaystyle r}$ ${\ displaystyle L}$ ${\ displaystyle r}$
Für jedes Mitglied der , gibt es zumindest ein Element von , dass gilt nicht für : das heißt, es gibt eine in die angibt , ein Attribut-Wert, der nicht besitzt. soll ausschließen . ${\ displaystyle c}$ ${\ displaystyle C}$ ${\ displaystyle l}$ ${\ displaystyle L}$ ${\ displaystyle c}$ ${\ displaystyle l}$ ${\ displaystyle L}$ ${\ displaystyle c}$ ${\ displaystyle l}$ ${\ displaystyle c}$

Mit anderen Worten, um einen verweisenden Ausdruck zu erzeugen, sucht man nach einer Reihe von Eigenschaften, die für den Verweis gelten, nicht jedoch für die Distraktoren.

Das Problem könnte leicht gelöst werden, indem alle Eigenschaften des Referenten zusammengeführt werden, was häufig zu langen Beschreibungen führt, die gegen die zweite griceanische Mengenmaxime verstoßen . Ein anderer Ansatz wäre, die kürzeste Unterscheidungsbeschreibung zu finden, wie es der Full Brevity-Algorithmus tut. In der Praxis ist es jedoch am gebräuchlichsten, stattdessen die Bedingung aufzunehmen, dass Verweisausdrücke, die von einem Algorithmus erzeugt werden, den vom Menschen erzeugten Ausdrücken so ähnlich wie möglich sein sollten, obwohl dies oft nicht explizit erwähnt wird.

Grundlegende Algorithmen

Volle Kürze

Der Full Brevity-Algorithmus findet immer eine minimale Unterscheidungsbeschreibung, was bedeutet, dass es keine kürzere Unterscheidungsbeschreibung in Bezug auf die verwendeten Eigenschaften gibt.

Daher wird jede Beschreibung einer Länge von Eigenschaften durchlaufen und überprüft, bis eine unterscheidende Beschreibung gefunden wird. ${\ displaystyle n = 1,2,3,4, ...}$ ${\ displaystyle n}$

Bei dieser Art der Erstellung von Referenzausdrücken ergeben sich zwei Probleme. Erstens hat der Algorithmus eine hohe Komplexität, was bedeutet, dass er NP-hart ist , was seine Verwendung unpraktisch macht. Zweitens erstellen menschliche Sprecher Beschreibungen, die in vielen Situationen nicht minimal sind.

Gierige Heuristik

Der Greedy Heuristics-Algorithmus approximiert den Full Brevity-Algorithmus, indem er der Beschreibung iterativ die unterscheidendste Eigenschaft hinzufügt. Die unterscheidendste Eigenschaft ist die Eigenschaft, die die meisten verbleibenden Ablenker ausschließt. Der Greedy Heuristics-Algorithmus ist effizienter als der Full Brevity-Algorithmus.

Dale und Reiter (1995) präsentieren den folgenden Algorithmus für die Greedy Heuristic:

Sei die Menge der Eigenschaften, die in unserer Beschreibung realisiert werden sollen; sei die Menge von Eigenschaften, von denen bekannt ist, dass sie für unseren beabsichtigten Referenten zutreffen (wir nehmen an, dass sie nicht leer sind); und sei die Menge der Distraktoren (die Kontrastmenge). Die Anfangsbedingungen sind somit wie folgt: ${\ displaystyle L}$ ${\ displaystyle P}$ ${\ displaystyle r}$ ${\ displaystyle P}$ ${\ displaystyle C}$

 $C=\{\langle$ all distractors $\rangle \}$ ;
 $P=\{\langle$ all properties true of  $r\rangle \}$ ;
 $L=\{\}$

Um den beabsichtigten Referenten in Bezug auf den Kontrastsatz zu beschreiben , gehen wir wie folgt vor: ${\ displaystyle r}$ ${\ displaystyle C}$

1. Check Success:
   if  $|C|=0$  then return  $L$  as a distinguishing description
   elseif  $P=\emptyset$  then fail
   else goto Step 2.
2. Choose Property:
   for each  $p_{i}\in P$  do:  $C_{i}\leftarrow C\cap \{x|p_{i}(x)\}$ 
   Chosen property is  $p_{j}$  , where  $C_{j}$  is the smallest set.
   goto Step 3.
3. Extend Description (wrt the chosen  $p_{j}$ ):
    $L\leftarrow L\cup \{p_{j}\}$ 
    $C\leftarrow C_{j}$ 
    $P\leftarrow P-\{p_{j}\}$ 
   goto Step 1.

Inkrementeller Algorithmus

Der Inkrementalalgorithmus (IA) von Dale und Reiter war vor 2000 der einflussreichste Algorithmus. Er basiert auf der Idee einer bevorzugten Reihenfolge von Attributen oder Eigenschaften, nach denen Sprecher arbeiten. Um den inkrementellen Algorithmus auszuführen, muss zunächst eine Präferenzreihenfolge von Attributen angegeben werden. Nun folgt der Algorithmus dieser Reihenfolge und fügt der Beschreibung die Eigenschaften hinzu, die verbleibende Ablenker ausschließen. Darüber hinaus betonen Dale und Reiter den Attributtyp, der immer in ihren Beschreibungen enthalten ist, auch wenn er keine Ablenker ausschließt.

Auch die Typwerte sind Teil einer Subsumtionshierarchie, die einige grundlegende Werte enthält . Zum Beispiel in der Tier Domain Chihuahua wird von subsumiert Hund und Hund von Tiere . Da Hund als Grundstufe definiert ist, würden Hunde von den Algorithmen bevorzugt, wenn Chihuahua keine Ablenker ausschließt.

Der inkrementelle Algorithmus ist einfach zu implementieren und rechnerisch effizient in Polynomzeit ausgeführt . Die von der Folgenabschätzung generierte Beschreibung kann redundante Eigenschaften enthalten, die aufgrund später hinzugefügter Eigenschaften überflüssig sind. Die Schöpfer betrachten dies nicht als Schwäche, sondern als weniger "psycholinguistisch unplausibel".

Der folgende Algorithmus ist eine vereinfachte Version des inkrementellen Algorithmus von Dale und Reiter von Krahmer und van Deemter, der den Referenten r als Eingabe verwendet , wobei das D eine Sammlung von Domänenobjekten und eine domänenspezifische geordnete Liste Pref bevorzugter Attribute enthält. In der Notation L ist die Beschreibung, C die Kontextmenge der Distraktoren und die Funktion RulesOut (⟨A _i , V⟩) gibt die Menge der Objekte zurück, deren Wert für Attribut A _i von V abweicht .

IncrementalAlgorithm ({r}, D, Pref)
    L ← ∅
    C ← D - {r}
    for each A_i in list Pref do
        V = Value(r, A_i)
        if C ∩ RulesOut(⟨A_i, V⟩) ≠ ∅
        then L ← L ∪ {⟨A_i, V⟩}
            C ← C - RulesOut(⟨A_i, V⟩)
        endif
        if C = ∅
        then return L
        endif
    return failure

Bewertung von REG-Systemen

Vor 2000 war die Bewertung von REG-Systemen theoretischer Natur wie die von Dale und Reiter. In jüngerer Zeit sind empirische Studien populär geworden, die hauptsächlich auf der Annahme beruhen, dass die generierten Ausdrücke den vom Menschen produzierten ähnlich sein sollten. Die korpusbasierte Bewertung begann in REG aufgrund des Mangels an geeigneten Datensätzen ziemlich spät. Noch immer ist die korpusbasierte Bewertung die derzeit dominanteste Methode, obwohl es auch eine Bewertung durch menschliches Urteilsvermögen gibt.

Korpusbasierte Bewertung

Zunächst muss zwischen Textkorpora und experimentellen Korpora unterschieden werden. Textkorpora wie das GNOME-Korpus können Texte aus allen Arten von Domänen enthalten. In REG werden sie verwendet, um den Realisierungsteil von Algorithmen zu bewerten . Der Inhaltsauswahlteil von REG erfordert andererseits einen Korpus, der die Eigenschaften aller Domänenobjekte sowie die in Referenzen verwendeten Eigenschaften enthält. Typischerweise diejenigen, die vollständig "semantisch transparent" sind und in Experimenten mit einfachen und kontrollierten Einstellungen erstellt wurden.

Diese experimentellen Korpora können wiederum in Allzweckkorpora unterteilt werden , die für einen anderen Zweck gesammelt wurden, aber auf verweisende Ausdrücke und dedizierte Korpora analysiert wurden , die sich speziell auf verweisende Ausdrücke konzentrieren. Beispiele für Universal Corpora sind die Pear Stories, das Map Task Corpus oder das Coconut Corpus, während das Bishop Corpus, das Drawer Corpus und das TUNA Corpus zur Dedicated Corpora zählen. Das TUNA-Korpus, das im Internet gesammelte Daten zu den beiden Domänen Möbel und Personen enthält, wurde bereits in drei gemeinsamen REG-Herausforderungen verwendet.

Bewertungsmetriken

Um die Entsprechung zwischen Korpora und den Ergebnissen von REG-Algorithmen zu messen, wurden verschiedene Metriken entwickelt.

Zur Messung der Inhaltsauswahl Teil des Dice - Koeffizienten oder die MASI (Mess Abkommen über mengenwertigen Items) Metrik verwendet werden. Diese messen die Überlappung von Eigenschaften in zwei Beschreibungen. Bei einer Bewertung werden die Bewertungen normalerweise über Referenzen gemittelt, die von verschiedenen menschlichen Teilnehmern am Korpus gemacht wurden. Manchmal wird auch ein Maß namens Perfect Recall Percentage (PRP) oder Accuracy verwendet, das den Prozentsatz perfekter Übereinstimmungen zwischen einer vom Algorithmus erstellten und einer vom Menschen erstellten Referenz berechnet.

Für den Teil der sprachlichen Realisierung von REG wurde die Überlappung zwischen Zeichenfolgen mithilfe von Metriken wie BLEU oder NIST gemessen . Ein Problem, das bei stringbasierten Metriken auftritt, besteht darin, dass beispielsweise "Der kleine Affe" näher an "Der kleine Esel" als an "Der kleine Affe" gemessen wird.

Eine zeitaufwändigere Methode zur Bewertung von REG-Algorithmen besteht darin, den Menschen die Angemessenheit (wie klar ist die Beschreibung?) Und die Fließfähigkeit (wird die Beschreibung in gutem und klarem Englisch gegeben?) Des generierten Ausdrucks beurteilen zu lassen . Auch Belz und Gatt bewerteten verweisende Ausdrücke unter Verwendung eines Versuchsaufbaus. Die Teilnehmer erhalten eine generierte Beschreibung und müssen dann auf das Ziel klicken. Hier konnten die Lesezeit, die Identifikationszeit und die Fehlerrate der extrinsischen Metriken bewertet werden.

Languages

In other projects