Tekstsegmentering - Text segmentation
Tekstsegmentering er processen med at opdele skrevet tekst i meningsfulde enheder, såsom ord, sætninger eller emner . Udtrykket gælder både for mentale processer, der bruges af mennesker, når de læser tekst, og for kunstige processer implementeret i computere, som er genstand for naturlig sprogbehandling . Problemet er ikke-trivielt, for mens nogle skriftlige sprog har eksplicit ordgrænsemarkører, såsom ordrummene i skrevet engelsk og de karakteristiske indledende, mediale og endelige bogstavformer på arabisk , er sådanne signaler undertiden tvetydige og ikke til stede i alle skriftlige Sprog.
Sammenlign talesegmentering , processen med at opdele tale i sprogligt meningsfulde dele.
Segmenteringsproblemer
Ordsegmentering
Ordsegmentering er problemet med at opdele en streng skriftligt sprog i dets komponentord.
På engelsk og mange andre sprog ved hjælp af en form for det latinske alfabet , den plads er en god tilnærmelse af et ord divider (word skilletegn ), selv om dette begreb har grænser på grund af variabilitet med hvilke sprog emically betragter kollokationer og forbindelser . Mange engelske sammensatte navneord er variabelt skrevet (for eksempel isboks = isboks = isboks ; svinesty = svinesty = svinesti ) med en tilsvarende variation i, om højttalere tænker på dem som navneord eller enkeltnavne der er tendenser i, hvordan normer indstilles, såsom at åbne forbindelser ofte har tendens til til sidst at størkne ved udbredt konvention, men variation forbliver systemisk. I modsætning hertil viser tyske sammensatte navneord mindre ortografisk variation, hvor størkning er en stærkere norm.
Ækvivalent til ordet mellemrumstegn findes imidlertid ikke i alle skrevne scripts, og uden det er ordsegmentering et vanskeligt problem. Sprog, der ikke har en triviel ordsegmenteringsproces, inkluderer kinesisk, japansk, hvor sætninger men ikke ord er afgrænset, thailandske og lao , hvor sætninger og sætninger men ikke ord er afgrænset og vietnamesisk , hvor stavelser men ikke ord er afgrænset.
I nogle skrivesystemer, såsom Ge'ez-scriptet, der bruges til amharisk og tigrinya blandt andre sprog, er ord eksplicit afgrænset (i det mindste historisk) med et ikke-hvidt mellemrum.
Den Unicode Consortium har udgivet en standard bilag om tekst segmentering , udforske spørgsmålene om segmentering i multiscript tekster.
Opdeling af ord er processen med at analysere sammenkædet tekst (dvs. tekst, der ikke indeholder mellemrum eller andre ordadskillere) for at udlede, hvor der findes ordbrud.
Opdeling af ord kan også henvise til orddelingen .
Hensigtssegmentering
Intentsegmentering er problemet med at opdele skrevne ord i nøglefraser (2 eller flere grupper af ord).
På engelsk og alle andre sprog identificeres kernens hensigt eller ønske og bliver hjørnestenen i nøglefrasen Intentsegmentering. Kerneprodukt / -tjeneste, idé, handling og eller tanke forankrer nøglefrasen.
"[Alle aktiviteter er lavet af atomer ]. [Lille partikler at flytte] [rundt i evig bevægelse ], [tiltrækker hver anden ] [når de er lidt afstand fra hinanden], [men frastødende ] [efter at være klemt ] [i én en anden ]. "
Sætningssegmentering
Sætning segmentering er problemet med at opdele en streng af skriftsprog i sine sætninger . På engelsk og nogle andre sprog er brug af tegnsætning, især punktum / periodekarakter en rimelig tilnærmelse. Men selv på engelsk er dette problem ikke trivielt på grund af brugen af punkttegnet til forkortelser, som måske eller måske ikke også afslutter en sætning. F.eks. Er Mr. ikke sin egen sætning i " Mr. Smith gik i butikkerne i Jones Street." Ved behandling af almindelig tekst kan tabeller med forkortelser, der indeholder punktum, hjælpe med at forhindre forkert tildeling af sætningsgrænser.
Som med ordsegmentering indeholder ikke alle skrevne sprog tegnsætningstegn, der er nyttige til tilnærmelse af sætningsgrænser.
Emnesegmentering
Emneanalyse består af to hovedopgaver: emneidentifikation og tekstsegmentering. Mens den første er en simpel klassificering af en bestemt tekst, antyder sidstnævnte tilfælde, at et dokument kan indeholde flere emner, og opgaven med edb-tekstsegmentering kan være at opdage disse emner automatisk og segmentere teksten i overensstemmelse hermed. Emnegrænserne kan fremgå af sektionstitler og afsnit. I andre tilfælde har man brug for teknikker svarende til dem, der anvendes i dokumentklassificering .
Segmentering af teksten i emner eller diskursdrejninger kan være nyttigt i nogle naturlige behandlingsopgaver: det kan forbedre informations hentning eller talegenkendelse markant (ved at indeksere / genkende dokumenter mere præcist eller ved at give den specifikke del af et dokument, der svarer til forespørgslen som et resultat ). Det er også nødvendigt i emneopdagelses- og sporingssystemer og tekstopsummeringsproblemer .
Mange forskellige tilgange er blevet prøvet: fx HMM , leksikale kæder , passage lighed ved hjælp af ord co-forekomst , klyngedannelse , emne modellering osv.
Det er en ganske tvetydig opgave - folk, der vurderer tekstsegmenteringssystemerne, adskiller sig ofte i emnegrænser. Derfor er tekstsegmentevaluering også et udfordrende problem.
Andre segmenteringsproblemer
Processer kan være påkrævet for at segmentere tekst i segmenter udover de nævnte, inklusive morfemer (en opgave, der normalt kaldes morfologisk analyse ) eller afsnit .
Automatisk segmentering nærmer sig
Automatisk segmentering er problemet i naturlig sprogbehandling af implementering af en computerproces til segmentering af tekst.
Når tegnsætning og lignende spor ikke er konsekvent tilgængelige, kræver segmenteringsopgaven ofte temmelig ikke-trivielle teknikker, såsom statistisk beslutningstagning, store ordbøger samt overvejelse af syntaktiske og semantiske begrænsninger. Effektive naturlige sprogbehandlingssystemer og tekstsegmenteringsværktøjer fungerer normalt på tekst i bestemte domæner og kilder. For eksempel er behandling af tekst, der bruges i medicinske optegnelser, et meget andet problem end behandling af nyhedsartikler eller ejendomsannoncer.
Processen med at udvikle tekstsegmenteringsværktøjer starter med at samle et stort tekstkorpus i et applikationsdomæne. Der er to generelle tilgange:
- Manuel analyse af tekst og skrivning af brugerdefineret software
- Kommenter prøvekorpuset med grænseoplysninger og brug maskinindlæring
Nogle tekstsegmenteringssystemer drager fordel af enhver markering som HTML og kender dokumentformater som PDF for at give yderligere bevis for sætnings- og afsnitgrænser.
