Tekst hentningskonference - Text Retrieval Conference

For andre anvendelser af "TREC", se TREC (tvetydighed) .
Tekst REtrieval Conference
Tekst REtrieval Conference TREC logo.png
... at tilskynde til forskning inden for informationssøgning fra store tekstsamlinger.
Forkortelse TREC
Disciplin hentning af oplysninger
Publikationsoplysninger
Forlægger NIST
Historie 1992 ; 29 år siden  ( 1992 )
Frekvens årligt
Internet side trec .nist .gov

Den tekst Retrieval Conference ( TREC ) er en løbende serie af workshops med fokus på en liste over forskellige informationssøgning (IR) forskningsområder, eller spor. Det er co-sponsoreret af National Institute of Standards and Technology (NIST) og Intelligence Advanced Research Projects Activity (en del af kontoret for direktøren for National Intelligence ) og begyndte i 1992 som en del af TIPSTER Text-programmet . Dens formål er at støtte og tilskynde til forskning inden for informationsindhentningssamfundet ved at tilvejebringe den nødvendige infrastruktur til storskala evaluering af teksthentningsmetoder og at øge hastigheden af ​​lab-til-produkt- overførsel af teknologi .

TRECs evalueringsprotokoller har forbedret mange søgeteknologier. En undersøgelse fra 2010 estimerede, at "uden TREC ville amerikanske internetbrugere have brugt op til 3,15 mia. Ekstra timer ved hjælp af websøgemaskiner mellem 1999 og 2009." Hal Varian, cheføkonom hos Google, skrev, at "TREC-dataene genoplivet forskning i informationssøgning. At have et standard, bredt tilgængeligt og omhyggeligt konstrueret datasæt lagde grunden til yderligere innovation inden for dette område."

Hvert spor har en udfordring, hvor NIST giver deltagende grupper datasæt og testproblemer. Afhængigt af sporet kan testproblemer være spørgsmål, emner eller måludtrækkelige funktioner . Ensartet score udføres, så systemerne kan evalueres retfærdigt. Efter evaluering af resultaterne giver en workshop et sted, hvor deltagerne kan samle tanker og ideer og præsentere nuværende og fremtidige forskningsarbejde. Tekstudhentningskonference startede i 1992, finansieret af DARPA (US Defense Advanced Research Project) og drives af NIST. Dens formål var at støtte forskning inden for informationshentningssamfundet ved at tilvejebringe den nødvendige infrastruktur til storskala evaluering af teksthentningsmetoder.

Mål

  • Tilskynd søgning efter hentning baseret på store tekstsamlinger
  • Øg kommunikationen mellem industrien, den akademiske verden og regeringen ved at skabe et åbent forum for udveksling af forskningsidéer
  • Fremskynde overførslen af ​​teknologi fra forskningslaboratorier til kommercielle produkter ved at demonstrere væsentlige forbedringer hentningsmetoder på problemer i den virkelige verden
  • At øge tilgængeligheden af ​​passende evalueringsteknikker til brug i industrien og den akademiske verden, herunder udvikling af nye evalueringsteknikker, der er mere anvendelige i nuværende systemer

TREC overvåges af et programudvalg bestående af repræsentanter fra regeringen, industrien og den akademiske verden. For hver TREC leverer NIST et sæt dokumenter og spørgsmål. Deltagerne kører deres eget hentningssystem på dataene og vender tilbage til NIST en liste over hentede toprangerede dokumenter. NIST samler det enkelte resultat for at bedømme de hentede dokumenter for korrekthed og evaluerer resultaterne. TREC-cyklussen slutter med en workshop, der er et forum, hvor deltagerne kan dele deres oplevelser.

Relevansdomme i TREC

TREC bruger binært relevans kriterium, som enten er dokumentet relevant eller ikke relevant. Da størrelsen på TREC-samlingen er stor, er det umuligt at beregne den absolutte tilbagekaldelse for hver forespørgsel. For at vurdere relevansen af ​​dokumenter i forhold til en forespørgsel bruger TREC en specifik metodeopkaldspooling til beregning af relativ tilbagekaldelse. Alle de relevante dokumenter, der fandt sted i top 100-dokumenterne for hvert system og for hver forespørgsel, kombineres sammen for at producere en pulje af relevante dokumenter. Husk at være andelen af ​​puljen af ​​relevante dokumenter, som et enkelt system hentede til et forespørgselsemne.

Forskellige TREC'er

I 1992 blev TREC-1 afholdt i NIST. Den første konference tiltrak 28 grupper af forskere fra den akademiske verden og industrien. Det demonstrerede en bred vifte af forskellige tilgange til hentning af tekst fra store dokumentsamlinger. Til sidst afslørede TREC1 de faktiske omstændigheder, at automatisk konstruktion af forespørgsler fra forespørgsler om naturligt sprog synes at fungere. Teknikker baseret på naturlig sprogbehandling var ikke bedre, ikke dårligere end dem, der var baseret på vektor eller probabilistisk tilgang.

TREC2 fandt sted i august 1993. 31 forskergrupper deltog i dette. To typer hentning blev undersøgt. Hentning ved hjælp af en 'ad hoc'-forespørgsel og hentning ved hjælp af en' routing-forespørgsel.

I TREC-3 arbejdede en lille gruppe eksperimenter med spansk sprogsamling, og andre behandlede interaktiv forespørgselsformulering i flere databaser.

TREC-4 de gjorde endnu kortere for at undersøge problemerne med meget korte brugerudtalelser

TREC-5 inkluderer både korte og lange versioner af emnerne med det formål at foretage en dybere undersøgelse af, hvilke typer teknikker der fungerer godt på forskellige længder af emner.

I TREC-6 blev der introduceret tre nye spor, tale, krydssprog, højprecisions informationssøgning. Målet med krydssprogshentning af information er at lette forskning i system, der er i stand til at hente relevant dokument uanset kildedokumentets sprog.

TREC-7 indeholdt syv spor, hvoraf to var nye Query-spor og meget store corpus-spor. Målet med forespørgselssporet var at oprette en stor forespørgselssamling.

TREC-8 indeholder syv spor, hvoraf to spørgsmålssvar og webspor var nye. Formålet med QA-forespørgsel er at undersøge mulighederne for at give svar på specifikke naturlige sprogforespørgsler

TREC-9 Omfatter syv spor

I TREC-10 introducerede videospor design af videospor for at fremme forskning inden for indholdsbaseret hentning fra digital video.

I TREC-11Novelity-spor introduceret. Målet med nyhedsspor er at undersøge systemets evner til at lokalisere relevant og ny information inden for det rangerede sæt dokumenter, der returneres af et traditionelt dokumenthentningssystem.

TREC-12 afholdt i 2003 tilføjede tre nye spor Genomspor, robust genfindelsesspor, HARD (meget nøjagtig hentning fra dokumenter

Spor

Aktuelle spor

Nye spor tilføjes, når nye forskningsbehov identificeres, denne liste er aktuel for TREC 2018.

  • CENTRE Track - Mål: køres parallelt med CLEF 2018, NTCIR-14, TREC 2018 for at udvikle og tune en IR-reproducerbarhedsevalueringsprotokol (nyt spor for 2018).
  • Common Core Track - Mål: en ad hoc-søgeopgave over nyhedsdokumenter.
  • Complex Answer Retrieval (CAR) - Mål: at udvikle systemer, der er i stand til at imødekomme komplekse informationsbehov ved at samle information fra et helt korpus.
  • Incident Streams Track - Mål: at undersøge teknologier til automatisk behandling af sociale mediestreams i nødsituationer (nyt spor til TREC 2018).
  • News Track - Mål: partnerskab med The Washington Post om at udvikle testsamlinger i nyhedsmiljø (nyt for 2018).
  • Precision Medicine Track - Mål: en specialisering af Clinical Decision Support-sporet for at fokusere på at forbinde onkologiske patientdata til kliniske forsøg.
  • Realtids opsummeringsspor (RTS) - Mål: at udforske teknikker til opdateringsoversigter i realtid fra sociale mediestrømme.

Tidligere spor

  • Kemisk Track - Mål: at udvikle og evaluere teknologi til søgning i stor skala i kemi -relaterede dokumenter, herunder akademiske afhandlinger og patenter, for bedre at imødekomme behovene hos professionelle søgende og specifikt patentansøgninger søgende og kemikere.
  • Klinisk beslutningsspor - mål: at undersøge teknikker til at forbinde medicinske sager til information, der er relevant for patientpleje
  • Contextual Suggestion Track - Mål: at undersøge søgeteknikker for komplekse informationsbehov, der er meget afhængige af kontekst og brugerinteresser.
  • Crowdsourcing Track - Mål: at give et samarbejdsmiljø til at udforske Crowdsourcing- metoder både til evaluering af søgning og til udførelse af søgeopgaver.
  • Genomics Track - Mål: at studere hentning af genomiske data, ikke kun gensekvenser, men også understøttende dokumentation såsom forskningspapirer, laboratorierapporter osv. Sidste løb på TREC 2007.
  • Dynamisk domænespor - Mål: at undersøge domænespecifikke søgealgoritmer, der tilpasser sig de professionelle brugeres dynamiske informationsbehov, når de udforsker i komplekse domæner.
  • Enterprise Track - mål: at studere søgning på data fra en organisation for at udføre en opgave. Sidste løb på TREC 2008.
  • Enhedsspor - mål: at udføre enhedsrelateret søgning på webdata. Disse søgeopgaver (såsom at finde enheder og egenskaber for enheder) imødekommer almindelige informationsbehov, der ikke er så godt modelleret som ad hoc-dokumentsøgning.
  • Spor på tværs af sprog - Mål: at undersøge evnen hos hentningssystemer til at finde dokumenter lokalt uanset kildesprog. Efter 1999 løb dette spor ud i CLEF .
  • FedWeb Track - Mål: at vælge de bedste ressourcer, som en forespørgsel skal videresendes til, og flette resultaterne, så de mest relevante er øverst.
  • Federated Web Search Track - Mål: at undersøge teknikker til udvælgelse og kombination af søgeresultater fra et stort antal ægte on-line websøgningstjenester.
  • Filtreringsspor - Mål: at binært beslutte hentning af nye indgående dokumenter givet et stabilt informationsbehov .
  • HARD Track - Mål: At opnå høj nøjagtighed hentning fra dokumenter ved at udnytte yderligere oplysninger om søgeren og / eller søgekonteksten.
  • Interaktiv Track - Mål: at studere brugeren interaktion med tekst søgesystemer.
  • Knowledge Base Acceleration (KBA) Track - Mål: at udvikle teknikker til dramatisk forbedring af effektiviteten af ​​(menneskelige) vidensbasekuratorer ved at lade systemet foreslå ændringer / udvidelser til KB baseret på dets overvågning af datastrømmene, oprettet KBA streamcorpus , arrangeret af Diffeo .
  • Juridisk spor - mål: at udvikle søgeteknologi, der imødekommer advokaters behov for effektiv opdagelse i digitale dokumentsamlinger .
  • LiveQA Track - Mål: at generere svar på rigtige spørgsmål, der stammer fra rigtige brugere via en live spørgsmålsstrøm i realtid.
  • Medical Records Track - mål: at udforske metoder til søgning af ustrukturerede oplysninger, der findes i patientjournaler.
  • Microblog- spor - Mål: at undersøge arten af ​​informationsbehov i realtid og deres tilfredshed i forbindelse med mikrobloggingmiljøer såsom Twitter.
  • Naturlig sprogbehandling Spor - Mål: at undersøge, hvordan specifikke værktøjer, der er udviklet af beregningsmæssige lingvister, kan forbedre hentningen.
  • Nyhedsspor - Mål: at undersøge systemers evner til at finde nye (dvs. ikke-overflødige) oplysninger.
  • OpenSearch Track - Mål: at udforske et evalueringsparadigme for IR, der involverer rigtige brugere af operationelle søgemaskiner. For det første år af banen var opgaven ad hoc Academic Search.
  • Spørgsmålssvarespor - Mål: At opnå mere informationshentning end blot dokumenthentning ved at besvare spørgsmål, faktoide, liste og definitionstil.
  • Realtidsopsummeringsspor - Mål: at udforske teknikker til konstruktion af opdateringsoversigter i realtid fra sociale mediestrømme som svar på brugernes informationsbehov.
  • Robust hentningsspor - Mål: at fokusere på individuel emnes effektivitet.
  • Relevans Feedback spor - Mål: at videreudvikle dyb evaluering af relevante feedback feedback processer.
  • Sessionsspor - mål: at udvikle metoder til måling af flere forespørgselssessioner, hvor information skal drev eller blive mere eller mindre specifik over sessionen.
  • Spamspor - mål: at give en standardvurdering af nuværende og foreslåede spamfiltreringsmetoder .
  • Tasks Track - Mål: at teste, om systemer kan inducere de mulige opgaver, som brugerne muligvis prøver at udføre, givet en forespørgsel.
  • Temporal Summarization Track - Mål: at udvikle systemer, der giver brugerne mulighed for effektivt at overvåge de oplysninger, der er knyttet til en begivenhed over tid.
  • Terabyte Track - Mål: at undersøge, om / hvordan IR- samfundet kan skalere traditionel IR-testsamlingsbaseret evaluering til betydeligt store samlinger.
  • Total Recall Track - Mål:: at evaluere metoder for at opnå meget høj tilbagekaldelse, herunder metoder, der inkluderer en menneskelig assessor i sløjfen.
  • Video Track - Mål: at forske i automatisk segmentering, indeksering , og indholdsbaseret hentning af digital video . I 2003 blev dette spor sin egen uafhængige evaluering ved navn TRECVID
  • Webspor - Mål: at udforske adfærd, der søger information, der er almindelig i almindelig websøgning.

Relaterede begivenheder

I 1997 blev en japansk modstykke til TREC lanceret (første workshop i 1999), kaldet NTCIR ( NII Test Collection for IR Systems), og i 2000 blev CLEF , en europæisk modstykke, specifikt vektoreret til undersøgelse af tværs informationsindhentning. lanceret. Forum for Information Retrieval Evaluation (FIRE) startede i 2008 med det formål at opbygge en sydasiatisk modstykke til TREC, CLEF og NTCIR,

Konferencebidrag til effektivitet i søgningen

NIST hævder, at inden for de første seks år af workshops fordobles effektiviteten af ​​hentningssystemer ca. Konferencen var også den første til at afholde store evalueringer af ikke-engelske dokumenter, tale, video og hentning på tværs af sprog. Derudover har udfordringerne inspireret en lang række publikationer . Teknologi, der først blev udviklet i TREC, er nu inkluderet i mange af verdens kommercielle søgemaskiner . En uafhængig rapport fra RTII fandt ud af, at "omkring en tredjedel af forbedringen i websøgemaskiner fra 1999 til 2009 kan tilskrives TREC. Disse forbedringer sparer sandsynligvis op til 3 milliarder timers tid ved hjælp af websøgemaskiner ... Derudover rapporten viste, at for hver $ 1, som NIST og dets partnere investerede i TREC, blev mindst $ 3,35 til $ 5,07 i fordele optjent til amerikanske forskere til informationssøgning i både den private sektor og den akademiske verden. "

Mens en undersøgelse antyder, at den nyeste teknologi inden for ad hoc-søgning ikke steg væsentligt i årtiet forud for 2009, henviser det bare til at søge efter topisk relevante dokumenter i små nyheder og websamlinger på nogle få gigabyte. Der har været fremskridt inden for andre typer ad hoc-søgning. F.eks. Blev testsamlinger oprettet til kendt søgning på websiden, som fandt forbedringer fra brugen af ​​ankertekst, titelvægtning og urllængde, hvilket ikke var nyttige teknikker i de ældre ad hoc testsamlinger. I 2009 blev der introduceret en ny websidesamling på milliarder sider, og spamfiltrering viste sig at være en nyttig teknik til ad hoc-websøgning i modsætning til tidligere testsamlinger.

Testsamlingerne, der er udviklet på TREC, er nyttige ikke kun til (potentielt) at hjælpe forskere med at udvikle den nyeste teknologi, men også for at give udviklere af nye (kommercielle) hentningsprodukter mulighed for at evaluere deres effektivitet på standardtest. I det forløbne årti har TREC oprettet nye tests til e-mail-søgning, genomicsøgning, spamfiltrering, e-Discovery og flere andre hentningsdomæner.

TREC-systemer giver ofte en basislinje for yderligere forskning. Eksempler inkluderer:

  • Hal Varian , Chief Economist hos Google , siger bedre data skaber bedre videnskab. Historien om informationsindhentning illustrerer dette princip godt, "og beskriver TREC's bidrag.
  • TRECs juridiske spor har påvirket e-Discovery-samfundet både i forskning og i evaluering af kommercielle leverandører.
  • Den IBM forsker teambuilding IBM Watson (alias DeepQA ), som slog verdens bedste Jeopardy! afspillere, brugte data og systemer fra TRECs QA Track som baseline performance-målinger.

Deltagelse

Konferencen består af en varieret, international gruppe af forskere og udviklere. I 2003 deltog 93 grupper fra både den akademiske verden og industrien fra 22 lande.

Se også

Referencer

eksterne links