Konference o získání textu - Text Retrieval Conference

Pro jiná použití "TREC" viz TREC (disambiguation) .
Text Středověká konference
Text REtrieval Conference TREC logo.png
... podporovat výzkum v získávání informací z velkých textových sbírek.
Zkratka TREC
Disciplína vyhledávání informací
Podrobnosti o publikaci
Vydavatel NIST
Dějiny 1992 ; Před 29 lety  ( 1992 )
Frekvence roční
webová stránka trec .nist .gov

Text Retrieval Conference ( TREC ) je pokračující série workshopů zaměřených na seznamu různých vyhledávání informací (IR) oblasti výzkumu nebo stopy. Je spolufinancován Národním institutem pro standardy a technologie (NIST) a činností Intelligence Advanced Research Projects Activity (součást kanceláře ředitele National Intelligence ) a byl zahájen v roce 1992 jako součást textového programu TIPSTER . Jejím cílem je podporovat a podněcovat výzkum ve vyhledávacím komunity informací poskytováním infrastruktury nezbytné pro rozsáhlé vyhodnocení všech textových vyhledávacích metodik a ke zvýšení rychlosti fotolaboratoře na produkt transferu technologií .

Vyhodnocovací protokoly TREC vylepšily mnoho vyhledávacích technologií. Studie z roku 2010 odhaduje, že „bez TREC by američtí uživatelé internetu strávili v letech 1999 až 2009 až 3,15 miliardy dalších hodin používáním webových vyhledávačů.“ Hal Varian, hlavní ekonom společnosti Google, napsal: „Data TREC oživila výzkum v oblasti získávání informací. Díky standardní, široce dostupné a pečlivě sestavené sadě dat byly položeny základy pro další inovace v této oblasti.“

Každá stopa má výzvu, kde NIST poskytuje zúčastněným skupinám datové sady a testovací problémy. V závislosti na trati mohou být testovacími otázkami otázky, témata nebo extrahovatelné funkce cíle . Provádí se jednotné hodnocení, aby bylo možné systémy spravedlivě vyhodnotit. Po vyhodnocení výsledků poskytuje workshop účastníkům místo, kde mohou shromažďovat myšlenky a nápady a prezentovat současné i budoucí výzkumné práce. Konference o vyhledávání textu byla zahájena v roce 1992 a je financována z DARPA (US Defence Advanced Research Project) a vedena NIST. Jeho účelem bylo podpořit výzkum v komunitě vyhledávání informací poskytnutím infrastruktury nezbytné pro rozsáhlé vyhodnocení metodik vyhledávání textu.

Cíle

  • Podporujte vyhledávání vyhledávání na základě rozsáhlých textových sbírek
  • Zvyšte komunikaci mezi průmyslem, akademickou obcí a vládou vytvořením otevřeného fóra pro výměnu výzkumných nápadů
  • Urychlete přenos technologie z výzkumných laboratoří do komerčních produktů tím, že předvedete podstatná vylepšení metod vyhledávání v reálných problémech
  • Zvýšit dostupnost vhodných hodnotících technik pro použití v průmyslu a akademické sféře, včetně vývoje nových hodnotících technik použitelnějších pro současné systémy

Na TREC dohlíží programový výbor složený ze zástupců vlády, průmyslu a akademické obce. Ke každému TREC poskytuje NIST soubor dokumentů a otázek. Účastníci provozují svůj vlastní vyhledávací systém na datech a vracejí NIST seznam načtených nejlépe hodnocených dokumentů. NIST shromažďuje jednotlivé výsledky podle správnosti načtených dokumentů a hodnotí výsledky. Cyklus TREC končí workshopem, který je pro účastníky fórem pro sdílení jejich zkušeností.

Relevance rozsudků v TREC

TREC používá kritérium binární relevance, které znamená, že dokument je relevantní nebo není relevantní. Protože velikost kolekce TREC je velká, není možné vypočítat absolutní vyvolání pro každý dotaz. Aby bylo možné posoudit relevanci dokumentů ve vztahu k dotazu, používá TREC pro výpočet relativního odvolání konkrétní sdružení volání metod. Všechny relevantní dokumenty, které se vyskytly v nejlepších 100 dokumentech pro každý systém a pro každý dotaz, jsou kombinovány dohromady a vytvářejí soubor relevantních dokumentů. Připomeňme si, že je to podíl fondu relevantních dokumentů, který jeden systém získal pro téma dotazu.

Různé TREC

V roce 1992 se konal TREC-1 na NIST. První konference přilákala 28 skupin výzkumných pracovníků z akademické obce a průmyslu. Ukázala širokou škálu různých přístupů k načítání textu z velkých sbírek dokumentů. Nakonec TREC1 odhalila fakta, která, jak se zdá, fungují automatickou konstrukcí dotazů z příkazů dotazů v přirozeném jazyce. Techniky založené na zpracování přirozeného jazyka nebyly o nic lepší a horší než techniky založené na vektorovém nebo pravděpodobnostním přístupu.

TREC2 se uskutečnilo v srpnu 1993. Zúčastnilo se jej 31 skupiny výzkumníků. Byly zkoumány dva typy vyhledávání. Načtení pomocí dotazu „ad hoc“ a načtení pomocí „směrovacího dotazu.

V TREC-3 malé skupinové experimenty pracovaly se sbírkou španělských jazyků a další se zabývaly formulací interaktivních dotazů ve více databázích.

TREC-4 udělali ještě kratší, aby prošetřili problémy pomocí velmi krátkých uživatelských prohlášení

TREC-5 zahrnuje krátké i dlouhé verze témat s cílem provést hlubší zkoumání toho, které typy technik fungují dobře na různých délkách témat.

V TREC-6 byly zavedeny tři nové stopy řeči, křížového jazyka a vysoce přesného vyhledávání informací. Cílem vyhledávání informací v různých jazycích je usnadnit výzkum v systému, který je schopen načíst relevantní dokument bez ohledu na jazyk zdrojového dokumentu.

TREC-7 obsahoval sedm skladeb, z nichž dvě byly nová skladba dotazů a velmi velká skladba korpusu. Cílem sledování dotazů bylo vytvořit velkou kolekci dotazů.

TREC-8 obsahuje sedm skladeb, z nichž byly nové dvě odpovědi a webové stopy. Cílem QA dotazu je prozkoumat možnosti poskytování odpovědí na konkrétní dotazy v přirozeném jazyce

TREC-9 Zahrnuje sedm stop

Ve videu TREC-10 byly zavedeny videostopy, které podporují výzkum v oblasti načítání obsahu z digitálního videa na základě obsahu.

V TREC-11 byly představeny stopy novinek. Cílem sledování novinek je prozkoumat schopnosti systémů lokalizovat relevantní a nové informace v hodnocené sadě dokumentů vrácených tradičním systémem vyhledávání dokumentů.

TREC-12, který se konal v roce 2003, přidal tři nové stopy Genome track, robustní načítací stopa, HARD (Highly Accurate Retrieval from Documents)

stopy

Aktuální skladby

Při identifikaci nových výzkumných potřeb jsou přidávány nové stopy, tento seznam je aktuální pro TREC 2018.

  • CENTER Track - Cíl: běžet paralelně CLEF 2018, NTCIR-14, TREC 2018 za účelem vývoje a vyladění protokolu vyhodnocení IR reprodukovatelnosti (nový track pro rok 2018).
  • Common Core Track - Cíl: ad hoc úkol hledání nad zpravodajskými dokumenty.
  • Complex Answer Retrieval (CAR) - Cíl: vyvinout systémy schopné reagovat na komplexní informační potřeby shromažďováním informací z celého korpusu.
  • Track Incident Streams - Cíl: zkoumat technologie pro automatické zpracování streamů sociálních médií během nouzových situací (nový track pro TREC 2018).
  • The News Track - Goal: partnerství s The Washington Post za účelem vývoje testovacích kolekcí ve zpravodajském prostředí (novinka pro rok 2018).
  • Precision Medicine Track - Cíl: specializace trati Podpora klinického rozhodování zaměřená na propojení údajů o onkologických pacientech s klinickými testy.
  • Real-Time Summarization Track (RTS) - Cíl: prozkoumat techniky pro souhrny aktualizací v reálném čase ze streamů sociálních médií.

Minulé skladby

  • Chemická stopa - cíl: vyvinout a vyhodnotit technologii pro rozsáhlé vyhledávání v dokumentech souvisejících s chemií , včetně akademických prací a patentů, aby lépe vyhovovaly potřebám profesionálních hledačů, konkrétně hledačů patentů a chemiků.
  • Sledování podpory klinického rozhodování - cíl: vyšetřit techniky spojování lékařských případů s informacemi relevantními pro péči o pacienta
  • Sledování kontextových návrhů - cíl: zkoumat techniky hledání komplexních informačních potřeb, které jsou vysoce závislé na kontextu a zájmech uživatelů.
  • Crowdsourcing Track - Cíl: poskytnout místo spolupráce pro zkoumání metod crowdsourcingu jak pro hodnocení vyhledávání, tak pro provádění úkolů vyhledávání.
  • Genomics Track - Cíl: studovat získávání genomických dat, nejen genových sekvencí, ale také podpůrné dokumentace, jako jsou výzkumné práce, laboratorní zprávy atd. Poslední běh na TREC 2007.
  • Sledování dynamických domén - cíl: prozkoumat vyhledávací algoritmy specifické pro doménu, které se přizpůsobují dynamickým informačním potřebám profesionálních uživatelů při jejich zkoumání ve složitých doménách.
  • Enterprise Track - Cíl: studovat vyhledávání v datech organizace k dokončení nějakého úkolu. Naposledy spuštěno na TREC 2008.
  • Sledování entit - cíl: provádět vyhledávání související s entitami na webových datech. Tyto úlohy vyhledávání (například hledání entit a vlastností entit) řeší běžné informační potřeby, které nejsou tak dobře modelovány jako vyhledávání dokumentů ad hoc.
  • Cross-Language Track - Cíl: prozkoumat schopnost vyhledávacích systémů najít dokumenty topicky bez ohledu na zdrojový jazyk. Po roce 1999 se tato trať roztočila do CLEF .
  • FedWeb Track - Cíl: vybrat nejlepší zdroje pro přeposlání dotazu a sloučit výsledky tak, aby nejdůležitější byly nahoře.
  • Federovaná stopa vyhledávání na webu - cíl: prozkoumat techniky pro výběr a kombinaci výsledků vyhledávání z velkého počtu skutečných online vyhledávacích služeb na internetu.
  • Sledování filtrování - cíl: binárně rozhodnout o načítání nových příchozích dokumentů s ohledem na stabilní informační potřebu .
  • HARD Track - Cíl: dosáhnout vysokého přesného načítání z dokumentů využitím dalších informací o vyhledávači a / nebo kontextu vyhledávání.
  • Interaktivní stopa - cíl: studovat interakci uživatele se systémy vyhledávání textu.
  • Track Knowledge Acceleration (KBA) Track - Cíl: vyvinout techniky k dramatickému zlepšení efektivity (lidských) kurátorů znalostní báze tím, že systém navrhne úpravy / rozšíření KB na základě jeho sledování datových toků, vytvořil KBA streamcorpus , pořádá Diffeo .
  • Legální stopa - cíl: vyvinout vyhledávací technologii, která splní potřeby právníků, aby se zapojili do efektivního objevování ve sbírkách digitálních dokumentů .
  • LiveQA Track - Cíl: generovat odpovědi na skutečné otázky pocházející od skutečných uživatelů prostřednictvím živého proudu otázek v reálném čase.
  • Sledování lékařských záznamů - cíl: prozkoumat metody vyhledávání nestrukturovaných informací nalezených v lékařských záznamech pacientů.
  • Sledování mikroblogu - cíl: zkoumat povahu informačních potřeb v reálném čase a jejich uspokojení v kontextu mikroblogovacích prostředí, jako je Twitter.
  • Sledování zpracování přirozeného jazyka - Cíl: zkoumat, jak by konkrétní nástroje vyvinuté výpočetními lingvisty mohly zlepšit vyhledávání.
  • Novinka - cíl: prozkoumat schopnosti systémů lokalizovat nové (tj. Nepotřebné) informace.
  • OpenSearch Track - Cíl: prozkoumat paradigma hodnocení IR, které zahrnuje skutečné uživatele operačních vyhledávacích modulů . Prvním rokem trati byl úkol ad hoc Academic Search.
  • Sledování odpovědí na otázky - cíl: dosáhnout více vyhledávání informací než jen vyhledávání dokumentů zodpovězením faktoidních, seznamových a definičních otázek.
  • Sledování shrnutí v reálném čase - cíl: prozkoumat techniky pro vytváření souhrnů aktualizací v reálném čase ze streamů sociálních médií v reakci na informační potřeby uživatelů.
  • Robustní vyhledávací stopa - cíl: zaměřit se na účinnost jednotlivých témat.
  • Relevance Feedback Track - Cíl: k dalšímu hluboké vyhodnocování relevance zpětné vazby procesů.
  • Sledování relace - cíl: vyvinout metody pro měření relací s více dotazy, kde se informace musí během relace odchýlit nebo být více či méně konkrétní.
  • Sledování spamu - cíl: poskytnout standardní vyhodnocení současných a navrhovaných přístupů k filtrování spamu .
  • Sledování úkolů - cíl: otestovat, zda systémy mohou vyvolat možné úkoly, které by se uživatelé mohli při zadaném dotazu pokoušet splnit.
  • Časová souhrnná stopa - cíl: vyvinout systémy, které uživatelům umožní efektivně sledovat informace spojené s událostí v průběhu času.
  • Terabyte Track - Cíl: zkoumat, zda / jak může komunita IR škálovat tradiční hodnocení založené na IR testech a kolekcích na výrazně velké sbírky.
  • Total Recall Track - Cíl:: vyhodnotit metody k dosažení velmi vysoké výbavnosti, včetně metod, které zahrnují ve smyčce lidského hodnotitele.
  • Video Track - Goal: to research in automatic segmentation, indexing , and content-based retrieval of digital video . V roce 2003 se tato trať stala vlastním nezávislým hodnocením s názvem TRECVID
  • Web Track - Cíl: prozkoumat chování při hledání informací, které je běžné při obecném vyhledávání na webu.

Související události

V roce 1997, japonský protějšek tREC byla zahájena (první workshop v roce 1999), nazvaný NTCIR ( NII Testovací kolekce pro IR Systems), av roce 2000, CLEF , evropský protějšek, konkrétně vektorováno ke studiu získávání informací cross-jazykové byla spuštěno. Fórum pro hodnocení získávání informací (FIRE) začalo v roce 2008 s cílem vybudovat jihoasijský protějšek pro TREC, CLEF a NTCIR,

Konferenční příspěvky k efektivitě vyhledávání

NIST tvrdí, že během prvních šesti let workshopů se účinnost vyhledávacích systémů přibližně zdvojnásobila. Konference byla také první, která uspořádala rozsáhlé hodnocení neanglických dokumentů, řeči, videa a vyhledávání v různých jazycích. Výzvy navíc inspirovaly velké množství publikací . Technologie poprvé vyvinutá v TREC je nyní součástí mnoha světových komerčních vyhledávačů . Nezávislá zpráva RTII zjistila, že „přibližně jednu třetinu vylepšení webových vyhledávačů od roku 1999 do roku 2009 lze připsat společnosti TREC. Tato vylepšení díky webovým vyhledávačům pravděpodobně ušetřila až 3 miliardy hodin času. ... Navíc zpráva ukázala, že na každý 1 USD, který NIST a jeho partneři investovali do TREC, připadly nejméně 3, 35 až 5, 07 USD na výhody výzkumným pracovníkům v USA na získávání informací v soukromém sektoru i na akademické půdě. "

Zatímco jedna studie naznačuje, že současný stav vyhledávání ad hoc v dekádě před rokem 2009 podstatně nepokročil, jedná se pouze o hledání aktuálně relevantních dokumentů v malých novinkách a webových sbírkách několika gigabajtů. Došlo k pokroku v jiných typech ad hoc vyhledávání. Například byly vytvořeny testovací sbírky pro vyhledávání na webu se známými položkami, které našly vylepšení z použití textu ukotvení, vážení nadpisů a délky adresy URL, což nebyly užitečné techniky ve starších testovacích kolekcích ad hoc. V roce 2009 byla zavedena nová webová kolekce na miliardu stránek a bylo zjištěno, že filtrování spamu je na rozdíl od minulých testovacích sbírek užitečnou technikou pro ad hoc vyhledávání na webu.

Kolekce testů vyvinuté v TREC jsou užitečné nejen pro (potenciálně) pomoc výzkumným pracovníkům v pokroku v současném stavu techniky, ale také pro umožnění vývojářům nových (komerčních) vyhledávacích produktů vyhodnotit jejich účinnost na standardních testech. V uplynulém desetiletí vytvořil TREC nové testy pro podnikové vyhledávání e-mailů, vyhledávání genomiky, filtrování spamu, e-Discovery a několik dalších domén vyhledávání.

Systémy TREC často poskytují základnu pro další výzkum. Mezi příklady patří:

  • Hal Varian , hlavní ekonom společnosti Google , říká, že lepší data přispívají k lepší vědě. Historie získávání informací tento princip dobře ilustruje, “popisuje příspěvek TREC.
  • Právní stopa TREC ovlivnila komunitu e-Discovery jak ve výzkumu, tak v hodnocení komerčních prodejců.
  • Tým výzkumníků IBM, který staví IBM Watson (aka DeepQA ), který porazil nejlepší světový Jeopardy! hráči, použitá data a systémy z QA Track společnosti TREC jako základní měření výkonu.

Účast

Konferenci tvoří různorodá mezinárodní skupina vědců a vývojářů. V roce 2003 se účastnilo 93 skupin z akademické obce i průmyslu z 22 zemí.

Viz také

Reference

externí odkazy