Metasearch -motor - Metasearch engine

Arkitektur av en metasearch -motor

En metasearch -motor (eller søkeaggregator ) er et elektronisk informasjonshentingsverktøy som bruker dataene til en nettsøkemotor for å produsere sine egne resultater. Metasearch -motorer tar innspill fra en bruker og søker umiddelbart etter søkemotorer etter resultater. Tilstrekkelig data samles inn, rangeres og presenteres for brukerne.

Problemer som søppelpost reduserer nøyaktigheten og presisjonen til resultatene. Fusjonsprosessen tar sikte på å forbedre konstruksjonen til en metasøkemotor.

Eksempler på metasøkemotorer inkluderer Skyscanner og Kayak.com , som samler søkeresultater fra online reisebyråer og leverandørnettsteder og Excite , som samler resultater fra søkemotorer på internett.

Historie

Den første personen som innlemmet ideen om metasøk var Daniel Dreilinger fra Colorado State University . Han utviklet SearchSavvy, som lar brukerne søke opp til 20 forskjellige søkemotorer og kataloger samtidig. Selv om søkemotoren var rask, var den begrenset til enkle søk og var derfor ikke pålitelig. University of Washington student Eric Selberg ga ut en mer "oppdatert" versjon kalt MetaCrawler . Denne søkemotoren forbedret SearchSavvys nøyaktighet ved å legge til sin egen søkesyntaks bak kulissene og matche syntaksen til søkemotorene den undersøkte. Metacrawler reduserte antall søkemotorer som ble spurt til 6, men selv om det ga mer nøyaktige resultater, ble det fortsatt ikke ansett som nøyaktig som å søke i en enkelt søk i en enkelt motor.

20. mai 1996 var HotBot , da eid av Wired , en søkemotor med søkeresultater fra Inktomi- og Direct Hit -databasene. Den var kjent for sine raske resultater og som en søkemotor med muligheten til å søke i søkeresultatene. Da Lycos ble kjøpt i 1998, forskjøvet utviklingen for søkemotoren og dens markedsandel falt drastisk. Etter å ha gjennomgått noen få endringer, ble HotBot redesignet til et forenklet søkegrensesnitt, med funksjonene innlemmet i Lycos 'redesign av nettstedet.

En metasearch -motor kalt Anvish ble utviklet av Bo Shu og Subhash Kak i 1999; søkeresultatene ble sortert ved hjelp av øyeblikkelig opplærte nevrale nettverk . Dette ble senere innlemmet i en annen metasearch -motor kalt Solosearch.

I august 2000 fikk India sin første metasøkemotor da HumHaiIndia.com ble lansert. Den ble utviklet av den da 16 år gamle Sumeet Lamba. Nettstedet ble senere omdøpt til Tazaa.com.

Ixquick er en søkemotor kjent for sin personvernerklæring. Utviklet og lansert i 1998 av David Bodnick, eies av Surfboard Holding BV. I juni 2006 begynte Ixquick å slette private detaljer om brukerne sine etter den samme prosessen med Scroogle . Ixquicks personvernpolicy inkluderer ingen registrering av brukernes IP -adresser, ingen identifiserende informasjonskapsler, ingen innsamling av personopplysninger og ingen deling av personopplysninger med tredjeparter. Den bruker også et unikt rangeringssystem der et resultat er rangert etter stjerner. Jo flere stjerner i et resultat, jo flere søkemotorer ble enige om resultatet.

I april 2005 samarbeidet Dogpile , da eid og drevet av InfoSpace , Inc., med forskere fra University of Pittsburgh og Pennsylvania State University for å måle overlappings- og rangeringsforskjellene mellom ledende websøkemotorer for å måle fordelene ved å bruke et metasearch motor for å søke på nettet. Resultatene fant at fra 10 316 tilfeldige brukerdefinerte søk fra Google , Yahoo! og Ask Jeeves , bare 3,2% av søkeresultatene på første side var de samme i søkemotorene for et gitt søk. En annen studie senere samme år med 12 570 tilfeldige brukerdefinerte spørsmål fra Google , Yahoo! , MSN Search og Ask Jeeves fant at bare 1,1% av søkeresultatene på første side var de samme i søkemotorene for et gitt søk.

Fordeler

Ved å sende flere forespørsler til flere andre søkemotorer utvider dette dekningsdataene for emnet og gjør at mer informasjon kan bli funnet. De bruker indeksene som er bygget av andre søkemotorer, og samler og ofte etterbehandler resultater på unike måter. En metasearch -motor har en fordel i forhold til en enkelt søkemotor fordi flere resultater kan hentes med samme innsats. Det reduserer også arbeidet til brukerne fra å måtte skrive inn søk fra forskjellige motorer individuelt for å lete etter ressurser.

Metasøk er også en nyttig tilnærming hvis formålet med brukerens søk er å få en oversikt over emnet eller å få raske svar. I stedet for å måtte gå gjennom flere søkemotorer som Yahoo! eller Google og sammenligne resultater, er metasearch -motorer i stand til raskt å kompilere og kombinere resultater. De kan gjøre det enten ved å vise resultater fra hver motor som blir spurt uten ekstra etterbehandling (Dogpile) eller ved å analysere resultatene og rangere dem etter sine egne regler (IxQuick, Metacrawler og Vivismo).

En metasøkemotor kan også skjule søkerens IP -adresse for søkemotorene som blir spurt, og dermed gi personvernet til søket.

Ulemper

Metasearch -motorer er ikke i stand til å analysere spørreskjemaer eller fullstendig oversette spørresyntaksen . Antall hyperkoblinger generert av metasearch -motorer er begrenset, og gir derfor ikke brukeren de fullstendige resultatene av en forespørsel.

Flertallet av metasøkemotorene gir ikke over ti koblede filer fra en enkelt søkemotor, og samhandler vanligvis ikke med større søkemotorer for resultater. Betal per klikk -lenker prioriteres og vises normalt først.

Metasearching gir også en illusjon om at det er mer dekning av temaet du lurer på, spesielt hvis brukeren søker etter populær eller vanlig informasjon. Det er vanlig å slutte med flere identiske resultater fra de spurte motorene. Det er også vanskeligere for brukere å søke med avansert søkesyntaks for å bli sendt med spørringen, så resultatene er kanskje ikke like presise som når en bruker bruker et avansert søkegrensesnitt på en bestemt motor. Dette resulterer i mange metasøkemotorer som bruker enkelt søk.

Operasjon

En metasøkemotor godtar en enkelt søkeforespørsel fra brukeren . Denne søkeforespørselen blir deretter videreført til en annen søkemotors database . En metasearch -motor oppretter ikke en database med websider, men genererer et føderert databasesystem med dataintegrasjon fra flere kilder.

Siden hver søkemotor er unik og har forskjellige algoritmer for å generere rangerte data, vil duplikater derfor også bli generert. For å fjerne dubletter behandler en metasøkemotor disse dataene og bruker sin egen algoritme. En revidert liste produseres som en utgang for brukeren. Når en metasøkemotor kontakter andre søkemotorer, vil disse søkemotorene svare på tre måter:

De vil både samarbeide og gi fullstendig tilgang til grensesnittet for metasearch -motoren, inkludert privat tilgang til indeksdatabasen, og vil informere metasearch -motoren om eventuelle endringer som er gjort i indeksdatabasen;
Søkemotorer kan oppføre seg på en ikke-samarbeidende måte, slik at de ikke vil nekte eller gi tilgang til grensesnitt;
Søkemotoren kan være fullstendig fiendtlig og nekte metasøkemotoren total tilgang til databasen og under alvorlige omstendigheter ved å søke juridiske metoder.

Rangeringens arkitektur

Nettsider som er høyt rangert på mange søkemotorer vil sannsynligvis være mer relevante for å gi nyttig informasjon. Imidlertid har alle søkemotorer forskjellige rangeringer for hvert nettsted, og som oftest er disse resultatene ikke de samme. Dette er fordi søkemotorer prioriterer forskjellige kriterier og metoder for poengsum, og derfor kan et nettsted virke høyt rangert på en søkemotor og lavt rangert på et annet. Dette er et problem fordi Metasearch -motorer er avhengige av at disse dataene er konsistente for å generere pålitelige kontoer.

Fusjon

Data Fusion modell

En metasøkemotor bruker Fusion -prosessen til å filtrere data for mer effektive resultater. De to viktigste fusjonsmetodene som brukes er: Collection Fusion og Data Fusion.

Collection Fusion: også kjent som distribuert hentning, omhandler spesielt søkemotorer som indekserer ikke -relaterte data. For å finne ut hvor verdifulle disse kildene er, ser Collection Fusion på innholdet og rangerer deretter dataene om hvor sannsynlig det er å gi relevant informasjon i forhold til spørringen. Fra det som genereres, er Collection Fusion i stand til å plukke ut de beste ressursene fra rangeringen. Disse valgte ressursene slås deretter sammen til en liste.
Data Fusion: omhandler informasjon hentet fra søkemotorer som indekserer vanlige datasett. Prosessen er veldig lik. De første rangeringene av data slås sammen til en enkelt liste, hvoretter de opprinnelige rekkene til hvert av disse dokumentene analyseres. Data med høy score indikerer høy relevans for et bestemt søk og blir derfor valgt. For å lage en liste må resultatene normaliseres ved hjelp av algoritmer som CombSum. Dette er fordi søkemotorer bruker forskjellige retningslinjer for algoritmer, noe som resulterer i at poengsummen som er produsert er uforlignelig.

Spamdexing

Spamdexing er bevisst manipulering av søkemotorindekser. Den bruker en rekke metoder for å manipulere relevansen eller fremtredelsen av ressurser som er indeksert på en måte som ikke er justert med hensikten med indekseringssystemet. Spamdexing kan være veldig plagsomt for brukerne og problematisk for søkemotorer fordi tilbakeleveringsinnholdet i søk har dårlig presisjon. Dette vil til slutt resultere i at søkemotoren blir upålitelig og ikke pålitelig for brukeren. For å takle Spamdexing blir søkrobotalgoritmer gjort mer komplekse og endres nesten hver dag for å eliminere problemet.

Det er et stort problem for metasearch -motorer fordi det tamper med webcrawlerens indekseringskriterier, som er svært avhengige av for å formatere rangeringslister. Spamdexing manipulerer det naturlige rangeringssystemet til en søkemotor og plasserer nettsteder høyere på rangeringslisten enn de naturligvis ville bli plassert. Det er tre hovedmetoder som brukes for å oppnå dette:

Innholdssøppel

Innholdssøppel er teknikkene som endrer den logiske visningen som en søkemotor har over sidens innhold. Teknikker inkluderer:

Søkeordstopping - Beregnede plasseringer av søkeord på en side for å øke antall søkeord, variasjon og tetthet på siden
Skjult/usynlig tekst - Ikke -relatert tekst forkledd ved å gjøre den i samme farge som bakgrunnen, ved å bruke en liten skriftstørrelse eller skjule den i HTML -koden
Metataggfylling - Gjentagelse av søkeord i metakoder og/eller bruk av søkeord som ikke er relatert til nettstedets innhold
Doorway Pages - Websider av lav kvalitet med lite innhold, men relatable søkeord eller setninger
Scraper Sites - Programmer som lar nettsteder kopiere innhold fra andre nettsteder og lage innhold for et nettsted
Artikkelspinning - Omskriving av eksisterende artikler i motsetning til kopiering av innhold fra andre nettsteder
Maskinoversettelse - Bruker maskinoversettelse til å omskrive innhold på flere forskjellige språk, noe som resulterer i uleselig tekst

Lenke spam

Link spam er lenker mellom sider som er tilstede av andre årsaker enn fortjeneste. Teknikker inkluderer:

Link -building Software - Automatisering av søkemotoroptimaliseringsprosessen (SEO)
Link Farms - Sider som refererer til hverandre (også kjent som gjensidig beundringssamfunn)
Skjulte koblinger - Plassering av hyperkoblinger der besøkende ikke vil eller kan se dem
Sybil Attack - Smiing av flere identiteter for ondsinnet hensikt
Spamblogger - Blogger som er opprettet utelukkende for kommersiell markedsføring og passering av lenkeautoritet til målnettsteder
Sidekapring - Opprette en kopi av et populært nettsted med lignende innhold, men omdirigerer nettsurfere til ikke -relaterte eller til og med ondsinnede nettsteder
Kjøpe utløpte domener - Kjøpe utløpte domener og erstatte sider med lenker til ikke -relaterte nettsteder
Cookie Stuffing - Plassering av en tilknyttet sporingskake på en besøkendes datamaskin uten deres kunnskap
Forumspam - Nettsteder som kan redigeres av brukere for å sette inn lenker til spam -nettsteder

Tilsløring

Dette er en SEO -teknikk der forskjellige materialer og informasjon sendes til webcrawler og til nettleseren . Det brukes ofte som en spamdexing -teknikk fordi det kan lure søkemotorer til enten å besøke et nettsted som er vesentlig forskjellig fra søkemotorbeskrivelsen eller gi et bestemt nettsted en høyere rangering.

Languages

In other projects