close

Tiedon louhinta

Siirry navigointiin Siirry hakuun

Datan louhinta tai tiedon louhinta [1] on joukko tekniikoita ja menetelmiä, joiden tavoitteena on poimia hyödyllistä tietoa suurista tietomääristä (esim . tietokannoista , tietovarastoista jne.) automaattisilla tai puoliautomaattisilla menetelmillä (esim. koneoppiminen ) ja niiden tieteellinen, yritys-, teollinen tai toiminnallinen käyttö.

Kuvaus

Tiedonlouhinnan karakterisoinnissa voi olla hyödyllistä tarkastella tilastoja , jotka muuten voidaan määritellä hyödyllisen tiedon poimimiseksi tietojoukoista .

Tiedonlouhinnan käsite on samanlainen, mutta siinä on olennainen ero: tilastojen avulla voidaan käsitellä yleisiä tietoja väestöstä (esim. työttömyysaste , syntyvyys ), kun taas tiedonlouhinnalla etsitään korrelaatioita useiden yksilöihin liittyvien muuttujien välillä. Esimerkiksi puhelinyhtiön keskimääräisen asiakaskäyttäytymisen tunteessa yritetään ennustaa, kuinka paljon keskimääräinen asiakas kuluttaa lähitulevaisuudessa.

Pohjimmiltaan tiedon louhinta on matemaattisesta näkökulmasta tarkasteltuna suurille tietokannoille suoritettua analyysiä, jota tyypillisesti edeltää muut tietojen valmistelu-, muunnos- tai suodatusvaiheet, kuten tietojen puhdistaminen . Termi tiedon louhinta tuli suosituksi 1990-luvun lopulla lyhennetyn versiona yllä olevasta määritelmästä; Nykyään tiedon louhinnalla on kaksinkertainen arvo:

  • implisiittisen, piilotetun tiedon poimiminen jo strukturoidusta tiedosta huippuluokan analyyttisilla tekniikoilla, jotta se saataisiin saataville ja suoraan käytettäväksi;
  • automaattinen tai puoliautomaattinen tutkimus ja analysointi suurille tietomäärille merkittävien kuvioiden (kuvioiden tai säännönmukaisuuksien) löytämiseksi.

Molemmissa tapauksissa tiedon ja merkityksen käsitteet liittyvät läheisesti sovellusalueeseen, jossa tiedon louhinta suoritetaan; Toisin sanoen perustieto voi olla mielenkiintoinen tai merkityksetön riippuen sovelluksen tyypistä, jossa se toimii.

Tämäntyyppinen toiminta on ratkaisevan tärkeää monilla tieteellisen tutkimuksen aloilla , mutta myös muilla aloilla (esimerkiksi markkinatutkimuksen alalla ). Ammattimaailmassa sitä käytetään erilaisten ongelmien ratkaisemiseen aina asiakassuhteen hallinnasta (CRM), vilpillisen toiminnan havaitsemiseen ja verkkosivustojen optimointiin . [2]

Toimitilat

Tärkeimmät tiedon louhinnan kehitykseen vaikuttaneet tekijät ovat:

  • suuret tietomäärät sähköisessä muodossa;
  • edullinen tietojen tallennus ;
  • uudet analyysimenetelmät ja -tekniikat ( koneoppiminen ).

Tiedonlouhintatekniikat perustuvat tiettyihin algoritmeihin . Tunnistetut mallit voivat puolestaan ​​olla lähtökohta hypoteeseille ja siten uusien ilmiöiden välisten syy-suhteiden todentamiseen; yleensä niitä voidaan käyttää tilastollisessa mielessä uusien tietokokonaisuuksien ennustamiseen.

Tietojen louhintaan liittyvä käsite on koneoppiminen ; Itse asiassa kuvioiden tunnistamista voidaan verrata tiedonlouhintajärjestelmän avulla aiemmin tuntemattoman syy-yhteyden oppimiseen, jota voidaan soveltaa esimerkiksi heurististen algoritmien ja tekoälyn aloilla . On kuitenkin huomattava, että tiedon louhintaprosessissa on aina riski paljastaa syy-suhteita, jotka sitten osoittautuvat olemattomiksi.

Tekniikat

Tällä alalla eniten käytettyjä tekniikoita ovat:

Toinen suosittu tiedon louhintatekniikka on luokittelulla oppiminen. Tämä oppimismalli alkaa hyvin määritellystä joukosta tunnettujen tapausten luokitteluesimerkkejä, joista sen odotetaan päättelevän tapa luokitella tuntemattomat esimerkit. Tätä lähestymistapaa kutsutaan myös "valvotuksi" siinä mielessä, että oppimisjärjestelmä toimii tunnetuille tapauksille luokitteluesimerkkien implisiittisesti tarjoaman valvonnan alaisena; Näitä esimerkkejä kutsutaan tästä syystä myös koulutusesimerkeiksi tai "harjoitteluesimerkeiksi". Luokittelun kautta oppimalla hankittu tieto voidaan esittää päätöspuulla.

Varsinainen tietojen poiminta tapahtuu siis prosessin lopussa, joka sisältää useita vaiheita: tietolähteet tunnistetaan; luodaan yksi aggregoitujen tietojen joukko; suoritetaan esikäsittely (tietojen puhdistus, tutkivat analyysit, valinta jne.); tiedot poimitaan valitulla algoritmilla; kuvioita tulkitaan ja arvioidaan; viimeinen vaihe siirtyy malleista näin hankittuun uuteen tietoon.

On olemassa useita ehdotuksia ja tekniikoita, joilla jokaisella on erityisiä ominaisuuksia ja etuja.

  • Päätöspuut : luokittelu, summaus (esim. algoritmeilla C4.5, CART, ID3 , Entropy , CHAID).
  • Looginen analyysi ja koko ohjelmointi: luokittelu, sääntöjen oppiminen (esim. LAD).
  • Graafiteoria : klusterointi, luokittelu (esim. B&C).
  • Neuroverkot (ANN): luokittelu (esim. Perceptron, yksikerroksinen, monikerroksinen, backpropagation, säteittäispohjaiset R&F-verkot, kuten SNNS ja Nevprop).
  • Bayesin menetelmät: regressio, luokittelu, bayesilainen oppiminen, bayesilainen uskomusverkosto, bayesilaiset luokittimet, maksimitodennäköisyys.
  • Tuki Vector Machines (SVM): luokittelu, kuvion tunnistus (esim. RSVM).
  • Assosiaatio / kuvion etsintä: assosiaatiosäännöt ja riippuvuudet, peräkkäiset kumppanit (esim. CN2).

Esikäsittely

Ennen kuin voit käyttää tiedonlouhintaalgoritmeja , sinun on koottava kohdetietojoukko. Koska tiedon louhinta voi löytää vain malleja, jotka todellisuudessa ovat tiedoissa, kohdetietojoukon on oltava riittävän suuri näiden mallien säilyttämiseen, mutta silti riittävän ytimekäs, jotta se voidaan purkaa hyväksyttävän aikarajan kuluessa. [3] Yleinen tietolähde on datamarket tai tietovarasto. Esikäsittely on välttämätöntä monimuuttujien tietojoukkojen analysoinnissa ennen tiedon louhintaa. Sen jälkeen linssisarja puhdistetaan. Tietojen puhdistus poistaa kohinaa sisältävät havainnot ja havainnot, joista puuttuu data.

Esimerkkejä

Mitä "on" tiedon louhinta ?

  • tee haku netistä avainsanalla ja luokittele löydetyt asiakirjat semanttisten kriteerien mukaan (esim. "kuriiri": sanomalehden nimi, ammatti jne.);
  • selvittää, mitkä asiakkaat todennäköisimmin ostavat tiettyjä tuotteita tai mainoskampanjoita.

Mitä "ei ole" tiedon louhinta ?

  • etsi puhelinnumero luettelosta;
  • tee Internet-haku "Malediivien lomat".

Tekstin louhinta

Se on tiedon louhinnan erityinen muoto, jossa data koostuu luonnollisen kielen teksteistä: toisin sanoen "strukturoimattomista" asiakirjoista. Tekstinlouhinta yhdistää kieliteknologian tiedonlouhintaalgoritmeihin. Tavoite on aina sama: asiakirjojen sisältämän implisiittisen tiedon poimiminen.

Se on kehittynyt huomattavasti luonnollisen kielen prosessointitekniikoiden (englanniksi NLP), monimutkaisten sovellusten saatavuuden sovelluspalveluntarjoajien ( ASP) kautta ja molempien tutkijoiden osoittaman kiinnostuksen automaattisia kielenhallintatekniikoita kohtaan, sekä ohjelmistojen tuottajien. ja hakukoneiden johtajien toimesta .

Käytetty ohjelmisto

Viimeaikainen kehitys

Yksi tiedon louhinnan uusimmista kehityksestä on tiedon visualisointi . Infografiikan erikoisala , datan visualisointi ei ole pelkästään tekemisissä tekstin graafisesti ymmärrettäväksi, vaan se on suorempi suhde tietokantojen strukturointiin ja grafiikan vientiin tiedoista.

Toinen uusi raja on sosiaalinen tiedon louhinta eli online- sosiaalisten verkostojen tuottaman tiedon analysointi , kuten tunteiden analysointi .

Sovellukset

Markkinatutkimus

Tiedonlouhinnan käyttö markkinatutkimuksessa pyrkii laajentamaan tietämystä, jolle päätöksentekoprosessit voidaan perustaa . Liiketoiminnassa tiedon louhintaa pidetään osana prosessia, joka johtaa tietovaraston luomiseen . Se on erityisen tehokas näissä suurissa tietovarastoissa olevien yritystietojen parantamiseen. Jotta olemassa olevista tiedoista poimitut tiedot olisivat merkityksellisiä ja siten mahdollisesti hyödyllisiä, niiden on oltava:

  • kelvollinen (eli se voi toimia myös uusien tietojen perusteella);
  • aiemmin tuntematon;
  • ymmärrettävää.

Tässä yhteydessä kuvio ei ole muuta kuin tietojen poimintaprosessin aikana löydettyjen avainsuhteiden esitys: toistuvat sekvenssit, homogeenisuus, sääntöjen syntyminen jne. Jos esimerkiksi malli osoittaa, että tietyn väestörakenteen asiakkaat ostavat erittäin todennäköisesti tietyn tuotteen, potentiaalisten ostajien tietovarastoon tehtävää valikoivaa kyselyä voidaan käyttää tarjousosoitteiden luettelon luomiseen.

Klassinen esimerkki, jota usein käytetään yliopiston kursseilla, on määrittelemätön supermarketketju (todennäköisesti amerikkalainen), joka olisi kuitteja analysoimalla havainnut jotain muuten vaikeasti kuviteltavaa: vaippoja ostaneet ihmiset ostivat usein enemmän olutta kuin muut, joten kallein olut lähellä vaippoja voisi lisätä myyntiä. Itse asiassa ne ihmiset, joilla oli pieniä lapsia, viettivät enemmän iltoja kotona katsoen televisiota olutta juoen, eivätkä voineet mennä ulos ystävien kanssa. On kuitenkin huomautettava, että ei ole selvää, mikä supermarketketju on kyseessä, ja esimerkki, vaikka se onkin erinomainen opetustarkoituksiin ja laajalti käytetty myös journalismissa, on ehkä keksitty yhtä hyvin kuin se saattoi pitää paikkansa.

Tekijänoikeuslaki

Tilanne Euroopassa

Euroopan tekijänoikeus- ja tietokantalain mukaan tekijänoikeudella suojattujen teosten purkaminen (esim. verkkolouhinnan kautta) ilman tekijänoikeuden omistajan lupaa ei ole laillista. Jos tietokanta koostuu Euroopassa puhtaasta tiedosta, tekijänoikeuksia ei ehkä ole, mutta tietokantaoikeuksia voi olla niin, että tiedon louhinta tulee tietokantadirektiivin suojaamien immateriaalioikeuksien omistajien oikeuksien alaisiksi. Tämä johti Hargreaves -katsauksen suosituksesta siihen, että Yhdistyneen kuningaskunnan hallitus muutti tekijänoikeuslakiaan vuonna 2014 salliakseen sisällön poiminnan rajoituksena ja poikkeuksena. [4] Yhdistynyt kuningaskunta oli toinen maa maailmassa Japanin jälkeen , joka otti vuonna 2009 käyttöön poikkeuksen tiedonlouhinnalle. Tietoyhteiskuntadirektiivin (2001) rajoituksen vuoksi Yhdistyneen kuningaskunnan poikkeus sallii kuitenkin sisällön poimimisen vain ei-kaupallisiin tarkoituksiin. Yhdistyneen kuningaskunnan tekijänoikeuslaki ei myöskään salli tämän säännöksen ohittamista sopimusehdoilla.

Euroopan komissio helpotti sidosryhmien keskustelua tekstin ja tiedon louhinnasta vuonna 2013 nimellä Licenses for Europe [5] . Keskittyminen tämän oikeudellisen ongelman ratkaisemiseen, kuten lisensointiin rajoitusten ja poikkeuksien sijaan, johti siihen, että yliopistojen, tutkijoiden, kirjastojen, kansalaisyhteiskunnan ryhmien ja avoimen pääsyn julkaisijoiden edustajat poistuivat sidosryhmien vuoropuhelusta toukokuussa 2013. [6]

Muistiinpanot

  1. ^ Tunnus 917359 osoitteessa iate.europa.eu . Haettu 15. heinäkuuta 2022 .
  2. ^ Daniele Medri: Big Data & Business: An on-going revolution , statistiikkaviews.com , Statistics Views , 21. lokakuuta 2013. Haettu 21. kesäkuuta 2015 (arkistoitu alkuperäisestä 17. kesäkuuta 2015) .
  3. ^ Tietotiede tyhjästä. Ensimmäiset periaatteet Pythonilla , O'Reilly, 2019, ISBN 9781492041139 .  
  4. ^ Yhdistyneen kuningaskunnan tutkijoille on annettu tiedon louhintaoikeus Yhdistyneen kuningaskunnan uusien tekijänoikeuslakien nojalla. (Arkistoitu alkuperäisestä 9. kesäkuuta 2014) . Out-Law.com. Haettu 14.11.2014
  5. ^ Licenses for Europe - Structured Stakeholder Dialogue 2013 , Euroopan komissio . Haettu 14. marraskuuta 2014 .
  6. ^ Tekstin ja tiedon louhinta: sen merkitys ja muutoksen tarve Euroopassa , su Association of European Research Libraries . Haettu 14. marraskuuta 2014 (arkistoitu alkuperäisestä 29. marraskuuta 2014) .

Bibliografia

  • P. Cabena; P. Hadjinian; R. Stadler; J. Verhees; A. Zanasi. Tietojen louhinnan löytäminen konseptista toteutukseen , Prentice Hall PTR 1997
  • Dulli Susi; Sara Furini; Peron Edmondo. Tiedon louhinta . , Springer Verlag , 2009

Aiheeseen liittyvät tuotteet

Muut projektit

Ulkoiset linkit

Haettu osoitteesta " https://it.wikipedia.org/w/index.php?title=Data_mining&oldid=128809795 "