Exploatare minieră - Structure mining
Minarea structurii sau extragerea datelor structurate este procesul de găsire și extragere a informațiilor utile din seturi de date semi-structurate . Exploatarea grafică, extragerea secvențială a modelelor și extragerea moleculelor sunt cazuri speciale de extragere structurată a datelor.
Descriere
Creșterea utilizării datelor semi-structurate a creat noi oportunități pentru extragerea datelor, care în mod tradițional a fost preocupată de seturile de date tabulare, reflectând asocierea puternică dintre extragerea datelor și bazele de date relaționale . O mare parte din datele interesante și minabile ale lumii nu se încadrează cu ușurință în baze de date relaționale, deși o generație de ingineri software au fost instruiți să creadă că aceasta a fost singura modalitate de gestionare a datelor, iar algoritmii de extragere a datelor au fost, în general, dezvoltați doar pentru a face față datelor tabulare .
XML , fiind cel mai frecvent mod de reprezentare a datelor semi-structurate, este capabil să reprezinte atât date tabulare, cât și arbori arbitrari. Orice reprezentare particulară a datelor care urmează să fie schimbate între două aplicații în XML este în mod normal descrisă de o schemă scrisă adesea în XSD . Exemple practice de astfel de scheme, de exemplu NewsML , sunt în mod normal foarte sofisticate, conținând mai multe subarburi opționale, utilizate pentru reprezentarea datelor de caz speciale. În mod frecvent, aproximativ 90% dintr-o schemă este preocupată de definirea acestor elemente de date opționale și sub-arbori.
Prin urmare, mesajele și datele care sunt transmise sau codificate folosind XML și care sunt conforme cu aceeași schemă pot conține date foarte diferite în funcție de ceea ce este transmis.
Astfel de date prezintă mari probleme pentru exploatarea convențională a datelor. Două mesaje care se conformează aceleiași scheme pot avea puține date în comun. Construirea unui set de instruire din astfel de date înseamnă că, dacă s-ar încerca să se formateze ca date tabulare pentru extragerea datelor convenționale, secțiuni mari ale tabelelor ar fi sau ar putea fi goale.
Există o presupunere tacită făcută în proiectarea majorității algoritmilor de extragere a datelor că datele prezentate vor fi complete. Cealaltă necesitate este că algoritmii de exploatare efectivi utilizați, indiferent dacă sunt supravegheați sau nesupravegheați, trebuie să poată gestiona date rare. Și anume, algoritmii de învățare automată funcționează prost cu seturi de date incomplete în care este furnizată doar o parte din informații. De exemplu metode bazate pe rețele neuronale . sau algoritmul ID3 al lui Ross Quinlan . sunt extrem de precise, cu mostre bune și reprezentative ale problemei, dar au rezultate slabe cu date părtinitoare. De cele mai multe ori este suficientă o prezentare a modelului mai bună, cu o reprezentare mai atentă și imparțială a intrării și ieșirii. Un domeniu deosebit de relevant în care găsirea structurii și modelului adecvat este problema cheie este extragerea textului .
XPath este mecanismul standard utilizat pentru a se referi la noduri și elemente de date din XML. Are similitudini cu tehnicile standard pentru navigarea ierarhiilor de directoare utilizate în interfețele utilizatorilor sistemelor de operare. Pentru date și structura minelor de date XML de orice formă, sunt necesare cel puțin două extensii pentru mineritul de date convențional. Acestea sunt abilitatea de a asocia o instrucțiune XPath cu orice tipar de date și subinstrucțiuni cu fiecare nod de date din tiparul de date și capacitatea de a extrage prezența și numărarea oricărui nod sau set de noduri din document.
De exemplu, dacă cineva ar reprezenta un arbore genealogic în XML, folosind aceste extensii s-ar putea crea un set de date care să conțină toți nodurile individuale din arbore, elemente de date precum numele și vârsta la moarte și numărul de noduri conexe, cum ar fi ca număr de copii. Căutările mai sofisticate ar putea extrage date precum durata de viață a bunicilor etc.
Adăugarea acestor tipuri de date legate de structura unui document sau mesaj facilitează extragerea structurii.
Vezi si
Referințe
- Andrew N Edmonds, Despre structurarea arborelui de date mining date structurate în XML ', Conferința britanică de miniere de date, Universitatea din Nottingham, august 2003
- Gusfield, D., Algoritmi pe șiruri, copaci și secvențe: informatică și biologie computațională , Cambridge University Press, 1997 . ISBN 0-521-58519-8
- RO Duda, PE Hart, DG Stork, Clasificarea modelelor , John Wiley & Sons, 2001 . ISBN 0-471-05669-3
- F. Hadzic, H. Tan, TS Dillon, Exploatarea datelor cu structuri complexe, Springer, 2010 . ISBN 978-3-642-17556-5
