Învățare probabil aproximativ corectă

Probabil că învățarea corectă aproximativă (WARL) sau învățarea engleză probabil aproximativ corectă ( învățarea PAC) este un cadru pentru învățarea automată pe care de Leslie Valiant în lucrarea sa a fost introdusă o teorie a învățabilului .

În acest cadru, unitatea de învățare primește exemple care sunt clasificate în funcție de o funcție specifică . Scopul instruirii este de a găsi o aproximare a acestei funcții cu o probabilitate mare . Se așteaptă ca unitatea de învățare să învețe conceptul cu orice rată de abordare , orice probabilitate de succes și orice distribuție de exemple.

definiție

Cadrul PAC permite o analiză matematică precisă a proceselor de învățare . fie spațiul de ipoteză finită . fie acuratețea dorită a clasificatorului generată de procesul de învățare pentru date nevăzute. fie probabilitatea ca procesul de învățare să nu poată genera un astfel de clasificator. Se aplică și . Pentru un proces de învățare consistent, exemplele de instruire sunt suficiente pentru a învăța un clasificator cu cerințele și . Cu alte cuvinte, exemplele de instruire sunt suficiente pentru a învăța cu probabilitatea unei probleme de învățare PAC, în așa fel încât să se obțină o rată de eroare maximă pe datele noi . Timpul de rulare până la ieșirea clasificatorului trebuie să fie polinomial în și . Căci este plătit ${\ displaystyle H}$${\ displaystyle \ epsilon}$${\ displaystyle \ delta}$${\ displaystyle 0 <\ epsilon <0,5}$${\ displaystyle 0 <\ delta <0,5}$${\ displaystyle m}$ ${\ displaystyle \ epsilon}$${\ displaystyle \ delta}$${\ displaystyle m}$${\ displaystyle 1- \ delta}$${\ displaystyle 1- \ epsilon}$${\ displaystyle {\ frac {1} {\ epsilon}}, {\ frac {1} {\ delta}}}$${\ displaystyle m}$${\ displaystyle m}$

${\ displaystyle m \ geq {\ frac {1} {\ epsilon}} \ left (\ ln (| H |) + \ ln \ left ({\ frac {1} {\ delta}} \ right) \ right) }$

Derivare

Estimarea pentru m este strâns legată de spațiul versiunii . Prin definiție, un proces de învățare consecvent scoate o ipoteză din spațiul versiunii. Orice ipoteză din spațiul versiunii este în concordanță cu datele de antrenament, dar poate face greșeli cu privire la datele nevăzute. Fii ipoteza care este mai probabil să facă o greșeală reală mai mare . O astfel de ipoteză este în concordanță cu probabilitatea cu un exemplu aleatoriu și cu probabilitatea cu m exemple. Dacă există cel puțin o astfel de ipoteză, atunci aceasta face parte din spațiul versiunii și ar putea fi prezentată ca ipoteză printr-un proces de învățare consistent. Limita superioară a probabilității ca o astfel de ipoteză să fie conținută în spațiul versiunii este limitată de . Aveți nevoie de o estimare în funcție de numărul de exemple de instruire. Se aplică . În cel puțin toate cazurile, conform cerinței de mai sus, nu ar trebui inclusă nicio ipoteză cu o eroare reală mai mare decât spațiul versiunii, adică H. . Aceasta urmează și are ca rezultat rezoluția pentru m ${\ displaystyle h_ {1}, \ ldots, h _ {\ ell}}$${\ displaystyle \ epsilon}$${\ displaystyle 1- \ epsilon}$${\ displaystyle (1- \ epsilon) ^ {m}}$${\ displaystyle \ ell (1- \ epsilon) ^ {m}}$${\ displaystyle \ ell (1- \ epsilon) ^ {m} \ leq | H | (1- \ epsilon) ^ {m} \ leq | H | e ^ {- \ epsilon m}}$${\ displaystyle 1- \ delta}$${\ displaystyle \ epsilon}$${\ displaystyle 1- | H | e ^ {- \ epsilon m}> 1- \ delta}$${\ displaystyle | H | e ^ {- \ epsilon m} \ leq \ delta}$

${\ displaystyle m \ geq {\ frac {1} {\ epsilon}} \ left (\ ln (| H |) + \ ln \ left ({\ frac {1} {\ delta}} \ right) \ right) }$.

Estimarea numărului de exemple necesare m este de obicei foarte dură și în practică sunt mai puține exemple. Acest model a fost extins pentru a trata zgomotul , adică exemple incorect clasificate.

acreditări

1. ^ LG Valiant: A Theory of the Learnable . În: Comunicări ale ACM . bandă 27 (11) , 1984, pp. 1134-1142 . [1] (PDF; 806 kB) 

literatură

• M. Kearns, U. Vazirani: O introducere în teoria învățării computaționale . MIT Press, 1994, ISBN 0-262-11193-4 . 
• Tom M. Mitchell: Învățarea automată . McGraw-Hill Education, 1997, ISBN 0-07-115467-1 .