Support -vektor maskine - Support-vector machine

I machine learning , support-vector maskiner ( SVMs , også støtte-vektor-netværk ) er overvågede læring modeller med tilhørende læring algoritmer , der analyserer data til klassificering og regressionsanalyse . Udviklet på AT&T Bell Laboratories af Vladimir Vapnik med kolleger (Boser et al., 1992, Guyon et al., 1993, Vapnik et al., 1997) SVM'er er en af de mest robuste forudsigelsesmetoder, der er baseret på statistiske læringsrammer eller VC teori foreslået af Vapnik (1982, 1995) og Chervonenkis (1974). I betragtning af et sæt træningseksempler, der hver især er markeret som tilhørende en af to kategorier, bygger en SVM-træningsalgoritme en model, der tildeler nye eksempler til den ene eller den anden kategori, hvilket gør den til en ikke- sandsynlig binær lineær klassifikator (selvom metoder som Platt skalering findes for at bruge SVM i en sandsynlighedsindstilling). SVM kortlægger træningseksempler til punkter i rummet for at maksimere bredden af afstanden mellem de to kategorier. Nye eksempler kortlægges derefter i det samme rum og forudsiges at tilhøre en kategori baseret på hvilken side af hullet de falder.

Ud over at udføre lineær klassificering , kan SVMs effektivt udføre en ikke-lineær klassificering ved hjælp af hvad der kaldes kerne trick , implicit kortlægge deres input i høj-dimensionelle funktion rum.

Når data er umærket, er overvåget læring ikke mulig, og der kræves en uovervåget indlæringsmetode , som forsøger at finde en naturlig klynge af data til grupper og derefter kortlægge nye data til disse dannede grupper. Den støtte-vektor clustering algoritme, skabt af Hava Siegelmann og Vladimir Vapnik gælder statistikkerne for support vektorer, der er udviklet i bæreren vektor maskiner algoritme, til at kategorisere umærkede data, og er en af de mest udbredte klyngedannelse algoritmer i industrielle anvendelser.

Motivering

H ₁ adskiller ikke klasserne. H ₂ gør, men kun med en lille margin. H ₃ adskiller dem med den maksimale margin.

Klassificering af data er en almindelig opgave inden for maskinlæring . Antag, at nogle givne datapunkter hver især tilhører en af to klasser, og målet er at bestemme, hvilken klasse et nyt datapunkt vil være i. I tilfælde af understøttelsesvektormaskiner ses et datapunkt som en -dimensionel vektor (en liste over tal), og vi vil vide, om vi kan adskille sådanne punkter med et -dimensionalt hyperplan . Dette kaldes en lineær klassifikator . Der er mange hyperplaner, der kan klassificere dataene. Et rimeligt valg som det bedste hyperplan er det, der repræsenterer den største adskillelse eller margin mellem de to klasser. Så vi vælger hyperplanet, så afstanden fra det til det nærmeste datapunkt på hver side maksimeres. Hvis der findes et sådant hyperplan, er det kendt som hypermargen for maksimalmargen, og den lineære klassifikator, det definerer, er kendt som en klassifikator for maksimalmargen ; eller ækvivalent, perceptronen for optimal stabilitet . ${\ displaystyle p}$ ${\ displaystyle p}$ ${\ displaystyle (p-1)}$

Definition

Mere formelt konstruerer en understøttelsesvektormaskine et hyperplan eller et sæt hyperplaner i et høj- eller uendeligt dimensionelt rum, som kan bruges til klassificering , regression eller andre opgaver som detektion af ekstreme højder. Intuitivt opnås en god adskillelse ved hjælp af det hyperplan, der har den største afstand til det nærmeste træningsdatapunkt i enhver klasse (såkaldt funktionsmargen), da jo større marginen er, jo lavere er generaliseringsfejlen i klassifikatoren.

Kernemaskine

Mens det oprindelige problem kan angives i et endeligt-dimensionelt rum, sker det ofte, at de sæt, der skal diskriminere, ikke er lineært adskillelige i dette rum. Af denne grund blev det foreslået, at det oprindelige endelige-dimensionelle rum blev kortlagt til et meget højere-dimensionelt rum, formentlig at gøre adskillelsen lettere i dette rum. For at holde beregningsbelastningen rimelig er de kortlægninger, der bruges af SVM -skemaer, designet til at sikre, at prikprodukter af par inputdatavektorer let kan beregnes med hensyn til variablerne i det originale rum ved at definere dem i form af en valgt kernefunktion der passer til problemet. Hyperplanerne i det højere dimensionelle rum er defineret som det sæt af punkter, hvis prikprodukt med en vektor i dette rum er konstant, hvor et sådant sæt vektorer er et ortogonalt (og dermed minimalt) sæt af vektorer, der definerer et hyperplan. De vektorer, der definerer hyperplanerne, kan vælges til at være lineære kombinationer med parametre for billeder af funktionsvektorer, der forekommer i databasen. Med dette valg af et hyperplan er punkterne i funktionsrummet, der er kortlagt til hyperplanet, defineret af forholdet Bemærk, at hvis det bliver lille, når det vokser længere væk fra , måler hvert udtryk i summen graden af nærhed af testpunktet til det tilsvarende databasepunkt . På denne måde kan summen af kerner ovenfor bruges til at måle den relative nærhed af hvert testpunkt til datapunkterne, der stammer fra det ene eller det andet sæt, der skal diskrimineres. Bemærk det faktum, at det sæt punkter, der er kortlagt til et hvilket som helst hyperplan, kan være ret krøllet som følge heraf, hvilket tillader meget mere kompleks diskrimination mellem sæt, der slet ikke er konvekse i det oprindelige rum. ${\ displaystyle k (x, y)}$ ${\ displaystyle \ alpha _ {i}}$ ${\ displaystyle x_ {i}}$ ${\ displaystyle x}$ ${\ displaystyle \ textstyle \ sum _ {i} \ alpha _ {i} k (x_ {i}, x) = {\ text {konstant}}.}$ ${\ displaystyle k (x, y)}$ ${\ displaystyle y}$ ${\ displaystyle x}$ ${\ displaystyle x}$ ${\ displaystyle x_ {i}}$ ${\ displaystyle x}$

Ansøgninger

SVM'er kan bruges til at løse forskellige virkelige problemer:

SVM'er er nyttige i tekst- og hypertekstkategorisering , da deres anvendelse betydeligt kan reducere behovet for mærkede træningsforekomster i både standard induktive og transduktive indstillinger. Nogle metoder til lav semantisk analyse er baseret på understøttelsesvektormaskiner.
Klassificering af billeder kan også udføres ved hjælp af SVM'er. Eksperimentelle resultater viser, at SVM'er opnår betydeligt højere søgenøjagtighed end traditionelle forespørgselsforfininger efter kun tre til fire runder med relevansfeedback. Dette gælder også for billedsegmenteringssystemer , herunder dem, der bruger en modificeret version SVM, der bruger den privilegerede tilgang som foreslået af Vapnik.
Klassificering af satellitdata som SAR -data ved hjælp af overvåget SVM.
Håndskrevne tegn kan genkendes ved hjælp af SVM.
SVM -algoritmen er blevet bredt anvendt i de biologiske og andre videnskaber. De er blevet brugt til at klassificere proteiner med op til 90% af forbindelserne klassificeret korrekt. Permutationstest baseret på SVM -vægte er blevet foreslået som en mekanisme til fortolkning af SVM -modeller. Support-vektor maskine vægte er også blevet brugt til at fortolke SVM modeller tidligere. Posthoc-fortolkning af understøttelsesvektormaskinemodeller for at identificere funktioner, som modellen bruger til at forudsige, er et relativt nyt forskningsområde med særlig betydning inden for de biologiske videnskaber.

Historie

Den originale SVM -algoritme blev opfundet af Vladimir N. Vapnik og Alexey Ya. Chervonenkis i 1963. I 1992 foreslog Bernhard Boser, Isabelle Guyon og Vladimir Vapnik en måde at skabe ikke-lineære klassifikatorer ved at anvende kernetricket på hyperplan med maksimalmargin. Den "bløde margin" inkarnation, som det er almindeligt anvendte softwarepakker, blev foreslået af Corinna Cortes og Vapnik i 1993 og udgivet i 1995.

Lineær SVM

Maksimalmargin hyperplan og margener for en SVM trænet med prøver fra to klasser. Prøver på margenen kaldes støttevektorer.

Vi får et træningsdatasæt med formularens punkter ${\ displaystyle n}$

{\ displaystyle (\ mathbf {x} _ {1}, y_ {1}), \ ldots, (\ mathbf {x} _ {n}, y_ {n}),}

hvor enten er 1 eller −1, der hver angiver den klasse, som punktet tilhører. Hver er en -dimensionel reel vektor. Vi ønsker at finde det "maksimalmargin-hyperplan", der deler den gruppe af punkter, for hvilke fra den gruppe af punkter , som er defineret således, at afstanden mellem hyperplanet og det nærmeste punkt fra hver gruppe maksimeres. ${\ displaystyle y_ {i}}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle p}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle y_ {i} = 1}$ ${\ displaystyle y_ {i} =-1}$ ${\ displaystyle \ mathbf {x} _ {i}}$

Ethvert hyperplan kan skrives som et sæt punkter, der tilfredsstiller ${\ displaystyle \ mathbf {x}}$

{\ displaystyle \ mathbf {w} ^{T} \ mathbf {x} -b = 0,}

hvor er den (ikke nødvendigvis normaliserede) normale vektor til hyperplanet. Dette ligner meget Hesse normal form , bortset fra at det ikke nødvendigvis er en enhedsvektor. Parameteren bestemmer forskydningen af hyperplanet fra oprindelsen langs den normale vektor . ${\ displaystyle \ mathbf {w}}$ ${\ displaystyle \ mathbf {w}}$ ${\ displaystyle {\ tfrac {b} {\ | \ mathbf {w} \ |}}}$ ${\ displaystyle \ mathbf {w}}$

Hård margin

Hvis træningsdataene er lineært adskillelige , kan vi vælge to parallelle hyperplaner, der adskiller de to dataklasser, så afstanden mellem dem er så stor som muligt. Regionen afgrænset af disse to hyperplaner kaldes "margen", og maksimalmargin-hyperplanet er det hyperplan, der ligger halvvejs imellem dem. Med et normaliseret eller standardiseret datasæt kan disse hyperplaner beskrives ved ligningerne

{\ displaystyle \ mathbf {w} ^{T} \ mathbf {x} -b = 1}

(alt på eller over denne grænse er af en klasse, med etiket 1)

og

{\ displaystyle \ mathbf {w} ^{T} \ mathbf {x} -b = -1}

(alt på eller under denne grænse er af den anden klasse med etiket −1).

Geometrisk er afstanden mellem disse to hyperplaner , så for at maksimere afstanden mellem flyene vil vi minimere . Afstanden beregnes ved hjælp af afstanden fra et punkt til en planligning. Vi skal også forhindre datapunkter i at falde ind i margenen, vi tilføjer følgende begrænsning: for hver af dem ${\ displaystyle {\ tfrac {2} {\ | \ mathbf {w} \ |}}}$ ${\ displaystyle \ | \ mathbf {w} \ |}$ ${\ displaystyle i}$

{\ displaystyle \ mathbf {w} ^{T} \ mathbf {x} _ {i} -b \ geq 1}

, hvis ,

{\ displaystyle y_ {i} = 1}

eller

{\ displaystyle \ mathbf {w} ^{T} \ mathbf {x} _ {i} -b \ leq -1}

, hvis .

{\ displaystyle y_ {i} =-1}

Disse begrænsninger angiver, at hvert datapunkt skal ligge på den korrekte side af margenen.

Dette kan omskrives som

{\ displaystyle y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ geq 1, \ quad {\ text {for alle}} 1 \ leq i \ leq n . \ qquad \ qquad (1)}

Vi kan sammensætte dette for at få optimeringsproblemet:

"Minimer emne til for ."

{\ displaystyle \ | \ mathbf {w} \ |}

{\ displaystyle y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ geq 1}

{\ displaystyle i = 1, \ ldots, n}

Den og som løser dette problem bestemmer vores klassifikator, hvor er tegnfunktionen . ${\ displaystyle \ mathbf {w}}$ ${\ displaystyle b}$ ${\ displaystyle \ mathbf {x} \ mapsto \ operatorname {sgn} (\ mathbf {w} ^{T} \ mathbf {x} -b)}$ ${\ displaystyle \ operatorname {sgn} (\ cdot)}$

En vigtig konsekvens af denne geometriske beskrivelse er, at max-margin-hyperplanet er fuldstændigt bestemt af dem, der ligger nærmest det. Disse kaldes støttevektorer . ${\ displaystyle {\ vec {x}} _ {i}}$ ${\ displaystyle \ mathbf {x} _ {i}}$

Soft-margin

For at udvide SVM til tilfælde, hvor dataene ikke er lineært adskillelige, er funktionen til tab af hængsler nyttig

{\ displaystyle \ max \ left (0,1-y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ right).}

Bemærk, at det er i -th -målet (dvs. i dette tilfælde 1 eller −1), og er i -th -output. ${\ displaystyle y_ {i}}$ ${\ displaystyle \ mathbf {w} ^{T} \ mathbf {x} _ {i} -b}$

Denne funktion er nul, hvis begrænsningen i (1) er opfyldt, med andre ord, hvis den ligger på den korrekte side af margenen. For data på den forkerte side af margenen er funktionens værdi proportional med afstanden fra margenen. ${\ displaystyle \ mathbf {x} _ {i}}$

Målet med optimeringen er så at minimere

{\ displaystyle \ lVert \ mathbf {w} \ rVert ^{2}+\ lambda \ venstre [{\ frac {1} {n}} \ sum _ {i = 1} ^{n} \ max \ venstre (0 , 1-y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ right) \ right],}

hvor parameteren bestemmer afvejningen mellem at øge marginalstørrelsen og sikre, at liggen ligger på den korrekte side af margenen. For tilstrækkeligt store værdier af vil den således opføre sig på samme måde som hard-margin SVM, hvis inputdataene er lineært klassificerbare, men stadig vil lære, om en klassificeringsregel er levedygtig eller ej. (Denne parameter kaldes også C, f.eks. I LIBSVM .) ${\ displaystyle \ lambda}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle \ lambda}$ ${\ displaystyle \ lambda}$

Ikke -lineær klassificering

Kernemaskine

Den originale maksimalmargin-hyperplanalgoritme, som Vapnik foreslog i 1963, konstruerede en lineær klassifikator . Men i 1992, Bernhard Boser , Isabelle Guyon og Vladimir Vapnik foreslog en måde at skabe ikke-lineære klassificører ved at anvende den kerne trick (oprindeligt foreslået af Aizerman et al.) Til maksimum-margin hyperplaner. Den resulterende algoritme er formelt ens, bortset fra at hvert punktprodukt erstattes af en ikke -lineær kernefunktion . Dette gør det muligt for algoritmen at passe til maksimalmargin-hyperplanet i et transformeret funktionsrum . Transformationen kan være ikke-lineær, og det transformerede rum er højdimensionelt; Selvom klassifikatoren er et hyperplan i det transformerede funktionsrum, kan det være ikke -lineært i det originale inputrum.

Det er bemærkelsesværdigt, at arbejde i et højere-dimensionelt funktionsrum øger generaliseringsfejlen i understøttelsesvektormaskiner, selvom algoritmen stadig er god, hvis den får nok prøver.

Nogle almindelige kerner omfatter:

Polynomial (homogen) : . ${\ displaystyle k ({\ vec {x_ {i}}}, {\ vec {x_ {j}}}) = ({\ vec {x_ {i}}} \ cdot {\ vec {x_ {j}} })^{d}}$
Polynomial (inhomogen): . ${\ displaystyle k ({\ vec {x_ {i}}}, {\ vec {x_ {j}}}) = ({\ vec {x_ {i}}} \ cdot {\ vec {x_ {j}} } +1)^{d}}$
Gaussisk radial basisfunktion : for . Nogle gange parametreret ved hjælp . ${\ displaystyle k ({\ vec {x_ {i}}}, {\ vec {x_ {j}}}) = \ exp (-\ gamma \ | {\ vec {x_ {i}}}-{\ vec {x_ {j}}} \ |^{2})}$ ${\ displaystyle \ gamma> 0}$ ${\ displaystyle \ gamma = 1/(2 \ sigma ^{2})}$
Hyperbolsk tangent : for nogle (ikke alle) og . ${\ displaystyle k ({\ vec {x_ {i}}}, {\ vec {x_ {j}}}) = \ tanh (\ kappa {\ vec {x_ {i}}} \ cdot {\ vec {x_ {j}}}+c)}$ ${\ displaystyle \ kappa> 0}$ ${\ displaystyle c <0}$

Kernen er relateret til transformationen ved hjælp af ligningen . Værdien w er også i det transformerede rum, med . Dot produkter med w for klassificering kan igen beregnes af kerne trick, dvs. . ${\ displaystyle \ varphi ({\ vec {x_ {i}}})}}$ ${\ displaystyle k ({\ vec {x_ {i}}}, {\ vec {x_ {j}}}) = \ varphi ({\ vec {x_ {i}}}) \ cdot \ varphi ({\ vec {x_ {j}}})}$ ${\ displaystyle \ textstyle {\ vec {w}} = \ sum _ {i} \ alpha _ {i} y_ {i} \ varphi ({\ vec {x}} _ {i})}$ ${\ displaystyle \ textstyle {\ vec {w}} \ cdot \ varphi ({\ vec {x}}) = \ sum _ {i} \ alpha _ {i} y_ {i} k ({\ vec {x} } _ {i}, {\ vec {x}})}$

Beregning af SVM -klassifikatoren

Beregning af (soft-margin) SVM-klassifikatoren svarer til at minimere et udtryk for formularen

{\ displaystyle \ left [{\ frac {1} {n}} \ sum _ {i = 1} ^{n} \ max \ left (0,1-y_ {i} (\ mathbf {w} ^{T } \ mathbf {x} _ {i} -b) \ right) \ right]+\ lambda \ | \ mathbf {w} \ |^{2}. \ qquad (2)}

Vi fokuserer på soft-margin-klassifikatoren, da, som nævnt ovenfor, vælger en tilstrækkelig lille værdi til giver hard-margin-klassifikatoren til lineært klassificerbare inputdata. Den klassiske tilgang, der indebærer at reducere (2) til et kvadratisk programmeringsproblem , er beskrevet detaljeret nedenfor. Derefter vil nyere tilgange som nedstigning i undergradient og koordinering af nedstigning blive diskuteret. ${\ displaystyle \ lambda}$

Primal

Minimering (2) kan omskrives som et begrænset optimeringsproblem med en differentierbar objektiv funktion på følgende måde.

For hver introducerer vi en variabel . Bemærk, at det er det mindste ikke -negative tal, der tilfredsstiller ${\ displaystyle i \ in \ {1, \, \ ldots, \, n \}}$ ${\ displaystyle \ zeta _ {i} = \ max \ left (0,1-y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ right)}$ ${\ displaystyle \ zeta _ {i}}$ ${\ displaystyle y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ geq 1- \ zeta _ {i}.}$

Således kan vi omskrive optimeringsproblemet som følger

{\ displaystyle {\ text {minimize}} {\ frac {1} {n}} \ sum _ {i = 1}^{n} \ zeta _ {i}+\ lambda \ | \ mathbf {w} \ | ^{2}}

{\ displaystyle {\ text {subject to}} y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ geq 1- \ zeta _ {i} \, { \ tekst {og}} \, \ zeta _ {i} \ geq 0, \, {\ tekst {for alle}} i.}

Dette kaldes det primære problem.

Dobbelt

Ved at løse for Lagrangian dual af ovenstående problem opnår man det forenklede problem

{\ displaystyle {\ tekst {maksimere}} \, \, f (c_ {1} \ ldots c_ {n}) = \ sum _ {i = 1}^{n} c_ {i}-{\ frac {1 } {2}} \ sum _ {i = 1}^{n} \ sum _ {j = 1}^{n} y_ {i} c_ {i} (\ mathbf {x} _ {i}^{T } \ mathbf {x} _ {j}) y_ {j} c_ {j},}

{\ displaystyle {\ text {subject to}} \ sum _ {i = 1}^{n} c_ {i} y_ {i} = 0, \, {\ text {og}} 0 \ leq c_ {i} \ leq {\ frac {1} {2n \ lambda}} \; {\ tekst {for alle}} i.}

Dette kaldes det dobbelte problem. Da problemet med dobbeltmaksimering er en kvadratisk funktion af subjektet for lineære begrænsninger, er det effektivt løseligt ved kvadratiske programmeringsalgoritmer . ${\ displaystyle c_ {i}}$

Her defineres variablerne således, at ${\ displaystyle c_ {i}}$

{\ displaystyle \ mathbf {w} = \ sum _ {i = 1}^{n} c_ {i} y_ {i} \ mathbf {x} _ {i}}

.

Desuden præcis når den ligger på den korrekte side af margenen, og når den ligger på margenens grænse. Det følger, der kan skrives som en lineær kombination af understøttelsesvektorerne. ${\ displaystyle c_ {i} = 0}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle 0 <c_ {i} <(2n \ lambda)^{-1}}$ ${\ displaystyle \ mathbf {x} _ {i}}$ ${\ displaystyle \ mathbf {w}}$

Forskydningen,, kan inddrives ved at finde en på margenens grænse og løse ${\ displaystyle b}$ ${\ displaystyle \ mathbf {x} _ {i}}$

{\ displaystyle y_ {i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) = 1 \ iff b = \ mathbf {w} ^{T} \ mathbf {x} _ {i} -y_ {i}.}

(Bemærk, at siden .) ${\ displaystyle y_ {i}^{-1} = y_ {i}}$ ${\ displaystyle y_ {i} = \ pm 1}$

Kernel trick

Et træningseksempel på SVM med kerne givet af φ (( a , b )) = ( a , b , a ² + b ² )

Antag nu, at vi gerne vil lære en ikke -lineær klassificeringsregel, der svarer til en lineær klassificeringsregel for de transformerede datapunkter. Desuden får vi en kernefunktion, der opfylder . ${\ displaystyle \ varphi (\ mathbf {x} _ {i}).}$ ${\ displaystyle k}$ ${\ displaystyle k (\ mathbf {x} _ {i}, \ mathbf {x} _ {j}) = \ varphi (\ mathbf {x} _ {i}) \ cdot \ varphi (\ mathbf {x} _ {j})}$

Vi ved, at klassificeringsvektoren i det transformerede rum opfylder ${\ displaystyle \ mathbf {w}}$

{\ displaystyle \ mathbf {w} = \ sum _ {i = 1}^{n} c_ {i} y_ {i} \ varphi (\ mathbf {x} _ {i}),}

hvor, de opnås ved at løse optimeringsproblemet ${\ displaystyle c_ {i}}$

{\ displaystyle {\ begin {align} {\ text {maximize}} \, \, f (c_ {1} \ ldots c_ {n}) & = \ sum _ {i = 1}^{n} c_ {i }-{\ frac {1} {2}} \ sum _ {i = 1}^{n} \ sum _ {j = 1}^{n} y_ {i} c_ {i} (\ varphi (\ mathbf {x} _ {i}) \ cdot \ varphi (\ mathbf {x} _ {j})) y_ {j} c_ {j} \\ & = \ sum _ {i = 1}^{n} c_ { i}-{\ frac {1} {2}} \ sum _ {i = 1}^{n} \ sum _ {j = 1}^{n} y_ {i} c_ {i} k (\ mathbf { x} _ {i}, \ mathbf {x} _ {j}) y_ {j} c_ {j} \\\ end {align}}}

{\ displaystyle {\ text {subject to}} \ sum _ {i = 1}^{n} c_ {i} y_ {i} = 0, \, {\ text {og}} 0 \ leq c_ {i} \ leq {\ frac {1} {2n \ lambda}} \; {\ tekst {for alle}} i.}

Koefficienterne kan løses for at bruge kvadratisk programmering, som før. Igen kan vi finde nogle indeks således at , så ligger på grænsen af margenen i den transformerede rum, og derefter løse ${\ displaystyle c_ {i}}$ ${\ displaystyle i}$ ${\ displaystyle 0 <c_ {i} <(2n \ lambda)^{-1}}$ ${\ displaystyle \ varphi (\ mathbf {x} _ {i})}$

{\ displaystyle {\ begin {align} b = \ mathbf {w} ^{T} \ varphi (\ mathbf {x} _ {i})-y_ {i} & = \ left [\ sum _ {j = 1 }^{n} c_ {j} y_ {j} \ varphi (\ mathbf {x} _ {j}) \ cdot \ varphi (\ mathbf {x} _ {i}) \ right] -y_ {i} \ \ & = \ venstre [\ sum _ {j = 1}^{n} c_ {j} y_ {j} k (\ mathbf {x} _ {j}, \ mathbf {x} _ {i}) \ højre ] -y_ {i}. \ end {align}}}

Endelig,

{\ displaystyle \ mathbf {z} \ mapsto \ operatorname {sgn} (\ mathbf {w} ^{T} \ varphi (\ mathbf {z}) -b) = \ operatorname {sgn} \ left (\ left [\ sum _ {i = 1}^{n} c_ {i} y_ {i} k (\ mathbf {x} _ {i}, \ mathbf {z}) \ right] -b \ right).}

Moderne metoder

Nylige algoritmer til at finde SVM-klassifikatoren inkluderer nedgradering af undergradient og koordinering af nedstigning. Begge teknikker har vist sig at give betydelige fordele i forhold til den traditionelle tilgang, når der skal håndteres store, sparsomme datasæt-metoder til undergradient er særlig effektive, når der er mange træningseksempler, og koordinerer nedstigning, når dimensionen af funktionsrummet er høj.

Undergradient nedstigning

Undergradient-nedstigningsalgoritmer til SVM fungerer direkte med udtrykket

{\ displaystyle f (\ mathbf {w}, b) = \ venstre [{\ frac {1} {n}} \ sum _ {i = 1}^{n} \ max \ left (0,1-y_ { i} (\ mathbf {w} ^{T} \ mathbf {x} _ {i} -b) \ right) \ right]+\ lambda \ | \ mathbf {w} \ | ^{2}.}

Bemærk, at det er en konveks funktion af og . Som sådan kan traditionelle gradient-nedstigningsmetoder (eller SGD ) tilpasses, hvor der i stedet for at tage et skridt i retning af funktionens gradient tages et skridt i retning af en vektor valgt fra funktionens undergradient . Denne tilgang har den fordel, at antallet af iterationer ikke skaleres med antallet af datapunkter for visse implementeringer . ${\ displaystyle f}$ ${\ displaystyle \ mathbf {w}}$ ${\ displaystyle b}$ ${\ displaystyle n}$

Koordinere nedstigning

Koordinere nedstigningsalgoritmer til SVM -arbejdet ud fra det dobbelte problem

{\ displaystyle {\ tekst {maksimere}} \, \, f (c_ {1} \ ldots c_ {n}) = \ sum _ {i = 1}^{n} c_ {i}-{\ frac {1 } {2}} \ sum _ {i = 1}^{n} \ sum _ {j = 1}^{n} y_ {i} c_ {i} (x_ {i} \ cdot x_ {j}) y_ {j} c_ {j},}

{\ displaystyle {\ text {subject to}} \ sum _ {i = 1}^{n} c_ {i} y_ {i} = 0, \, {\ text {og}} 0 \ leq c_ {i} \ leq {\ frac {1} {2n \ lambda}} \; {\ tekst {for alle}} i.}

For hver , iterativt, justeres koefficienten i retning af . Derefter projiceres den resulterende vektor af koefficienter på den nærmeste vektor af koefficienter, der opfylder de givne begrænsninger. (Normalt bruges euklidiske afstande.) Processen gentages derefter, indtil der opnås en næsten optimal vektor af koefficienter. Den resulterende algoritme er ekstremt hurtig i praksis, selvom få ydelsesgarantier er bevist. ${\ displaystyle i \ in \ {1, \, \ ldots, \, n \}}$ ${\ displaystyle c_ {i}}$ ${\ displaystyle \ delvis f/\ delvis c_ {i}}$ ${\ displaystyle (c_ {1} ', \, \ ldots, \, c_ {n}')}$

Empirisk risikominimering

Softvektorstøttevektormaskinen beskrevet ovenfor er et eksempel på en empirisk risikominimeringsalgoritme (ERM) for hængselstab . Set på denne måde tilhører understøttelsesvektormaskiner en naturlig klasse af algoritmer til statistisk inferens, og mange af dens unikke egenskaber skyldes adfærden ved hængselstabet. Dette perspektiv kan give yderligere indsigt i, hvordan og hvorfor SVM'er fungerer, og give os mulighed for bedre at analysere deres statistiske egenskaber.

Risikominimering

I supervised learning får man et sæt træningseksempler med etiketter og ønsker at forudsige givet . For at gøre dette én danner en hypotese , således, at er en "god" tilnærmelse af . En "god" tilnærmelse er normalt defineret ved hjælp af en tabsfunktion , som kendetegner hvor slemt er som en forudsigelse af . Vi vil så gerne vælge en hypotese, der minimerer den forventede risiko : ${\ displaystyle X_ {1} \ ldots X_ {n}}$ ${\ displaystyle y_ {1} \ ldots y_ {n}}$ ${\ displaystyle y_ {n+1}}$ ${\ displaystyle X_ {n+1}}$ ${\ displaystyle f}$ ${\ displaystyle f (X_ {n+1})}$ ${\ displaystyle y_ {n+1}}$ ${\ displaystyle \ ell (y, z)}$ ${\ displaystyle z}$ ${\ displaystyle y}$

{\ displaystyle \ varepsilon (f) = \ mathbb {E} \ venstre [\ ell (y_ {n+1}, f (X_ {n+1})) \ højre].}

I de fleste tilfælde kender vi ikke den fælles fordeling af direkte. I disse tilfælde er en fælles strategi at vælge den hypotese, der minimerer den empiriske risiko: ${\ displaystyle X_ {n+1}, \, y_ {n+1}}$

{\ displaystyle {\ hat {\ varepsilon}} (f) = {\ frac {1} {n}} \ sum _ {k = 1}^{n} \ ell (y_ {k}, f (X_ {k })).}

Under visse forudsætninger om sekvensen af tilfældige variabler (f.eks. At de genereres ved en endelig Markov -proces), hvis det sæt hypoteser, der overvejes, er lille nok, vil minimeren af den empiriske risiko tæt tilnærme minimeren af den forventede risiko som vokser sig stor. Denne tilgang kaldes empirisk risikominimering eller ERM. ${\ displaystyle X_ {k}, \, y_ {k}}$ ${\ displaystyle n}$

Regularisering og stabilitet

For at minimeringsproblemet skal have en veldefineret løsning, er vi nødt til at lægge begrænsninger på det sæt hypoteser, der overvejes. Hvis er et normeret rum (som det er tilfældet for SVM), er en særlig effektiv teknik kun at overveje de hypoteser, hvortil . Dette svarer til at pålægge en reguleringsstraf og løse det nye optimeringsproblem ${\ displaystyle {\ mathcal {H}}}$ ${\ displaystyle {\ mathcal {H}}}$ ${\ displaystyle f}$ ${\ displaystyle \ lVert f \ rVert _ {\ mathcal {H}} <k}$ ${\ displaystyle {\ mathcal {R}} (f) = \ lambda _ {k} \ lVert f \ rVert _ {\ mathcal {H}}}$

{\ displaystyle {\ hat {f}} = \ mathrm {arg} \ min _ {f \ in {\ mathcal {H}}} {\ hat {\ varepsilon}} (f)+{\ mathcal {R}} (f).}

Denne fremgangsmåde kaldes Tikhonov -regulering .

Mere generelt kan være et mål for kompleksiteten af hypotesen , så enklere hypoteser foretrækkes. ${\ displaystyle {\ mathcal {R}} (f)}$ ${\ displaystyle f}$

SVM og hængselstabet

Husk på, at (soft-margin) SVM-klassifikatoren er valgt for at minimere følgende udtryk: ${\ displaystyle {\ hat {\ mathbf {w}}}, b: \ mathbf {x} \ mapsto \ operatorname {sgn} ({\ hat {\ mathbf {w}}}^{T} \ mathbf {x} -b)}$

{\ displaystyle \ left [{\ frac {1} {n}} \ sum _ {i = 1} ^{n} \ max \ left (0,1-y_ {i} (\ mathbf {w} ^{T } \ mathbf {x} -b) \ right) \ right]+\ lambda \ | \ mathbf {w} \ |^{2}.}

I lyset af ovenstående diskussion ser vi, at SVM -teknikken svarer til empirisk risikominimering med Tikhonov -regulering, hvor tabsfunktionen i dette tilfælde er hængseltabet

{\ displaystyle \ ell (y, z) = \ max \ left (0,1-yz \ right).}

Fra dette perspektiv er SVM tæt forbundet med andre grundlæggende klassificeringsalgoritmer, såsom regulerede mindste kvadrater og logistisk regression . Forskellen mellem de tre ligger i valget af tabsfunktion: legaliseret mindste kvadraters udgør empirisk risikominimering med den firkantede-tab , ; logistisk regression anvender log-tab , ${\ displaystyle \ ell _ {sq} (y, z) = (yz)^{2}}$

{\ displaystyle \ ell _ {\ log} (y, z) = \ ln (1+e^{-yz}).}

Målfunktioner

Forskellen mellem hængselstabet og disse andre tabsfunktioner angives bedst med hensyn til målfunktioner - den funktion, der minimerer forventet risiko for et givet par tilfældige variabler . ${\ displaystyle X, \, y}$

Lad især betegne betinget af, at begivenheden, at . I klassifikationsindstillingen har vi: ${\ displaystyle y_ {x}}$ ${\ displaystyle y}$ ${\ displaystyle X = x}$

{\ displaystyle y_ {x} = {\ begin {cases} 1 & {\ text {med sandsynlighed}} p_ {x} \\-1 & {\ text {med sandsynlighed}} 1-p_ {x} \ end {cases} }}

Den optimale klassificering er derfor:

{\ displaystyle f^{*} (x) = {\ begin {cases} 1 & {\ text {if}} p_ {x} \ geq 1/2 \\-1 & {\ text {ellers}} \ end {cases }}}

For det firkantede tab, target funktion er den betingede forventning funktion, ; For den logistiske tab, det er logit-funktionen, . Selvom begge disse målfunktioner giver den korrekte klassifikator, giver de os mere information, end vi har brug for. Faktisk giver de os nok oplysninger til fuldstændigt at beskrive fordelingen af . ${\ displaystyle f_ {sq} (x) = \ mathbb {E} \ venstre [y_ {x} \ højre]}$ ${\ displaystyle f _ {\ log} (x) = \ ln \ venstre (p_ {x}/({1-p_ {x}}) \ højre)}$ ${\ displaystyle \ operatorname {sgn} (f_ {sq}) = \ operatorname {sgn} (f _ {\ log}) = f^{*}}$ ${\ displaystyle y_ {x}}$

På den anden side kan man kontrollere, at målfunktionen for hængsletabet er præcis . Således vil SVM -klassifikatoren konvergere til den enkleste funktion (i form af ), der korrekt klassificerer dataene , i et tilstrækkeligt rigt hypoteserum - eller tilsvarende for en passende valgt kerne . Dette udvider den geometriske fortolkning af SVM-for lineær klassificering minimeres den empiriske risiko af enhver funktion, hvis margener ligger mellem understøttelsesvektorerne, og den enkleste af disse er max-margin klassifikatoren. ${\ displaystyle f^{*}}$ ${\ displaystyle {\ mathcal {R}}}$

Ejendomme

SVM'er tilhører en familie af generaliserede lineære klassifikatorer og kan tolkes som en forlængelse af perceptronen . De kan også betragtes som et særligt tilfælde af Tikhonov -regulering . En særlig egenskab er, at de samtidig minimerer den empiriske klassifikationsfejl og maksimerer den geometriske margen ; dermed de er også kendt som maksimale margin klassificører .

En sammenligning af SVM med andre klassifikatorer er foretaget af Meyer, Leisch og Hornik.

Valg af parameter

Effektiviteten af SVM afhænger af valget af kerne, kernens parametre og parameteren soft margin . Et almindeligt valg er en gaussisk kerne, som har en enkelt parameter . Den bedste kombination af og vælges ofte ved en gittersøgning med eksponentielt voksende sekvenser af og for eksempel ; . Typisk kontrolleres hver kombination af parametervalg ved hjælp af krydsvalidering , og parametrene med den bedste krydsvalideringsnøjagtighed vælges. Alternativt kan nyere arbejde med bayesisk optimering bruges til at vælge og ofte kræve evaluering af langt færre parameterkombinationer end gittersøgning. Den endelige model, der bruges til test og til klassificering af nye data, trænes derefter i hele træningssættet ved hjælp af de valgte parametre. ${\ displaystyle \ lambda}$ ${\ displaystyle \ gamma}$ ${\ displaystyle \ lambda}$ ${\ displaystyle \ gamma}$ ${\ displaystyle \ lambda}$ ${\ displaystyle \ gamma}$ ${\ displaystyle \ lambda \ in \ {2^{-5}, 2^{-3}, \ dots, 2^{13}, 2^{15} \}}$ ${\ displaystyle \ gamma \ in \ {2^{-15}, 2^{-13}, \ dots, 2^{1}, 2^{3} \}}$ ${\ displaystyle \ lambda}$ ${\ displaystyle \ gamma}$

Problemer

Potentielle ulemper ved SVM omfatter følgende aspekter:

Kræver fuld mærkning af inputdata
Ukalibrerede klassemedlemskabssandsynligheder —SVM stammer fra Vapniks teori, der undgår at estimere sandsynligheder på endelige data
SVM er kun direkte anvendelig til opgaver i to klasser. Derfor skal algoritmer, der reducerer multi-class opgaven til flere binære problemer, anvendes; se SVM- sektionen i flere klasser .
Parametre for en løst model er svære at fortolke.

Udvidelser

Support-vector clustering (SVC)

SVC er en lignende metode, der også bygger på kernefunktioner, men er egnet til uovervåget læring. Det betragtes som en grundlæggende metode inden for datavidenskab .

SVM i flere klasser

Multiclass SVM sigter mod at tildele etiketter til instanser ved hjælp af understøttelsesvektormaskiner, hvor etiketterne er trukket fra et begrænset sæt af flere elementer.

Den dominerende tilgang til at gøre det er at reducere det enkelt multiklasse problem til flere binære klassificeringsproblemer . Almindelige metoder til en sådan reduktion omfatter:

Bygger binære klassifikatorer, der skelner mellem en af etiketterne og resten ( en-mod-alle ) eller mellem hvert par af klasser ( en-mod-en ). Klassificering af nye forekomster i en-mod-alle-sagen udføres ved en strategi for vinder-tager-alt, hvor klassifikatoren med funktionen med den højeste output tildeler klassen (det er vigtigt, at outputfunktionerne kalibreres for at producere sammenlignelige scores ). For en-mod-en-fremgangsmåden foretages klassificering ved en maks-vinder-afstemningsstrategi, hvor hver klassifikator tildeler instansen til en af de to klasser, derefter øges afstemningen til den tildelte klasse med en stemme, og til sidst klasse med flest stemmer afgør instansklassificeringen.
Rettet acyklisk graf SVM (DAGSVM)
Fejlkorrigerende outputkoder

Crammer og Singer foreslog en SVM -metode i flere klasser, der kaster multiklassificeringsproblemet ind i et enkelt optimeringsproblem i stedet for at dekomponere det i flere binære klassificeringsproblemer. Se også Lee, Lin og Wahba og Van den Burg og Groenen.

Transduktive support-vektormaskiner

Transduktive supportvektormaskiner udvider SVM'er ved, at de også kunne behandle delvist mærkede data i semi-superviseret læring ved at følge principperne for transduktion . Her får eleven udover træningssættet også et sæt ${\ displaystyle {\ mathcal {D}}}$

{\ displaystyle {\ mathcal {D}}^{\ star} = \ {{\ vec {x}} _ {i}^{\ star} \ mid {\ vec {x}} _ {i}^{\ stjerne} \ i \ mathbb {R} ^{p} \} _ {i = 1} ^{k}}

af testeksempler, der skal klassificeres. Formelt defineres en transduktiv støttevektormaskine af følgende primaloptimeringsproblem:

Minimer (in ) ${\ displaystyle {{\ vec {w}}, b, {\ vec {y^{\ star}}}}}}$

{\ displaystyle {\ frac {1} {2}} \ | {\ vec {w}} \ |^{2}}

underlagt (for enhver og enhver ) ${\ displaystyle i = 1, \ prikker, n}$ ${\ displaystyle j = 1, \ prikker, k}$

{\ displaystyle y_ {i} ({\ vec {w}} \ cdot {\ vec {x_ {i}}}-b) \ geq 1,}

{\ displaystyle y_ {j}^{\ star} ({\ vec {w}} \ cdot {\ vec {x_ {j}^{\ star}}}-b) \ geq 1,}

og

{\ displaystyle y_ {j}^{\ star} \ in \ {-1,1 \}.}

Transduktive støttevektormaskiner blev introduceret af Vladimir N. Vapnik i 1998.

Struktureret SVM

SVM'er er blevet generaliseret til strukturerede SVM'er , hvor etiketrummet er struktureret og muligvis uendeligt stort.

Regression

Support-vektor regression (forudsigelse) med forskellige tærskler ε . Når ε stiger, bliver forudsigelsen mindre følsom over for fejl.

En version af SVM til regression blev foreslået i 1996 af Vladimir N. Vapnik , Harris Drucker, Christopher JC Burges, Linda Kaufman og Alexander J. Smola. Denne metode kaldes support-vector regression (SVR). Modellen produceret ved støtte-vektor klassificering (som beskrevet ovenfor) afhænger kun af et undersæt af træningsdata, fordi omkostningsfunktionen til at bygge modellen ikke er ligeglad med træningspunkter, der ligger ud over margenen. Analogt afhænger modellen produceret af SVR kun af et undersæt af træningsdataene, fordi omkostningsfunktionen til at bygge modellen ignorerer alle træningsdata tæt på modelforudsigelsen. En anden SVM-version kendt som mindste-firkanter support-vektor maskine (LS-SVM) er blevet foreslået af Suykens og Vandewalle.

At træne den originale SVR betyder at løse

minimere

{\ displaystyle {\ frac {1} {2}} \ | w \ |^{2}}

underlagt

{\ displaystyle | y_ {i} -\ langle w, x_ {i} \ rangle -b | \ leq \ varepsilon}

hvor er en træningsprøve med målværdi . Det indre produkt plus aflytning er forudsigelsen for den pågældende prøve og er en gratis parameter, der fungerer som en tærskel: alle forudsigelser skal ligge inden for et område af de sande forudsigelser. Slap variabler tilføjes normalt til ovenstående for at tillade fejl og for at tillade tilnærmelse i tilfælde af, at ovenstående problem er umuligt. ${\ displaystyle x_ {i}}$ ${\ displaystyle y_ {i}}$ ${\ displaystyle \ langle w, x_ {i} \ rangle +b}$ ${\ displaystyle \ varepsilon}$ ${\ displaystyle \ varepsilon}$

Bayesiansk SVM

I 2011 blev det vist af Polson og Scott, at SVM indrømmer en bayesiansk fortolkning gennem teknikken til dataforstørrelse . I denne tilgang ses SVM som en grafisk model (hvor parametrene er forbundet via sandsynlighedsfordelinger). Denne udvidede visning tillader anvendelse af bayesiske teknikker til SVM'er, såsom fleksibel funktionsmodellering, automatisk hyperparameterindstilling og forudsigelig usikkerhedskvantificering . For nylig blev en skalerbar version af Bayesian SVM udviklet af Florian Wenzel , der muliggjorde anvendelse af Bayesian SVM'er på big data . Florian Wenzel udviklede to forskellige versioner, en variation inference (VI) ordning for Bayesian kernel support vector machine (SVM) og en stokastisk version (SVI) for den lineære Bayesian SVM.

Implementering

Parametrene for maksimalmargin-hyperplanet er afledt ved at løse optimeringen. Der findes flere specialiserede algoritmer til hurtigt at løse det kvadratiske programmeringsproblem (QP), der opstår fra SVM'er, mest afhængige af heuristik til at opdele problemet i mindre, mere håndterbare bidder.

En anden tilgang er at bruge en interiør -punkt metode, der bruger Newton -lignende iterationer til at finde en løsning på Karush -Kuhn -Tucker betingelserne for de primære og dobbelte problemer. I stedet for at løse en række nedbrudte problemer løser denne tilgang problemet helt og holdent. For at undgå at løse et lineært system, der involverer den store kernematrix, bruges der ofte en lav tilnærmelse til matrixen i kernetricket.

En anden almindelig metode er Platt's sekventielle minimal optimering (SMO) algoritme, der opdeler problemet i 2-dimensionelle delproblemer, der løses analytisk, hvilket eliminerer behovet for en numerisk optimeringsalgoritme og matrixlagring. Denne algoritme er konceptuelt enkel, let at implementere, generelt hurtigere og har bedre skaleringsegenskaber til vanskelige SVM -problemer.

Specialtilfældet med lineære understøttelsesvektormaskiner kan løses mere effektivt med den samme slags algoritmer, der bruges til at optimere sin nære fætter, logistisk regression ; denne klasse af algoritmer inkluderer nedgradering af sub-gradient (f.eks. PEGASOS) og koordinatnedstigning (f.eks. LIBLINEAR). LIBLINEAR har nogle attraktive træningstidsegenskaber. Hver konvergens-iteration tager tid lineær i den tid, det tager at læse togdataene, og iterationerne har også en Q-lineær konvergensegenskab , hvilket gør algoritmen ekstremt hurtig.

De generelle kernel SVM'er kan også løses mere effektivt ved hjælp af sub-gradient nedstigning (f.eks. P-packSVM), især når parallelisering er tilladt.

Kernel SVM'er er tilgængelige i mange værktøjer til maskinlæring , herunder LIBSVM , MATLAB , SAS , SVMlight, kernlab , scikit-learn , Shogun , Weka , Shark , JKernelMachines , OpenCV og andre.

Forbehandling af data (standardisering) anbefales stærkt for at forbedre klassificeringens nøjagtighed. Der er et par metoder til standardisering, såsom min-max, normalisering ved decimalskala, Z-score. Subtraktion af middelværdi og division efter varians for hver funktion bruges normalt til SVM.

Se også

In situ adaptiv tabulering
Kernemaskiner
Fiskekerne
Platt skalering
Polynomisk kerne
Prediktiv analyse
Regulariseringsperspektiver på support-vektormaskiner
Relevansvektormaskine , en probabilistisk sparsom kernemodel identisk i funktionel form med SVM
Sekventiel minimal optimering
Rumkortlægning
Winnow (algoritme)

Referencer

Yderligere læsning

Bennett, Kristin P .; Campbell, Colin (2000). "Understøtter vektormaskiner: Hype eller Hallelujah?" (PDF) . SIGKDD Undersøgelser . 2 (2): 1–13. doi : 10.1145/380995.380999 . S2CID 207753020 .
Cristianini, Nello; Shawe-Taylor, John (2000). En introduktion til understøttelse af vektormaskiner og andre kernebaserede læringsmetoder . Cambridge University Press. ISBN 0-521-78019-5.
Fradkin, Dmitriy; Muchnik, Ilya (2006). "Understøtt vektormaskiner til klassificering" (PDF) . I Abello, J .; Carmode, G. (red.). Diskrete metoder i epidemiologi . DIMACS -serien i diskret matematik og teoretisk datalogi. 70 . s. 13–20.
Ivanciuc, Ovidiu (2007). "Anvendelser af understøttelsesvektormaskiner i kemi" (PDF) . Anmeldelser i Computational Chemistry . 23 : 291–400. doi : 10.1002/9780470116449.ch6 . ISBN 9780470116449.
James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert (2013). "Understøtt vektormaskiner" (PDF) . En introduktion til statistisk Learning: med anvendelser i R . New York: Springer. s. 337–372. ISBN 978-1-4614-7137-0.
Schölkopf, Bernhard; Smola, Alexander J. (2002). Læring med kerner . Cambridge, MA: MIT Press. ISBN 0-262-19475-9.
Steinwart, Ingo; Christmann, Andreas (2008). Understøtt vektormaskiner . New York: Springer. ISBN 978-0-387-77241-7.
Theodoridis, Sergios; Koutroumbas, Konstantinos (2009). Mønstergenkendelse (4. udgave). Academic Press. ISBN 978-1-59749-272-0.

eksterne links

libsvm , LIBSVM er et populært bibliotek af SVM -elever
liblinear er et bibliotek til stor lineær klassificering, herunder nogle SVM'er
SVM light er en samling software -værktøjer til læring og klassificering ved hjælp af SVM
SVMJS live demo er en GUI -demo til JavaScript -implementering af SVM'er

Languages

In other projects