Hladší jádro - Kernel smoother

Kernel hladší je statistická metoda pro odhad skutečné hodnotě funkci jako vážený průměr sousedního pozorovaných dat. Váha je definována jádrem, takže bližším bodům jsou přiřazeny vyšší váhy. Odhadovaná funkce je plynulá a úroveň hladkosti je nastavena jediným parametrem. ${\ displaystyle f: \ mathbb {R} ^ {p} \ to \ mathbb {R}}$

Tato technika je nejvhodnější, když je dimenze prediktoru nízká ( p  <3), například pro vizualizaci dat.

Definice

Dovolit být jádro definované ${\ displaystyle K_ {h _ {\ lambda}} (X_ {0}, X)}$

${\ displaystyle K_ {h _ {\ lambda}} (X_ {0}, X) = D \ left ({\ frac {\ left \ | X-X_ {0} \ right \ |} {h _ {\ lambda} ( X_ {0})}} \ vpravo)}$

kde:

• ${\ displaystyle X, X_ {0} \ in \ mathbb {R} ^ {p}}$
• ${\ displaystyle \ left \ | \ cdot \ right \ |}$ je euklidovská norma
• ${\ displaystyle h _ {\ lambda} (X_ {0})}$ je parametr (poloměr jádra)
• D ( t ) je obvykle pozitivní funkce se skutečnou hodnotou, jejíž hodnota klesá (nebo se nezvyšuje) pro rostoucí vzdálenost mezi X a X ₀ .

Mezi oblíbená jádra používaná k vyhlazení patří parabolická (Epanechnikov), Tricube a Gaussova jádra.

Nechť je spojitá funkce na X . Pro každý je Nadaraya-Watson průměr vážený jádrem (plynulý odhad Y ( X )) definován ${\ displaystyle Y (X): \ mathbb {R} ^ {p} \ to \ mathbb {R}}$${\ displaystyle X_ {0} \ in \ mathbb {R} ^ {p}}$

${\ displaystyle {\ hat {Y}} (X_ {0}) = {\ frac {\ sum \ limity _ {i = 1} ^ {N} {K_ {h _ {\ lambda}} (X_ {0}, X_ {i}) Y (X_ {i})}} {\ sum \ limits _ {i = 1} ^ {N} {K_ {h _ {\ lambda}} (X_ {0}, X_ {i})} }}}$

kde:

• N je počet pozorovaných bodů
• Y ( X _i ) jsou pozorování v bodech X _i .

V následujících částech popisujeme některé konkrétní případy vyhlazování jádra.

Gaussovo jádro hladší

Gaussian jádro je jedním z nejpoužívanějších jádra, a je vyjádřena následující rovnicí.

${\ displaystyle K (x ^ {*}, x_ {i}) = \ exp \ left (- {\ frac {(x ^ {*} - x_ {i}) ^ {2}} {2b ^ {2} }}\že jo)}$

Zde b je měřítko délky vstupního prostoru.

Nejbližší soused hladší

Myšlenka hladšího souseda je následující. Pro každý bod X ₀ vezměte m nejbližších sousedů a odhadněte hodnotu Y ( X ₀ ) zprůměrováním hodnot těchto sousedů.

Formálně, kde je m th nejblíže sousedovi X ₀ , a ${\ displaystyle h_ {m} (X_ {0}) = \ vlevo \ | X_ {0} -X _ {[m]} \ vpravo \ |}$${\ displaystyle X _ {[m]}}$

${\ displaystyle D (t) = {\ begin {cases} 1 / m & {\ text {if}} | t | \ leq 1 \\ 0 & {\ text {jinak}} \ end {cases}}}$

Příklad:

V tomto příkladu je X jednorozměrný. Pro každý X ₀ je je průměrná hodnota z 16 nejblíže k X ₀ bodů (označen červeně). Výsledek není dostatečně plynulý. ${\ displaystyle {\ hat {Y}} (X_ {0})}$

Průměr jádra hladší

Myšlenka průměrného plynulejšího jádra je následující. Pro každý datový bod X ₀ , zvolit velikost konstantní vzdálenost lambda (jádra poloměr, nebo šířku okna pro p  = 1 rozměr), a vypočítat vážený průměr pro všechny datové body, které jsou blíže než na X ₀ (blíže k X ₀ bodů získat vyšší váhy). ${\ displaystyle \ lambda}$

Formálně, a D ( t ), je jedním z populárních jader. ${\ displaystyle h _ {\ lambda} (X_ {0}) = \ lambda = {\ text {stálá}},}$

Příklad:

Pro každé X ₀ je šířka okna konstantní a váha každého bodu v okně je schematicky označena žlutým číslem v grafu. Je vidět, že odhad je plynulý, ale hraniční body jsou předpjaté. Důvodem je nerovný počet bodů (zprava a zleva na X ₀ ) v okně, když je X ₀ dostatečně blízko k hranici.

Lokální lineární regrese

Ve dvou předchozích částech jsme předpokládali, že podkladová funkce Y (X) je lokálně konstantní, proto jsme pro odhad mohli použít vážený průměr. Myšlenkou lokální lineární regrese je umístit lokálně přímku (nebo nadrovinu pro vyšší dimenze), a ne konstantu (vodorovná čára). Po přizpůsobení přímky je odhad poskytnut hodnotou této přímky v bodě X ₀ . Opakováním tohoto postupu pro každou X ₀ lze získat funkci odhadu . Stejně jako v předchozí části je šířka okna konstantní Formálně je lokální lineární regrese vypočítána řešením váženého problému nejmenších čtverců. ${\ displaystyle {\ hat {Y}} (X_ {0})}$${\ displaystyle {\ hat {Y}} (X)}$${\ displaystyle h _ {\ lambda} (X_ {0}) = \ lambda = {\ text {stálá}}.}$

Pro jednu dimenzi ( p = 1):

${\ displaystyle {\ begin {aligned} & \ min _ {\ alpha (X_ {0}), \ beta (X_ {0})} \ sum \ limity _ {i = 1} ^ {N} {K_ {h_ {\ lambda}} (X_ {0}, X_ {i}) \ left (Y (X_ {i}) - \ alpha (X_ {0}) - \ beta (X_ {0}) X_ {i} \ right ) ^ {2}} \\ & \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \ , \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \ ,\,\,\,\Šipka dolů \\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, \, \, \, \, \, \, {\ hat {Y}} (X_ {0}) = \ alpha (X_ {0}) + \ beta (X_ {0}) X_ {0} \\\ konec {zarovnáno}}}$

Řešení v uzavřené formě je dáno:

${\ displaystyle {\ hat {Y}} (X_ {0}) = \ left (1, X_ {0} \ right) \ left (B ^ {T} W (X_ {0}) B \ right) ^ { -1} B ^ {T} Z (X_ {0}) y}$

kde:

• ${\ displaystyle y = \ left (Y (X_ {1}), \ dots, Y (X_ {N}) \ right) ^ {T}}$
• ${\ displaystyle W (X_ {0}) = \ operatorname {diag} \ left (K_ {h _ {\ lambda}} (X_ {0}, X_ {i}) \ right) _ {N \ krát N}}$
• ${\ displaystyle B ^ {T} = \ left ({\ begin {matrix} 1 & 1 & \ dots & 1 \\ X_ {1} & X_ {2} & \ dots & X_ {N} \\\ end {matrix}} \ right) }$

Příklad:

Výsledná funkce je plynulá a problém se zkreslenými hraničními body je snížen.

Lokální lineární regrese může být aplikována na jakýkoli-dimenzionální prostor, ačkoli otázka toho, co je místní sousedství, se stává komplikovanější. K přizpůsobení místní lineární regrese je běžné použít k nejbližších tréninkových bodů k testovacímu bodu. To může vést k velké odchylce namontované funkce. Aby byla odchylka vázána, měla by sada tréninkových bodů obsahovat testovací bod v jejich konvexním trupu (viz odkaz Gupta et al.).

Lokální polynomiální regrese

Místo přizpůsobení lokálně lineárních funkcí lze použít polynomiální funkce.

Pro p = 1 by se mělo minimalizovat:

${\ displaystyle {\ underset {\ alpha (X_ {0}), \ beta _ {j} (X_ {0}), j = 1, ..., d} {\ mathop {\ min}}} \, \ sum \ limits _ {i = 1} ^ {N} {K_ {h _ {\ lambda}} (X_ {0}, X_ {i}) \ left (Y (X_ {i}) - \ alpha (X_ { 0}) - \ sum \ limits _ {j = 1} ^ {d} {\ beta _ {j} (X_ {0}) X_ {i} ^ {j}} \ vpravo) ^ {2}}}$

s ${\ displaystyle {\ hat {Y}} (X_ {0}) = \ alpha (X_ {0}) + \ sum \ limity _ {j = 1} ^ {d} {\ beta _ {j} (X_ { 0}) X_ {0} ^ {j}}}$

Obecně (p> 1) je třeba minimalizovat:

${\ displaystyle {\ begin {aligned} & {\ hat {\ beta}} (X_ {0}) = {\ underset {\ beta (X_ {0})} {\ mathop {\ arg \ min}}} \ , \ sum \ limits _ {i = 1} ^ {N} {K_ {h _ {\ lambda}} (X_ {0}, X_ {i}) \ left (Y (X_ {i}) - b (X_ { i}) ^ {T} \ beta (X_ {0}) \ vpravo)} ^ {2} \\ & b (X) = \ left ({\ begin {matrix} 1, & X_ {1}, & X_ {2} , ... & X_ {1} ^ {2}, & X_ {2} ^ {2}, ... & X_ {1} X_ {2} \, \, \, ... \\\ end {matrix}} \ right) \\ & {\ hat {Y}} (X_ {0}) = b (X_ {0}) ^ {T} {\ hat {\ beta}} (X_ {0}) \\\ end { zarovnaný}}}$

Viz také

• Savitzky – Golayův filtr
• Metody jádra
• Odhad hustoty jádra
• Místní regrese
• Jádrová regrese

Reference

• Li, Q. a JS Racine. Neparametrická ekonometrie: teorie a praxe . Princeton University Press, 2007, ISBN   0-691-12161-3 .
• T. Hastie, R. Tibshirani a J. Friedman, The Elements of Statistical Learning , Chapter 6, Springer, 2001. ISBN   0-387-95284-5 (stránky doprovodné knihy ).
• M. Gupta, E. Garcia a E. Chin, „Adaptivní lokální lineární regrese s aplikací na správu barev tiskárny“, IEEE Trans. Zpracování obrazu 2008.