Tabsfunktion - Loss function

I matematisk optimering og beslutningsteori er en tabsfunktion eller omkostningsfunktion (undertiden også kaldet en fejlfunktion ) en funktion, der kortlægger en begivenhed eller værdier af en eller flere variabler til et reelt tal, der intuitivt repræsenterer nogle "omkostninger" forbundet med begivenheden. Et optimeringsproblem søger at minimere en tabsfunktion. En objektiv funktion er enten en tabsfunktion eller dens modsætning (i bestemte domæner, kaldet forskelligt en belønningsfunktion , en profitfunktion , en nyttefunktion , en fitnessfunktion osv.), I hvilket tilfælde den skal maksimeres.

I statistik bruges typisk en tabsfunktion til parameterestimering , og den pågældende hændelse er en funktion af forskellen mellem estimerede og sande værdier for en forekomst af data. Konceptet, lige så gammelt som Laplace , blev genindført i statistik af Abraham Wald i midten af ​​det 20. århundrede. I forbindelse med økonomi er dette for eksempel normalt økonomiske omkostninger eller beklagelse . I klassificering er det straffen for en forkert klassificering af et eksempel. I aktuarmæssig videnskab bruges det i forsikringssammenhæng til at modellere fordele betalt over præmier, især siden Harald Cramérs værker i 1920'erne. Ved optimal kontrol er tabet straffen for ikke at opnå en ønsket værdi. I økonomisk risikostyring kortlægges funktionen til et monetært tab.

Eksempler

Fortryde

Leonard J. Savage hævdede, at ved brug af ikke-bayesianske metoder som minimax skulle tabsfunktionen være baseret på tanken om beklagelse , dvs. at tabet i forbindelse med en beslutning skulle være forskellen mellem konsekvenserne af den bedste beslutning, der kunne have været truffet, hvis de underliggende omstændigheder var kendt, og den beslutning, der faktisk blev taget, før de blev kendt.

Kvadratisk tabsfunktion

Brugen af ​​en kvadratisk tabsfunktion er almindelig, for eksempel ved brug af teknikker med mindst kvadrater . Det er ofte mere matematisk overførbart end andre tabsfunktioner på grund af egenskaberne ved afvigelser , samt at det er symmetrisk: en fejl over målet forårsager det samme tab som den samme fejlstørrelse under målet. Hvis målet er t , er en kvadratisk tabsfunktion

${\ displaystyle \ lambda (x) = C (tx)^{2} \;}$

for nogle konstante C ; værdien af ​​konstanten gør ingen forskel for en beslutning og kan ignoreres ved at sætte den lig med 1.

Mange almindelige statistikker , herunder t-tests , regressionsmodeller , design af eksperimenter og meget andet, anvender metoder til mindste kvadrater anvendt ved hjælp af lineær regressionsteori , som er baseret på den kvadratiske tabsfunktion.

Den kvadratiske tabsfunktion bruges også i lineære-kvadratiske optimale kontrolproblemer . I disse problemer, selv i mangel af usikkerhed, er det muligvis ikke muligt at opnå de ønskede værdier for alle målvariabler. Ofte udtrykkes tab som en kvadratisk form i afvigelserne af variablerne af interesse fra deres ønskede værdier; denne fremgangsmåde kan behandles, fordi den resulterer i lineære førsteordensbetingelser . I forbindelse med stokastisk kontrol bruges den forventede værdi af den kvadratiske form.

0-1 tabsfunktion

I statistik og beslutningsteori er en ofte brugt tabsfunktion 0-1 tabsfunktionen

${\ displaystyle L ({\ hat {y}}, y) = I ({\ hat {y}} \ neq y), \,}$

hvor er indikatorfunktionen . ${\ displaystyle I}$

Konstruktion af tab og objektive funktioner

I mange applikationer bestemmes objektive funktioner, herunder tabsfunktioner som et bestemt tilfælde, af problemformuleringen. I andre situationer skal beslutningstagerens præference fremkaldes og repræsenteres af en skalærværdiget funktion (kaldet også nyttefunktion ) i en form, der er egnet til optimering-det problem, Ragnar Frisch har fremhævet i sit nobelprisforedrag. De eksisterende metoder til konstruktion af objektive funktioner er indsamlet under to særlige konferencer. Især viste Andranik Tangian , at de mest anvendelige objektfunktioner - kvadratisk og additiv - bestemmes af et par ligegyldighedspunkter. Han brugte denne egenskab i modellerne til at konstruere disse objektive funktioner ud fra enten ordinal- eller kardinaldata , der blev fremkaldt gennem computerassisterede interviews med beslutningstagere. Blandt andet konstruerede han objektive funktioner til optimalt at fordele budgetter for 16 vestfalske universiteter og de europæiske tilskud til udligning af arbejdsløshed blandt 271 tyske regioner.

Forventet tab

I nogle sammenhænge, at værdien af selve tabet funktion er en tilfældig mængde, fordi det afhænger af resultatet af en stokastisk variabel X .

Statistikker

Både hyppig og Bayesiansk statistisk teori involverer at træffe en beslutning baseret på den forventede værdi af tabsfunktionen; denne mængde er imidlertid defineret forskelligt under de to paradigmer.

Hyppigt forventet tab

Vi definerer først det forventede tab i den hyppige sammenhæng. Den opnås ved at tage den forventede værdi i forhold til sandsynlighedsfordeling P _θ , af de observerede data, X . Dette er også nævnt som den risiko funktion af afgørelsen regel δ og parameteren θ . Her beslutningen regel afhænger af resultatet af X . Risikofunktionen er givet ved:

${\ displaystyle R (\ theta, \ delta) = \ operatorname {E} _ {\ theta} L {\ big (} \ theta, \ delta (X) {\ big)} = \ int _ {X} L { \ big (} \ theta, \ delta (x) {\ big)} \, \ mathrm {d} P _ {\ theta} (x).}$

Her er θ en fast, men muligvis ukendt naturtilstand, X er en vektor af observationer stokastisk trukket fra en befolkning , er forventningen over alle befolkningsværdier for X , dP _θ er et sandsynlighedsmål over X -hændelsesrummet (parametriseret af  θ ), og integralet vurderes over hele støtte af  X . ${\ displaystyle \ operatorname {E} _ {\ theta}}$

Bayesiansk forventet tab

I en bayesisk tilgang beregnes forventningen ved hjælp af den posteriore fordeling π ^* af parameteren  θ :

${\ displaystyle \ rho (\ pi ^{*}, a) = \ int _ {\ Theta} L (\ theta, a) \, \ mathrm {d} \ pi ^{*} (\ theta).}$

Man bør derefter vælge handlingen a ^*, der minimerer det forventede tab. Selvom dette vil resultere i at vælge den samme handling, som man ville vælge ved hjælp af den hyppige risiko, er vægten i den bayesianske tilgang, at man kun er interesseret i at vælge den optimale handling under de faktiske observerede data, hvorimod man vælger den faktiske hyppige optimale beslutningsregel, som er en funktion af alle mulige observationer, er et meget vanskeligere problem.

Eksempler i statistik

• For en skalarparameter θ , en beslutningsfunktion, hvis output er et estimat på  θ , og en kvadratisk tabsfunktion ( kvadratisk fejltab )${\ displaystyle {\ hat {\ theta}}}$

${\ displaystyle L (\ theta, {\ hat {\ theta}}) = (\ theta -{\ hat {\ theta}})^{2},}$

risikofunktionen bliver estimatets gennemsnitlige kvadratfejl ,

${\ displaystyle R (\ theta, {\ hat {\ theta}}) = \ operatorname {E} _ {\ theta} (\ theta -{\ hat {\ theta}})^{2}.}$

• I tæthedsestimering er den ukendte parameter sandsynlighedstætheden selv. Tabsfunktionen vælges typisk til at være en norm i et passende funktionsrum . For eksempel for L ² -norm ,

${\ displaystyle L (f, {\ hat {f}}) = \ | f-{\ hat {f}} \ | _ {2}^{2} \ ,,}$

risikofunktionen bliver den gennemsnitlige integrerede kvadratfejl

${\ displaystyle R (f, {\ hat {f}}) = \ operatorname {E} \ | f-{\ hat {f}} \ |^{2}. \,}$

Økonomisk valg under usikkerhed

I økonomi modelleres beslutningstagning under usikkerhed ofte ved hjælp af von Neumann-Morgenstern-hjælpefunktionen af den usikre variabel af interesse, såsom formue ved udgangen af ​​perioden. Da værdien af ​​denne variabel er usikker, så er værdien af ​​nyttefunktionen; det er den forventede værdi af nytteværdien, der maksimeres.

Beslutningsregler

En beslutningsregel træffer et valg ved hjælp af et optimitetskriterium. Nogle almindeligt anvendte kriterier er:

• Minimax : Vælg beslutningsreglen med det laveste værste tab-det vil sige minimere det værst tænkelige (maksimalt mulige) tab:

${\ displaystyle {\ underset {\ delta} {\ operatorname {arg \, min}}} \ \ max _ {\ theta \ in \ Theta} \ R (\ theta, \ delta).}$

• Invariance : Vælg den optimale beslutningsregel, der opfylder et ufravigeligt krav.
• Vælg beslutningsreglen med det laveste gennemsnitlige tab (dvs. minimer den forventede værdi af tabsfunktionen):

${\ displaystyle {\ underset {\ delta} {\ operatorname {arg \, min}}} \ operatorname {E} _ {\ theta \ in \ Theta} [R (\ theta, \ delta)] = {\ underset { \ delta} {\ operatorname {arg \, min}}} \ \ int _ {\ theta \ in \ Theta} R (\ theta, \ delta) \, p (\ theta) \, d \ theta.}$

Valg af tabsfunktion

God statistisk praksis kræver, at man vælger en estimator, der stemmer overens med den faktiske acceptable variation, der opleves i forbindelse med et bestemt anvendt problem. I den anvendte brug af tabsfunktioner afhænger valg af, hvilken statistisk metode der skal bruges til at modellere et anvendt problem, således ved at kende de tab, der vil opleves ved at være forkert under problemets særlige omstændigheder.

Et almindeligt eksempel indebærer estimering af " placering ". Under typiske statistiske forudsætninger er middelværdien eller gennemsnittet statistikken til estimering af placering, der minimerer det forventede tab, der opleves under funktionen for tab af kvadratfejl , mens medianen er den estimator, der minimerer forventet tab, der opleves under funktionen absolut-differenstab. Stadig forskellige estimatorer ville være optimale under andre, mindre almindelige omstændigheder.

I økonomi, når en agent er risikoanetral , udtrykkes den objektive funktion ganske enkelt som den forventede værdi af en pengemængde, såsom fortjeneste, indkomst eller formue ved udgangen af ​​perioden. For risikovillige eller risikovillige midler måles tabet som det negative ved en nyttefunktion , og den objektive funktion, der skal optimeres, er den forventede værdi af nytteværdien.

Andre omkostningsmålinger er mulige, f.eks. Dødelighed eller sygelighed inden for folkesundhed eller sikkerhedsteknik .

For de fleste optimeringsalgoritmer er det ønskeligt at have en tabsfunktion, der er globalt kontinuerlig og differentierbar .

To meget almindeligt anvendte tabsfunktioner er den kvadrerede tab , og den absolutte tab , . Det absolutte tab har imidlertid den ulempe, at det ikke kan differentieres ved . Det kvadratiske tab har den ulempe, at det har en tendens til at blive domineret af outliers -når man summerer over et sæt (som i ), har den endelige sum en tendens til at være resultatet af et par særligt store a -værdier, frem for en udtryk for gennemsnittet a -værdi. ${\ displaystyle L (a) = a^{2}}$${\ displaystyle L (a) = | a |}$${\ displaystyle a = 0}$${\ displaystyle a}$${\ displaystyle \ sum _ {i = 1}^{n} L (a_ {i})}$

Valget af en tabsfunktion er ikke vilkårligt. Det er meget restriktivt, og nogle gange kan tabsfunktionen være karakteriseret ved sine ønskelige egenskaber. Blandt valgprincipperne er for eksempel kravet om fuldstændighed af klassen af ​​symmetriske statistikker i tilfælde af iid observationer, princippet om komplet information og nogle andre.

W. Edwards Deming og Nassim Nicholas Taleb hævder, at empirisk virkelighed, ikke pæne matematiske egenskaber, bør være det eneste grundlag for at vælge tabsfunktioner, og reelle tab er ofte ikke matematisk pæne og er ikke differentierbare, kontinuerlige, symmetriske osv. F.eks. en person, der ankommer før en lufthavns lukning, kan stadig lave flyet, men en person, der ankommer efter, kan ikke, en diskontinuitet og asymmetri, der gør at ankomme lidt sent meget dyrere end at ankomme lidt tidligt. Ved lægemiddeldosering kan omkostningerne ved for lidt medicin være mangel på effektivitet, mens omkostningerne ved for meget kan være acceptabel toksicitet, et andet eksempel på asymmetri. Trafik, rør, bjælker, økologier, klimaer osv. Kan tåle øget belastning eller belastning med lidt mærkbar ændring op til et punkt og derefter blive bakket op eller gå katastrofalt i stykker. Disse situationer, hævder Deming og Taleb, er almindelige i virkelige problemer, måske mere almindelige end klassiske glatte, kontinuerlige, symmetriske, differentialetilfælde.

Se også

• Bayesiansk beklagelse
• Tabsfunktioner til klassificering
• Maksimalt tab nedsat
• Hængselstab
• Scoringsregel
• Statistisk risiko

Referencer

Yderligere læsning

• Aretz, Kevin; Bartram, Söhnke M .; Pave, Peter F. (april – juni 2011). "Asymmetriske tabsfunktioner og rationaliteten af ​​forventede lagerretur". International Journal of Forecasting . 27 (2): 413–437. doi : 10.1016/j.ijforecast.2009.10.008 . SSRN  889323 .
• Berger, James O. (1985). Statistisk beslutningsteori og bayesiansk analyse (2. udgave). New York: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. MR  0804611 .

• Cecchetti, S. (2000). "At lave pengepolitik: Mål og regler" . Oxford Review of Economic Policy . 16 (4): 43–59. doi : 10.1093/oxrep/16.4.43 .

• Horowitz, Ann R. (1987). "Tabsfunktioner og offentlig politik". Journal of Macroeconomics . 9 (4): 489–504. doi : 10.1016/0164-0704 (87) 90016-4 .

• Waud, Roger N. (1976). "Asymmetriske Policymaker Utility -funktioner og optimal politik under usikkerhed". Econometrica . 44 (1): 53–66. doi : 10.2307/1911380 . JSTOR  1911380 .