Häviötoiminto - Loss function

Vuonna matemaattista optimointia ja päätösteoria , eli tappiofunktio tai kustannusfunktio (joskus kutsutaan myös virhefunktiota ) on toiminto, joka mapittaa tapahtuma tai arvoja yhdestä tai useammasta tekijästä kiinni todellinen määrä intuitiivisesti edustaa noin "hinta" tapahtumaan liittyvän. Optimoinnin ongelma pyritään minimoimaan tappiota toiminto. Tavoite toiminto on joko tappiofunktio tai sen vastakohta (tietyillä aloilla, vaihtelevasti kutsutaan palkita funktio , joka on voittoa funktio , joka on hyötyfunktion , eli sopivuuskerroin jne), jolloin se halutaan maksimoida.

Tilastoissa parametrien arviointiin käytetään tyypillisesti häviöfunktiota , ja kyseessä oleva tapahtuma on jokin funktio datan esiintymän arvioitujen ja todellisten arvojen välisestä erosta. Abraham Wald otti uudelleen tilastoihin saman käsitteen kuin Laplace , 1900 -luvun puolivälissä. Esimerkiksi talouden kannalta tämä on yleensä taloudellinen hinta tai pahoittelut . Vuonna luokittelu on rangaistus virheellisen luokittelun esimerkki. Vuonna vakuutusmatematiikan , sitä käytetään vakuutus yhteydessä mallin etuja maksetaan palkkioita, varsinkin kun teoksia Harald Cramér vuonna 1920. In optimaalinen ohjaus , menetys on rangaistus ei ole halutun arvon. Vuonna rahoitusriskien hallinnan , toiminto on kartoitettu rahallinen menetys.

Esimerkkejä

Valitettavasti

Leonard J.Savage väitti, että käyttämällä muita kuin Bayesin menetelmiä, kuten minimax , menetysfunktion tulisi perustua katumuksen ajatukseen , toisin sanoen päätökseen liittyvän menetyksen tulisi olla ero parhaan mahdollisen päätöksen seurauksista olisi tehty, jos taustalla olevat olosuhteet olisivat olleet tiedossa ja päätös, joka oli tosiasiallisesti tehty ennen kuin ne olivat tiedossa.

Toisen asteen häviöfunktio

Toisen asteen häviöfunktion käyttö on yleistä esimerkiksi silloin, kun käytetään pienimmän neliösumman tekniikoita. Se on usein matemaattisesti käsiteltävämpi kuin muut häviöfunktiot varianssien ominaisuuksien vuoksi ja on myös symmetrinen: kohteen yläpuolella oleva virhe aiheuttaa saman menetyksen kuin sama virheen suuruus kohteen alapuolella. Jos tavoite on t , niin toisen asteen häviöfunktio on

{\ displaystyle \ lambda (x) = C (tx)^{2} \;}

joillekin vakioille C ; vakion arvo ei vaikuta päätökseen, ja se voidaan jättää huomiotta asettamalla se yhtä suureksi.

Monet yleiset tilastot , mukaan lukien t-testit , regressiomallit , kokeilujen suunnittelu ja paljon muuta, käyttävät pienimmän neliösumman menetelmiä, joita käytetään lineaarisen regressioteorian avulla, joka perustuu toisen asteen häviöfunktioon.

Toisen asteen häviötoimintoa käytetään myös lineaarisen toisen asteen optimaalisissa ohjausongelmissa . Näissä ongelmissa ei edes epävarmuuden puuttuessa ole mahdollista saavuttaa kaikkien kohdemuuttujien haluttuja arvoja. Usein tappio ilmaistaan toisen asteen muodossa kiinnostavien muuttujien poikkeamissa halutuista arvoista; tämä lähestymistapa on hoidettavissa, koska se johtaa lineaarisiin ensimmäisen asteen olosuhteisiin . Stokastisen ohjauksen yhteydessä käytetään toisen asteen muodon odotettua arvoa.

0-1 häviötoiminto

In tilastojen ja päätösteoria , usein käytetty tappiofunktion on 0-1 tappiofunktion

{\ displaystyle L ({\ hat {y}}, y) = I ({\ hat {y}} \ neq y), \,}

missä on indikaattoritoiminto . ${\ displaystyle I}$

Menetyksen ja objektiivisten toimintojen rakentaminen

Monissa sovelluksissa objektiiviset funktiot, mukaan lukien menetysfunktiot erityistapauksena, määräytyvät ongelman muotoilun perusteella. Muissa tilanteissa päätöksentekijän mieltymys on saatava aikaan ja sitä on edustettava skalaariarvoisella funktiolla (jota kutsutaan myös hyödyllisyysfunktioksi ) optimointiin sopivassa muodossa-ongelma, jonka Ragnar Frisch on korostanut Nobel-palkinnon luennollaan. Nykyiset menetelmät objektiivisten toimintojen rakentamiseksi kerätään kahden erillisen konferenssin esityksissä. Erityisesti Andranik Tangian osoitti, että useimmat välinpitämättömyyspisteet määräävät käytettävimmät objektiiviset funktiot - asteen ja additiivisen. Hän käytti tätä ominaisuutta malleissa näiden objektiivisten toimintojen rakentamisessa joko ordinaalisista tai kardinaalisista tiedoista, jotka saatiin aikaan tietokoneavusteisissa haastatteluissa päättäjien kanssa. Muun muassa hän rakensi objektiivisia toimintoja optimaalisesti jakamaan budjetit 16 Westfalian yliopistolle ja eurooppalaiset tuet työttömyysasteiden tasaamiseksi 271 Saksan alueen kesken.

Odotettu tappio

Joissakin yhteyksissä häviöfunktion arvo itse on satunnainen määrä, koska se riippuu satunnaismuuttujan X tuloksesta .

Tilastot

Sekä säännöllinen että Bayesin tilastoteoria edellyttävät päätöksen tekemistä tappiofunktion odotetun arvon perusteella; tämä määrä määritellään kuitenkin eri tavalla kahdessa paradigmassa.

Usein odotettu tappio

Määritämme ensin odotetun menetyksen kanta -asiayhteydessä. Se saadaan ottamalla odotettu arvo suhteessa havaittujen tietojen X todennäköisyysjakaumaan P _θ . Tämä on myös kutsutaan riski funktiona päätöksen säännön δ ja parametri θ . Tässä päätöksen sääntö riippuu X : n tuloksesta . Riskitoiminnon antaa:

{\ displaystyle R (\ theta, \ delta) = \ operaattorinimi {E} _ {\ theta} L {\ big (} \ theta, \ delta (X) {\ big)} = \ int _ {X} L { \ iso (} \ theta, \ delta (x) {\ iso)} \, \ mathrm {d} P _ {\ theta} (x).}

Tässä, θ on kiinteä, mutta mahdollisesti tuntematon luonnontilassa, X on vektori havaintojen stokastisesti vedetään väestö , on odotukset kaikkien väestön arvot X , dP: _θ on todennäköisyys toimenpide yli tapahtuma-avaruuteen X (parametrisoida mukaan θ ) ja integraali arvioidaan koko tuki on X . ${\ displaystyle \ operaattorinimi {E} _ {\ theta}}$

Bayesin odotettu tappio

Bayesilaisessa lähestymistavassa odotus lasketaan parametrin θ takajakauman $π$ ^* avulla :

{\ displaystyle \ rho (\ pi ^{*}, a) = \ int _ {\ Theta} L (\ theta, a) \, \ mathrm {d} \ pi ^{*} (\ theta).}

Tällöin on valittava toiminto a ^*, joka minimoi odotetun tappion. Vaikka tämä johtaa siihen, että valitaan sama toimenpide kuin kanta -asiakasriskiä käytettäessä, Bayesin lähestymistavan painopiste on siinä, että halutaan vain valita optimaalinen toiminta todellisten havaittujen tietojen perusteella, kun taas varsinaisen usein käytetyn optimaalisen päätöksen säännön valitseminen, joka on kaikkien mahdollisten havaintojen funktio, on paljon vaikeampi ongelma.

Esimerkkejä tilastoista

Skalaariparametrille θ päätösfunktio , jonka lähtö on arvio θ , ja toisen asteen häviöfunktio ( neliövirhehäviö ) ${\ displaystyle {\ hattu {\ theta}}}$

{\ displaystyle L (\ theta, {\ hat {\ theta}}) = = \ \ theta -{\ hat {\ theta}})^{2},}

riskifunktiosta tulee estimaatin keskimääräinen neliövirhe ,

{\ displaystyle R (\ theta, {\ hat {\ theta}}) = \ operaationimi {E} _ {\ theta} (\ theta -{\ hat {\ theta}})^{2}.}

Vuonna tiheys arvio , tuntematon parametri on todennäköisyys tiheys itse. Häviöfunktio valitaan tyypillisesti normiksi sopivassa toimintotilassa . Esimerkiksi L ² normi ,

{\ displaystyle L (f, {\ hat {f}}) = \ | f-{\ hat {f}} \ | _ {2}^{2} \ ,,}

riskifunktiosta tulee keskimääräinen integroitu neliövirhe

{\ displaystyle R (f, {\ hat {f}}) = \ operaattorinimi {E} \ | f-{\ hat {f}} \ |^{2}. \,}

Taloudellinen valinta epävarmuudessa

Taloustieteessä päätöksentekoa epävarmassa tilanteessa mallinnetaan usein käyttämällä epävarman koron muuttujan, kuten kauden lopun vaurauden, von Neumann – Morgenstern-hyödyllisyysfunktiota . Koska tämän muuttujan arvo on epävarma, niin myös hyötyfunktion arvo on epävarma; hyödyn odotettu arvo maksimoidaan.

Päätössäännöt

Päätössääntö tekee valinnan käyttäen optimaalisuus kriteeri. Jotkut yleisesti käytetyt kriteerit ovat:

Minimax : Valitse pienimmän menetyksen omaava päätössääntö-minimoi pahin mahdollinen (suurin mahdollinen) tappio:

{\ displaystyle {\ underet {{delta} {\ operaattorinimi {arg \, min}}} \ \ max _ {\ theta \ in \ Theta} \ R (\ theta, \ delta).}

Invarianssit : Valitse optimaalinen päätössääntö, joka täyttää invarianssivaatimuksen.
Valitse päätössääntö, jolla on pienin keskimääräinen tappio (eli minimoi menetysfunktion odotettu arvo ):

{\ displaystyle {\ underet {{delta} {\ operatorname {arg \, min}}} \ operatorname {E} _ {\ theta \ in \ Theta} [R (\ theta, \ delta)] = {\ underet { \ delta} {\ operaattorinimi {arg \, min}}}} \ \ int _ {\ theta \ in \ Theta} R (\ theta, \ delta) \, p (\ theta) \, d \ theta.}

Häviötoiminnon valitseminen

Hyvä tilastokäytäntö edellyttää sellaisen estimaattorin valitsemista, joka on yhdenmukainen todellisen hyväksyttävän vaihtelun kanssa tietyn sovelletun ongelman yhteydessä. Täten menetystoimintojen käytössä käytettävän tilastollisen menetelmän valitseminen käytetyn ongelman mallintamiseen riippuu siten tiedosta menetyksistä, jotka koetaan virheellisistä ongelman erityisolosuhteissa.

Yleinen esimerkki on " sijainnin " arviointi . Tyypillisissä tilastollisissa oletuksissa keskiarvo tai keskiarvo on tilastotiedot sijainnin arvioimiseksi, joka minimoi odotettavissa olevan tappion neliövirhetoiminnon yhteydessä , kun taas mediaani on estimaattori, joka minimoi absoluuttisen eron menetystoiminnassa koetun odotetun tappion. Silti erilaiset arvioijat olisivat optimaalisia muissa, harvinaisissa olosuhteissa.

Taloustieteessä, kun agentti on riskineutraali , tavoitefunktio ilmaistaan yksinkertaisesti rahamäärän, kuten voiton, tulojen tai kauden lopun vaurauden, odotettuna arvona. Ja riskisuuntautuneemman tai riski-hellä aineet, menetys mitataan negatiivinen on hyötyfunktion , ja kohdefunktio voidaan optimoida on odotusarvo hyödyllisyys.

Muut toimenpiteet kustannusten ovat mahdollisia, esimerkiksi kuolleisuutta tai sairastavuutta alalla kansanterveyden ja turvallisuustekniikan .

Useimmille optimointialgoritmeille on toivottavaa, että häviöfunktio on maailmanlaajuisesti jatkuva ja eriytettävä .

Kaksi hyvin yleisesti käytetty menetys toiminnot ovat potenssiin menetys , ja absoluuttinen menetys , . Absoluuttisella menetyksellä on kuitenkin se haitta, että sitä ei voida erottaa toisistaan . Neliönmuotoisen tappion haittana on se, että sillä on taipumus hallita poikkeamia -kun lasketaan yhteen joukko (kuten ), lopullinen summa on yleensä seurausta muutamasta erityisen suuresta a -arvosta eikä ilmaisee keskimääräisen a -arvon. ${\ displaystyle L (a) = a^{2}}$ ${\ displaystyle L (a) = | a |}$ ${\ displaystyle a = 0}$ ${\ displaystyle a}$ ${\ displaystyle \ summa _ {i = 1}^{n} L (a_ {i})}$

Häviöfunktion valinta ei ole mielivaltainen. Se on hyvin rajoittavaa, ja joskus häviötoiminnolle voi olla ominaista sen toivotut ominaisuudet. Valintaperiaatteisiin kuuluvat esimerkiksi symmetristen tilastoluokkien täydellisyysvaatimus iid -havaintojen tapauksessa , täydellisen tiedon periaate ja jotkut muut.

W. Edwards Deming ja Nassim Nicholas Taleb väittävät, että empiirisen todellisuuden, ei hienojen matemaattisten ominaisuuksien, pitäisi olla ainoa perusta menetysfunktioiden valinnalle, ja todelliset tappiot eivät useinkaan ole matemaattisesti mukavia eivätkä ne ole erotettavissa, jatkuvia, symmetrisiä jne. henkilö, joka saapuu ennen koneen portin sulkemista, voi silti tehdä koneen, mutta henkilö, joka saapuu sen jälkeen, ei voi. Lääkkeen annostelussa liian pienen lääkkeen hinta voi olla tehon puute, kun taas liiallisen hinta voi olla siedettävä myrkyllisyys, toinen esimerkki epäsymmetriasta. Liikenne, putket, palkit, ekologia, ilmasto jne. Voivat sietää lisääntynyttä kuormitusta tai jännitystä pienillä muutoksilla tiettyyn pisteeseen saakka, ja sitten ne voidaan varmuuskopioida tai rikkoutua katastrofaalisesti. Nämä tilanteet, Deming ja Taleb väittävät, ovat yleisiä tosielämän ongelmissa, ehkä yleisempiä kuin klassiset sileät, jatkuvat, symmetriset differentiaalitapaukset.

Katso myös

Viitteet

Lue lisää

Aretz, Kevin; Bartram, Söhnke M .; Paavi, Peter F. (huhti – kesäkuu 2011). "Epäsymmetriset menetystoiminnot ja odotetun varastotuoton järkevyys". International Journal of Forecasting . 27 (2): 413–437. doi : 10.1016/j.ijforecast.2009.10.008 . SSRN 889323 .
Berger, James O. (1985). Tilastollinen päätöksenteoria ja Bayesin analyysi (2. painos). New York: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. MR 0804611 .

Cecchetti, S. (2000). "Rahapolitiikan tekeminen: tavoitteet ja säännöt" . Oxfordin talouspolitiikan katsaus . 16 (4): 43–59. doi : 10.1093/oxrep/16.4.43 .

Horowitz, Ann R. (1987). "Häviötoiminnot ja julkinen politiikka". Makrotaloustieteen lehti . 9 (4): 489–504. doi : 10.1016/0164-0704 (87) 90016-4 .

Waud, Roger N. (1976). "Epäsymmetriset päätöksentekotyökalun toiminnot ja optimaalinen politiikka epävarmuudessa". Econometrica . 44 (1): 53–66. doi : 10.2307/1911380 . JSTOR 1911380 .

Languages

In other projects