Ikke -lineær regression - Nonlinear regression

Del af en serie om
Regressions analyse
Modeller
Lineær regression Simpel regression Polynomisk regression Generel lineær model
Generaliseret lineær model Diskret valg Binomial regression Binær regression Logistisk regression Multinomial logistisk regression Blandet logit Probit Multinomial probit Bestilte logit Bestilt probit Poisson
Model på flere niveauer Faste effekter Tilfældige effekter Lineær blandet effekt-model Ikke-lineær blandet effekt-model
Ikke -lineær regression Ikke -parametrisk Semiparametrisk Robust Kvantil Isotonisk Hovedkomponenter Mindst vinkel Lokal Segmenteret
Fejl i variabler
Estimering
Mindst firkanter Lineær Ikke-lineær
Almindelig Vægtet Generaliseret
Delvis Total Ikke-negativ Rygregression Regulariseret
Mindst absolutte afvigelser Iterativt genvægtet Bayesiansk Bayesiansk multivariat
Baggrund
Regressionsvalidering Gennemsnitlig og forudsagt respons Fejl og restværdier Pasformens godhed Studentiseret rest Gauss -Markov sætning
Matematik portal
v t e

I statistik er ikke -lineær regression en form for regressionsanalyse, hvor observationsdata modelleres efter en funktion, der er en ikke -lineær kombination af modelparametrene og afhænger af en eller flere uafhængige variabler. Dataene er tilpasset efter en metode til successive tilnærmelser.

Generel

Ved ikke -lineær regression, en statistisk model af formularen,

${\ displaystyle \ mathbf {y} \ sim f (\ mathbf {x}, {\ boldsymbol {\ beta}})}}$

angår en vektor af uafhængige variable , og dens tilknyttede observerede afhængige variabler , . Funktionen er ikke -lineær i komponenterne i parametervektoren , men ellers vilkårlig. For eksempel har Michaelis -Menten -modellen for enzymkinetik to parametre og en uafhængig variabel, relateret af: ${\ displaystyle \ mathbf {x}}$${\ displaystyle \ mathbf {y}}$${\ displaystyle f}$${\ displaystyle \ beta}$${\ displaystyle f}$

${\ displaystyle f (x, {\ boldsymbol {\ beta}}) = {\ frac {\ beta _ {1} x} {\ beta _ {2}+x}}}$

Denne funktion er ikke -lineær, fordi den ikke kan udtrykkes som en lineær kombination af de to s. ${\ displaystyle \ beta}$

Systematisk fejl kan være til stede i de uafhængige variabler, men behandlingen er uden for regressionsanalysens omfang. Hvis de uafhængige variabler ikke er fejlfrie, er dette en fejl-i-variabler-model , også uden for dette anvendelsesområde.

Andre eksempler på ikke-lineære funktioner omfatter eksponentielle funktioner , logaritmiske funktioner , trigonometriske funktioner , potensfunktioner , Gauss-funktion , og Lorentz-distributioner . Nogle funktioner, såsom de eksponentielle eller logaritmiske funktioner, kan transformeres, så de er lineære. Når det er transformeret, kan standard lineær regression udføres, men skal anvendes med forsigtighed. Se linearisering§Transformation nedenfor for flere detaljer.

Generelt er der ikke noget lukket udtryk for de bedst passende parametre, som der er i lineær regression . Normalt anvendes numeriske optimeringsalgoritmer til at bestemme de bedst passende parametre. I modsætning til lineær regression kan der være mange lokale minima for funktionen, der skal optimeres, og endda det globale minimum kan producere et forudindtaget estimat. I praksis bruges estimerede værdier af parametrene sammen med optimeringsalgoritmen til at forsøge at finde det globale minimum af en sum af kvadrater.

For detaljer om ikke-lineær datamodellering, se mindst kvadrater og ikke-lineære mindste kvadrater .

Regressionsstatistik

Antagelsen bag denne procedure er, at modellen kan tilnærmes med en lineær funktion, nemlig en førsteordens Taylor-serie :

${\ displaystyle f (x_ {i}, {\ boldsymbol {\ beta}}) \ approx f (x_ {i}, 0)+\ sum _ {j} J_ {ij} \ beta _ {j}}$

hvor . Det følger heraf, at estimaterne med de mindste kvadrater er givet ved ${\ displaystyle J_ {ij} = {\ frac {\ delvis f (x_ {i}, {\ boldsymbol {\ beta}})} {\ delvis \ beta _ {j}}}}$

${\ displaystyle {\ hat {\ boldsymbol {\ beta}}} \ approx \ mathbf {(J^{T} J)^{-1} J^{T} y}.}$

De ikke -lineære regressionsstatistikker beregnes og bruges som i lineær regressionsstatistik, men ved hjælp af J i stedet for X i formlerne. Den lineære tilnærmelse introducerer bias i statistikken. Derfor kræves der mere forsigtighed end normalt ved fortolkning af statistik afledt af en ikke -lineær model.

Almindelige og vægtede mindst kvadrater

Den bedst passende kurve antages ofte at være den, der minimerer summen af ​​kvadratiske rester . Dette er den almindelige mindste kvadraters (OLS) tilgang. I tilfælde, hvor den afhængige variabel ikke har konstant varians, kan en sum af vægtede kvadrerede rester dog minimeres; se vægtede mindst kvadrater . Hver vægt skal ideelt set være lig med det gensidige af observationens varians, men vægte kan beregnes på hver iteration i en iterativt vægtet mindste kvadraters algoritme.

Linearisering

Transformation

Nogle ikke -lineære regressionsproblemer kan flyttes til et lineært domæne ved en passende transformation af modelformuleringen.

Overvej f.eks. Det ikke -lineære regressionsproblem

${\ displaystyle y = ae^{bx} U \, \!}$

med parametre a og b og med multiplikativ fejlled U . Hvis vi tager logaritmen fra begge sider, bliver dette til

${\ displaystyle \ ln {(y)} = \ ln {(a)}+bx+u, \, \!}$

hvor u = ln ( U ), hvilket tyder på estimering af de ukendte parametre ved en lineær regression af ln ( y ) på x , en beregning, der ikke kræver iterativ optimering. Imidlertid kræver brug af en ikke -lineær transformation forsigtighed. Indflydelsen af ​​dataværdierne vil ændre sig, ligesom modelens fejlstruktur og fortolkningen af ​​eventuelle inferentielle resultater. Disse er muligvis ikke ønskede effekter. På den anden side, afhængigt af hvad den største fejlkilde er, kan en ikke -lineær transformation distribuere fejlene på en gaussisk måde, så valget om at udføre en ikke -lineær transformation skal informeres ved modelleringsovervejelser.

For Michaelis - Menten kinetik , det lineære Lineweaver - Burk plot

${\ displaystyle {\ frac {1} {v}} = {\ frac {1} {V _ {\ max}}}+{\ frac {K_ {m}} {V _ {\ max} [S]}}}$

af 1/ v mod 1/ [ S ] har været meget brugt. Da den imidlertid er meget følsom over for datafejl og er stærkt forudindtaget til at passe dataene i et bestemt område af den uafhængige variabel, [ S ], frarådes brugen stærkt.

For fejlfordelinger, der tilhører den eksponentielle familie , kan en linkfunktion bruges til at transformere parametrene under den generaliserede lineære modelramme .

Segmentering

Den uafhængige eller forklarende variabel (f.eks. X) kan opdeles i klasser eller segmenter, og lineær regression kan udføres pr. Segment. Segmenteret regression med tillid analyse kan give det resultat, at afhængige eller respons variabel (sige Y) opfører sig forskelligt i de forskellige segmenter.

Figuren viser, at jordens saltholdighed (X) i første omgang ikke har nogen indflydelse på senneps afgrøde (Y), indtil en kritisk værdi eller tærskelværdi ( breakpoint ), hvorefter udbyttet påvirkes negativt.

Se også

• Ikke-lineære mindste firkanter
• Kurvetilpasning
• Generaliseret lineær model
• Lokal regression
• Responsmodelleringsmetode

Referencer

Noter

Yderligere læsning

• Bethea, RM; Duran, BS; Boullion, TL (1985). Statistiske metoder til ingeniører og forskere . New York: Marcel Dekker. ISBN 0-8247-7227-X.
• Meade, N .; Islam, T. (1995). "Forudsigelsesintervaller for vækstkurveprognoser". Journal of Forecasting . 14 (5): 413–430. doi : 10.1002/for.3980140502 .
• Schittkowski, K. (2002). Datafitting i dynamiske systemer . Boston: Kluwer. ISBN 1402010796.
• Seber, GAF; Wild, CJ (1989). Ikke -lineær regression . New York: John Wiley og sønner. ISBN 0471617601.