General rights
Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.
Users may download and print one copy of any publication from the public portal for the purpose of private study or research.
You may not further distribute the material or use it for any profit-making activity or commercial gain
You may freely distribute the URL identifying the publication in the public portal
If you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediately and investigate your claim.
Downloaded from orbit.dtu.dk on: Mar 25, 2022
Regressions modeller
Hvad regresserer vi på og hvorfor?
Stockmarr, Anders
Publication date:
2012
Document Version
Også kaldet Forlagets PDF Link back to DTU Orbit
Citation (APA):
Stockmarr, A. (Forfatter). (2012). Regressions modeller: Hvad regresserer vi på og hvorfor?. 2D/3D (Fysisk produkt)
Regressions modeller –
Hvad regresserer vi på og hvorfor?
Anders Stockmarr
Axelborg statistikgruppe 6/11 2012
1
Generel Regression
• Yt= f(Xt) +εt, t=1,…,n
• f er en UKENDT funktion, der beskriver relationen mellem den uafhængige
variabel X, og den afhængige variabel Y.
• Vi vil gerne afdække hvorledes X og Y er relateret (dvs. undersøge egenskaber ved f), gennem analyser af parrede
observationer (Xt,Yt)t=1,…,n
2
Lineær Regression
• Antag at
f
∊ C ∞(R)• Så er
hvor
• Dermed er
hvor o(x)=xε(x).
, )
(
∑
∞0=
=
n
n nx a x
f
!.
/ ) 0
)(
( n
f an = n
), ( )
(x a0 a1x o x
f = + +
3
Lineær Regression – funktioner af flere variable
• 1. ordens Taylor-udvikling: I modeltermer erstattes f i Yi= f(Xi) +εi, i=1,…,n
Med
hvor restleddet sættes til nul, og hvor a0, a1 er ukendte, dvs. den multiple regressionsmodel
Yt= α+β1X1,t +…+ βkXk,t + εt, t=1,…,n.
4
||) (||
||) (||
) 0 ( )
0 ( )
( x o x a0 a1, x o x
x f f
x f
i
i i def
i
i i
+ +
=
∂ + + ∂
=
∑ ∑
Lineær Regression –funktioner af flere variable
• 2. ordens Taylor-udvikling:
• I modeltermer erstattes
Yt= f(Xt) +εt, t=1,…,n Med
5
)
||
(||
) 0 2 (
) 1 0 ( )
0 ( )
( 2
,
2
x o x
x x x x f
x f f
x
f i j
j
i i j
i
i i
∂ +
∂ + ∂
∂ + ∂
=
∑ ∑
. , , 1 ,
,
, ,
,
, X X t n
X
Y t
j i
t j t i j i i
t i i
t =α +
∑
β +∑
β +ε = Lineær Regression –funktioner af flere variable
• 2. ordens Taylor-udvikling:
• I modeltermer erstattes
Yt= f(Xt) +εt, t=1,…,n Med
Lineær regressionsmodel med 1. ordens interaktioner (og kvadratiske effekter; udelades ofte).
6
)
||
(||
) 0 2 (
) 1 0 ( )
0 ( )
( 2
,
2
x o x
x x x x f
x f f
x
f i j
j
i i j
i
i i
∂ +
∂ + ∂
∂ + ∂
=
∑ ∑
. , , 1 ,
,
, ,
,
, X X t n
X
Y t
j i
t j t i j i i
t i i
t = α +
∑
β +∑
β +ε = Polynomiel regression af højere orden
• Princip:
• Ynøjagtigheden mindskes til en pris af introduktion af flere forklarende variable;
• Når ynøjagtigheden er af en
størrelsesorden så den kan inkorporeres i
residualvariansen ε, er modellen tilstrækkelig i modelleringsforstand.
7
)
||
(|| x n o
)
||
(|| x n o
Polynomiel regression af højere orden
• Princip:
• Ynøjagtigheden mindskes til en pris af introduktion af flere forklarende variable;
• Når ynøjagtigheden er af en
størrelsesorden så den kan inkorporeres i
residualvariansen ε, er modellen tilstrækkelig i modelleringsforstand.
• Det kan i praksis kræve mange led:
• Eksempel
8
)
||
(|| x n o
)
||
(|| x n o
) exp(
)
(x x
f = −
Skalering
• Højere ordens regression ønsker vi ikke; meget vanskeligt at fortolke og kommunikere.
• Løsningen er data-transformation.
• Vi anstrenger os en del for at finde skalaer, hvor sammenhængen kan beskrives med en Taylor- approksimation af lav orden;
”sammenhængen er approksimativt lineær”
• log-transformation,
Box-Cox transformation,
kvadratrods-tranformation, etc.
9
Agenda
• Vi vil gerne erstatte ukendte funktioner med andre ukendte, som dog har en kendt struktur; polynomier.
• Formålet er selvfølgelig, som al modellering, at forenkle
virkeligheden så man kan regne på den uden at begå for grove fejl.
• Men samtidigt skal vi også gerne kunne se og kommunikere logikken i vores approksimation, så den må ikke være for kompliceret.
• Subjektiv konklusion:
• Vi bør approksimere med en Taylor-udvikling der er af 1. eller 2.
orden, nogen gange 3. orden og aldrig over 4. Data skal skaleres, så dette kan lade sig gøre.
10
Ortogonalisering
Modellen
Er af formen
hvor vi blot lader XiXj optræde som en
selvstændig kovariat. Dette gør den lineære regressionsmodel meget generel.
11
. , , 1 ,
,
, ,
,
, X X t n
X
Y t
j i
t j t i j i i
t i i
t = α +
∑
β +∑
β +ε = , , , 1
, ,t n
X Y
i
t t
i i
t =α +
∑
β +ε = Ortogonalisering II
I modellen
Som vi skriver
på sædvanlig vis, benytter vi ML/LS/PE-estimatoren hvor A er matricen bestående af
søjlerne med værdierne for de enkelte kovariater.
12
, , , 1
, ,t n
X Y
i
t t
i i
t = α +
∑
β +ε = n t
X
Yt = βT t +εt, =1,,
, )
ˆ = (AT A −1 ATY β
(
X Xk)
A = 1 ::
Ortogonalisering II
Med normalfordelte støjled er normalfordelt;
Men nu er
hvorfor uafh. af hviss <Xi,Xj>=0.
13
).
) (
, (
ˆ ~ N β σ 2 AT A −1 β
>
<
>
<
>
<
>
<
=
2 1
2 1
1 2
1 2
1
||
||
, ,
, ,
||
||
k k
k T
X X
X
X X
X X
X X
X A
A
βˆ
βˆi βˆj
Ortogonalisering III
Modellen
udtrykker jo blot at Y på nær støj er en
linear-kombination af søjlerne i matricen MAO: Finder vi en anden måde at A.
udtrykke linearkombinationer af søjlerne i A, ændrer vi ikke modellen.
14
n t
X
Yt = βT t +εt, =1,,
Ortogonalisering IV
• Ønsker vi stokastisk uafhængige estimater, kan vi derfor lave en ny design matrix B,
således at søjlerne i B er ortogonale, og
således at søjlerne i B og A udspænder det samme rum.
15
Ortogonalisering V
• Dette gøres rekursivt:
16
j i
j j
j i
i
i B
B B A A
B
A B
∑
−=
>
− <
=
=
1
1
2 1
1
||
||
,
;
Ortogonalisering VI
• Eksempel:
17
n t
x x
Yt = β0 + β1 t + β2 t2 +εt, =1,, :
, ,
1 2 3 2
1 A xt A xt
A = = =
).
( ,
, 1
, 2
2 2
3 2 1
x SSD x
x SPD x
B
x x
B B
t x
x x t
t
−
−
−
=
−
=
=
Ortogonalisering VII
• I modellen
er estimaterne derfor stokastisk uafhængige.
Tilbageregning:
18
n t
x SSD x
x SPD x
x x
Y t t
x x x t
t t
, ,
1
, ))
( (
)
( 2 2 2 , 2
1 0
=
+
−
−
− +
− +
= γ γ γ ε
) (
;
;
, 2 2
1 0
0
, 2
1 1
2 2
2 2
x SSD x
x SPD SSD SPD
x x x x
x x
− +
−
=
−
=
=
γ γ
γ β
γ γ
β
γ β
Ortogonalisering VIII
• Hvilke fordele ser I??
19
Regression på andet end polynomier
• Grunden til at vi kan bruge polynomier er at polynomierne udgør en basis for C ∞(R), udstyret med topologien for uniform
konvergens på kompakte mængder;
• Men man kan forestille sig situationer,
hvor det er mere naturligt at forlange, at f tilhører en anden klasse end C ∞(R), og
hvor man derfor skal kigge på andre baser.
20
Regression på andet end polynomier
Eksempel:
II
Periodiske funktioner (de-trendede sæson- data).
Her udgør funktionerne
hvor ω er perioden, en basis for en passende gruppe af funktioner;
man kan derfor modellere a la
hvor disse sinusfunktioner kan ortogonaliseres ligesom tidligere.
21
2 ) sin(
)
( n x
x hn
ω
= π
, , , 1 ,
2 )
sin( i x t n
Y
i
t t
i
t =α +
∑
β ωπ +ε = Regression hvor den afhængige variabel er stokastisk
• En forudsætning for at estimaterne i modellen
• er uafhængige, er at design-matricen er en diagonal-matrix.
• Men en anden, implicit, forudsætning er, at Xt er deterministisk. Hvis Xt er
stokastisk, er sagen generelt en anden.
22
n t
X
Yt = βT t +εt, =1,,
Regression hvor den afhængige variabel er stokastisk II
• Antag at både X og Y er stokastiske variable, med en kausal relation imellem sig givet ved at
• Her hvis gælder f.eks. at , er f.eks
og dermed er det ikke oplagt at sædvanlige poly- nomier er den fornuftigste vej at gå, hvis man f.eks. interesserer sig for hvad effekten af X er i termer af potenser af μ.
23
n t
X
Yt = βT t +εt, =1,,
) ,
(
~ N µ σ 2 Xt
, )
(X 2 = µ2 +σ 2 E
Regression hvor den afhængige variabel er stokastisk III
• Samtidig kan man interessere sig for en helt anden form for ortogonalitet; nemlig om de uafhængige variable som man
regresserer på, er uafhængige, eller i det mindste ukorrelerede.
• Dette er en ganske anden ortogonalitet end geometrisk ortogonalitet af n obser- vationer, altså ortogonalitet i Rn.
24
Regression hvor den afhængige variabel er stokastisk IV
Hvis X er normeret normalfordelt, er 2 funktioner f og g af X ukorrelerede, hvis
Definerer vi det indre produkt
er dette kriterium præcis ortogonalitet i L2- forstand.
25
0 )
( )
( 2/2 =
∫
∞∞
−
− dx
e x g x
f x
, )
( ) (
, g 1 f x g x e 2/2dx
f x
def
∫
∞∞
−
= −
>
<
Regression hvor den afhængige variabel er stokastisk V
En følger af funktioner der opfylder dette, er Hermite polynomierne Hen, givet ved
26
).
( )
1 (
) ( )
(
; 3 )
(
; 1 )
(
; )
(
; 1 )
(
2 1
3 3
2 2
1 0
x He
n x
xHe x
He
x x
x He
x x
He
x x
He x He
n n
n = − − − −
−
=
−
=
=
=
Egenskaber ved Hermite- polynomierne I
• Hermite-polynomierne udgør en basis for vektorrummet
Dermed kan de fleste funktioner
approksimeres med summer af Hermite polynomier.
27
(
| ( ) |)
, ~ (0,1)}: :
{ f R → R E f X 2 < ∞ X N
Egenskaber ved Hermite- polynomierne II
hvis n≠m, således at Hen(X) og Hem(X) er
ukorrelerede, hvis X er normeret normal-fordelt.
Hvis , er .
Defineres er og
ortogonale/ukorrelerede for n ≠ m, hvis X er normalfordelt (0,σ2).
28
0 )
( )
(
, >1 = 2/2 =
<
∫
∞∞
−
− dx
e x He x
He He
He n m x
def m
n
) 1 , (
~ N µ
X E(Hen(x)) = µn
), / ( )
( /2
]
[σ2 x σ He x σ
He n n
def n
= − Hen[σ2](X ) )
](
[ 2
X Hemσ
Egenskaber ved Hermite- polynomierne III
• Hermite-polynomier er altså skrædder-
syede til situationen, hvor man modellerer dynamiske systemer uden feed-back
mellem uafhængige og afhængige variable.
• Hermite polynomier har orden n, så Hermite polynomier op til orden n
modellerer præcis også Taylorudvikling op til orden n (i 1 dimension).
29
Hermite-polynomier
• Hvad er jeres erfaringer?
30
Tak for opmærksomheden
31
•
