Statsvetenskapliga metoder

Multipel regressionsanalys

Sirus Dehdari

Statsvetenskapliga institutionen, Stockholms universitet

Förra veckan:

  • Finns det ett samband mellan två variabler?
  • Exempel: finns det ett samband mellan inomhustemperatur och hushållets månadsinkomst?
  • Hur väl passar modellen våra data?
  • Statistisk inferens: är vi säkra på att det faktiskt finns ett samband i populationen?
  • Konfidensintervall för den skattade lutningskoefficienten, \(b\)

Tredje veckans läromål

  • Förstå vad multipel regressionsanalys är och varför den används
  • Hur man tolkar lutningskoefficienten i en multipel regressionsmodell
  • Kausal inferens
  • “Ekonomisk” signifikans
  • Kapitel 5.2 i Österman och Folke

Kom ihåg: bivariat regressionsmodell

  • Förra veckan pratade vi om bivariata regressionsmodeller
  • Vi använde en oberoende variabel för att förklara variationen i den beroende variabeln
  • Kan vi inte använda fler än en oberoende variabel för att förklara variationen i den beroende variabeln?
  • Med andra ord: kan inte variationen i den beroende variabeln bero på fler än en oberoende variabel?
  • En regressionsmodell med fler än en oberoende variabel kallas för multipel regressionsmodell

Inkludera fler oberoende variabler

  • Kom ihåg ekvationen för en bivariat regressionsmodell:

\[Y_i = a + b_1X_{1i} + e_i\]

  • Notera indexeringen 1 för \(b\) och \(X\): de är indikatorer för den första variabeln
  • Vi kan inkludera fler oberoende variabler

\[Y_i = a + b_1X_{1i} + b_2X_{2i} + e_i\]

  • Nu har vi inkluderat en andra oberoende variabel, \(X_2\), till modellen

Multipel regressionsmodell

  • Om det finns ett samband mellan \(X_2\) och \(Y\) (alltså att \(b_2\neq 0\)), då kommer den multipla regressionsmodellen förklara ännu mer av variationen i \(Y\)
  • Det kan finnas ännu fler variabler som hjälper oss förklara variationen i \(Y\)

\[Y_i = a + b_1X_{1i} + b_2X_{2i} + b_3X_{3i} + \ldots + b_kX_{ki} + \ldots + e_i\]

  • Här har vi inkluderat totalt \(k\) olika oberoende variabler
  • Men varför ska man ens inkludera fler än en variabel?

Varför multipla regressionsmodeller?

  • De två vanligaste anledningarna till att vi lägger till fler oberoende variabler:
    • Förklara mer av variationen i den beroende variabeln \(Y\)
    • Utesluta att sambandet mellan \(Y\) och \(X_1\) inte påverkas av någon annan variabel
  • I forskning där vi är intresserade av utfallet (den beroende variabeln) vill vi ofta förklara så mycket som möjligt av dess variation
  • Exempel: Vad avgör väljarnas benägenhet att rösta?
  • Variabler som kan förklara valdeltagande: inkomst, utbildningsnivå, medborgarskap, civilstånd, ålder etc.

Förklara variationen i utfallet

  • Genom att förklara variationen i utfallet tror vi att vi förstår detta specifika fenomen
  • Om det fortfarande finns oförklarad variation i, säg, valdeltagandet behöver vi utveckla nya eller bättre teorier
  • Exempel: många kommuner vill öka förtidsröstning
  • En regressionsmodell som förklarar en stor del av variationen i benägenheten att förtidsrösta kan hjälpa kommuner att främja förtidsröstning

Kan vi förklara för mycket?

  • Det är vanligtvis värdefullt att förklara så mycket som möjligt av variationen i den beroende variabeln
  • Dock bör variabler inte inkluderas på måfå: det bör finnas en anledning till varför en variabel inkluderas
  • Vi kommer inte att gå in på de tekniska detaljerna om varför vi bör undvika att lägga till för många oberoende variabler
  • En tumregel: lägg endast till variabler som du tror är relaterade till den beroende variabeln

Kausala samband

  • Hittills har vi endast betraktat sambandet mellan \(Y\) och \(X\) som inte mer än en korrelation
  • Men ofta vill vi förstå om det finns ett kausalt samband mellan dessa variabler
  • Är det \(X\) som orsakar förändringen i \(Y\)?
  • Detta är den huvudsakliga anledningen till att vi skattar multipla regressionsmodeller
  • \(X\) kan orsaka \(Y\) men det kan finnas andra variabler som påverkar både \(X\) och \(Y\)

En tredje faktor: störfaktor

  • \(X\) orsakar \(Y\) men störfaktorn (även kallat förväxlingsfaktor, confounder på engelska) \(c\) orsakar både \(X\) och \(Y\)

Exempel: politiskt deltagande

  • Om vi inte inkluderar \(c\) i vår modell kan vi komma att över- eller underskatta det (kausala) sambandet mellan \(X\) och \(Y\)
  • Exempel: antag att vi tror att regional utflyttning har en positiv påverkan (effekt) på stödet för populistiska partier
  • Teori: I regioner där en större andel av befolkningen flyttar ut är stödet för populistiska partier högre
  • Men en anledning till att människor flyttar är hög arbetslöshet, vilket i sig påverkar stödet för populistiska partier
  • Om vi inte kontrollerar för arbetslösheten kommer vi att överskatta effekten av utflyttning på populistiska partiers röstandel

Rumstemperaturer igen

  • Ett annat exempel: tänk på scenariot där vi vill förklara hushållens inomhusstemperatur
  • Förra veckan föreslog vi en teori med följande prediktion: hushåll med hög inkomst har större sannolikhet att ha högre rumstemperaturer
  • Vad är en tredje faktor som potentiellt påverkar både inkomst och inomhustemperatur?
  • Kanske utbildningsnivån?

Uppåt- och nedåtbiaser

  • Anta att utbildningsår har en positiv påverkan på inkomst men en negativ påverkan på temperatur
  • Att inte kontrollera för utbildningsnivå ger oss en nedåtgående bias på den effekt inkomst har på hushållens inomhustemperatur

Exempel på nedåtbias

  • \(c\) har en positiv påverkan på \(X\) och en negativ påverkan på \(Y\), medan \(X\) har en positiv påverkan på \(Y\)

Andra exempel

  • Kombinationen av sambandet mellan \(c\) och \(X\), samt \(c\) och \(Y\), är det som avgör riktningen på biasen
  • Uppåtgående bias: utan att kontrollera för \(c\), kommer den skattade effekten av \(X\)\(Y\) vara mer positiv än den verkliga effekten
  • Nedåtgående bias: utan att kontrollera för \(c\), kommer den skattade effekten av \(X\)\(Y\) vara mer negativ än den verkliga effekten

Tolka lutningskoefficienterna

  • I det bivariata fallet: vi tolkar \(b\) som den förväntade ökningen i den beroende variabeln när den oberoende variabeln ökar med en enhet
  • I fallet med multipel regression lägger vi till “allt annat lika”
  • Betrakta den andra kolumnen i tabellen på föregående slide: en ökning med 1000 SEK i månadsinkomst förväntas öka rumstemperaturen med 0,187 grader Celsius, allt annat lika
  • “Allt annat lika” här betyder den effekt som inkomst har på rumstemperaturen när vi håller alla andra variabler konstanta

Tolkning av storleken på koefficienten

  • Hur vet vi om den effekt vi uppskattar är stor eller liten?
  • Förra veckan skilde vi mellan en bra passform (hög \(R^2\) och/eller låg Root-MSE) och ett starkt samband (stor positiv/negativ \(b\))
  • Dock säger stora negativa eller positiva skattningar av \(b\) inte nödvändigtvis om sambandet är “meningsfullt”
  • Exempel: antag att vi uppskattar sambandet mellan lokal arbetslöshetsnivå och stödet för populistiska partier
  • I vår regressionsmodell uppskattar vi \(b =\) 0,2: verkar som en liten effekt, eller hur?

Stor/liten förändring i \(Y\) och/eller \(X\)

  • Anta att den lokala arbetslösheten varierar från 2 till 20%
  • Samtidigt varierar den lokala röstandelen för det populistiska partiet mellan 3 och 6%
  • Därmed är en enhetsökning i arbetslösheten en liten förändring i förhållande till intervallet för den oberoende variabeln
  • Dess effekt, 0,2, är någorlunda stor jämfört med den totala röstandelen för populistiska partier
Förändring i X
Liten Stor
Förändring i Y Liten Måttlig Svag
Stor Stark Måttlig

Omfång av \(X\) och \(Y\)

  • Vad är då en stor förändring i \(X\) och \(Y\)?
  • Ett sätt är att titta på spridningen hos dessa variabler
  • Betrakta än en gång exemplet med rumstemperatur:
(1) (2)
Intercept 18,363 17,039
(0,804) (1,063)
Inkomst 0,015 0,187
(0,065) (0,098)
Utbildningsår -0,208
(0,111)
Observationer 100 100
Adj. \(R^2\) 0,00 0,02
Root MSE 1,99 1,96

Hur mycket är en enhet?

  • Anta att vi har följande tabell med deskriptiv statistik:
Variabel Medelvärde s.d. Min Max
Temperatur 18,71 2,01 14,30 22,80
Inkomst 22,36 5,82 9,78 36,98
Utbildningsår 12,06 5,13 0,00 26
  • Den uppskattade lutningskoefficienten för inkomst är 0,187, och den är statistiskt signifikant på 90% konfidensnivå (varför?)
  • Effekten av inkomst på temperatur är 0,187, vilket är litet i förhållande till intervallet för den beroende variabeln, som är 22,80 \(-\) 14,3 \(=\) 8,5
  • Intervallet för inkomst är 36,98 \(-\) 9,78 \(=\) 27,2, därmed är en (1) enhetsökning i inkomst ganska liten jämfört med dess intervall
  • En liten förändring i \(X\) ger en liten förändring i \(Y\): Måttlig effekt

Modellens passform i flera variabler

  • Att använda \(R^2\) för att bedöma passformen är problematiskt i en multipel regressionsmodell
  • Vi kan alltid öka, eller åtminstone inte minska, \(R^2\) genom att inkludera fler variabler i vår modell
  • Vi föredrar en så liten modell som möjligt som förklarar så mycket som möjligt
  • Justerat (adjusted) \(R\)-kvadrat “straffar” inkludering av oberoende variabler
  • Tolkningen av Root-MSE är fortfarande densamma

Dåliga kontroller

  • Tidigare sa vi att vi måste kontrollera för störfaktorer/förväxlare
  • Betrakta istället följande exempel:
  • Vi har nu en mediator: \(m\)

Dåliga kontroller: ett exempel

  • \(X\) har en direkt effekt på \(Y\) men också indirekt genom sin effekt på \(m\)
  • Om vi inkluderar \(m\) i modellen “absorberar” vi en del av den (totala) effekten \(X\) har på \(Y\)
  • Exempel: Anta att det finns två separata arbetsmarknadssektorer: en hög- och en lågkvalificerad sektor
  • Den högkvalificerade sektorn betalar en mycket högre lön än den lågkvalificerade sektorn
  • Anta att det nästan är omöjligt att få anställning i den högkvalificerade sektorn utan en avancerad examen, och att det praktiskt taget inte finns någon variation i löner inom varje sektor

Vänner låter inte vänner inkludera dåliga kontroller

  • Anta att vi vill undersöka effekten av utbildningsnivå på löner
  • Om vi kontrollerar för sektor kommer vi att uppskatta ingen eller mycket liten effekt av utbildningsnivå på löner
  • Kom ihåg tolkningen i en multipel regressionsanalys: effekten av utbildning på löner när vi håller sektortillhörighet konstant
  • Inom varje sektor har nästan alla arbetstagare samma (eller ingen) examen och tjänar samma lön
  • Sektortillhörighet är i det här fallet en mediator

Kontrollera: vad man ska/inte ska göra

  • Tänk på den kausala länken som en ström
  • Om störfaktorn är uppströms, det vill säga den bestämdes före den variabel du är intresserad av: inkludera den
  • Om störfaktorn är nedströms, det vill säga den bestämdes efter den variabel du är intresserad av: inkludera inte den
  • Vad gör man om den variabel du är intresserad av och störfaktorn påverkar varandra?
  • Att lägga till kontroller för att identifiera den kausala länken fungerar inte alltid: vi får leta efter slumpmässig variation/utföra experiment istället

Exempel på tentafråga

  • Att förstå regressionsanalys gör att du kan tolka resultat i regressionstabeller
  • Låt oss återvända till tabellen vi såg tidigare

Tolka resultaten: inga kontroller

Tolka resultaten: med kontrollvariabler

  • Nu låt oss titta på den andra kolumnen