Datagrundlag og repræsentativitet

I rekrutteringsprocessen erfarede vi også, at mange skoler indlednings-vist valgte at sige ja til deltagelse i REDS, men trak sig, før de nåede at ud-fylde spørgeskemaer. Specifikt er der 25 skoler som indledningsvist har gi-vet positivt tilsagn om deltagelse, hvorefter tilkendegivelsen senere trækkes tilbage. Begrundelsen er typisk, at skolerne forventede, at situationen ville blive bedre, og dermed at de ville kunne finde tid til deltagelse. Imidlertid fortsatte nødundervisningen igennem hele dataindsamlingsperioden, hvil-ket skabte det ovenfor beskrevne arbejdspres, og det fik skolerne til at mel-de fra. Flere skoler begrunmel-der også mel-deres tilbagetrækning af positivt tilsagn med pludselig opstået smittespredning, sygemeldte lærere eller lærere, som blev henvist til isolation.

En anden meget fremtrædende begrundelse for ikke at deltage var, at deltagelse i REDS ikke er obligatorisk, samt at skoler bliver inviteret til man-ge andre undersøman-gelser, og dermed må de prioritere. Vi har selv erfaret det-te, fordi vi som tidligere nævnt tilstræbte at rekruttere det samme udtræk af skoler til at deltage i REDS og ICILS TP, hvilket tilvejebringer nogle for-dele i form af mulighed for at krydsanalysere de to datasæt. Imidlertid må vi konstatere, at denne ambition i høj grad har medført, at mange skoler helt har takket nej til deltagelse pga. de to undersøgelsers samlede omfang.

Endvidere er der flere skoler, som har valgt kun at deltage i én af de to un-dersøgelser. Konkret er der 45 skoler, som deltager i ICILS TP men ikke i REDS. Omvendt er der 28 skoler, som deltager i REDS men ikke i ICILS TP.

60 skoler deltager i begge undersøgelser. Igen er det arbejdspresset under coronapandemien, skolerne bruger som begrundelse for kun at deltage i én af de to undersøgelser.

3.5 Datagrundlag og repræsentativitet

IEA-undersøgelserne stiller høje krav til deltagelsesgraden. I REDS var det-te krav sat til 85 procent af de udvalgdet-te skoler og 85 procent fra en målgruppe på deltagende skoler (dvs. elever, lærere eller skoleledere) – eller en kombi-neret deltagelsesgrad på 75 procent.

Tabel 3.2 viser antal deltagere opdelt på målgrupperne. I Danmark deltog 64 skoler ud af 150 udtrukne i elevsurveyen, hvilket giver en deltagelsespro-cent på 43. Denne deltagelse er langt under kravet fra IEA, og det opvejes desværre ikke tilstrækkeligt af, at vi i Danmark opnåede en fin deltagelses-grad blandt eleverne på de deltagende skoler. Her deltog 1431 elever, hvilket udgør 89 procent af de udtrukne elever på de deltagende skoler. Alt i alt er

deltagelsesgraden for elevsurvey derfor ganske langt fra IEA’s krav (væg-tet kombineret deltagelsesprocent = 38,7). Og den er ikke betydeligt højere, når vi kigger på deltagerne i lærer- og skoleledersurveyen. I lærersurveyen deltog 66 af de udtrukne skoler (deltagelsesprocent = 44), mens 458 af de udvalgte lærere deltog inden for de deltagende skoler (deltagelsesprocent

= 63). I skoleledersurveyen opnåede Danmark deltagelse fra 60 på 150 ud-valgte skoler (deltagelsesprocent = 40).

Tabel 3.2 Deltagere afhængig af survey. Elev-, lærer- og skolelederstikprøve.

Elevsurvey Lærersurvey Ledersurvey

Lande Udtrukne

skoler

Skoler Elever Skoler Lærere Skoleledere

Burkina Faso 150 124 2474 127 992 138

Danmark 150 64 1431 66 458 60

Etiopen 190 185 3621 187 1719 186

Forenede Arabiske Emirater 200 171 2988 181 2661 172

Indien 215 184 859 184

Kenya 150 103 1570 95 773 102

Rusland 192 192 3516 192 2834 192

Rwanda 150 149

Slovenien 172 136 2552 134 1422 135

Uruguay 170 99 713 113

Usbekistan 150 149 2911 150 2573 150

Note:

Tomme celler viser, at et land ikke deltog med pågældende målgruppe i undersøgel-sen.

Høje deltagelsesrater er centrale for at kunne generalisere fra en tilfældigt udvalgt stikprøve om end høje deltagelsesrater også kan være svære at op-nå under ’normale omstændigheder’ (Meinck, Cortes, og Tieck 2017). Som tidligere omtalt var dataindsamlingsperioden i Danmark – fra slutningen af 2020 indtil midten af foråret 2021 – præget af hidtil usete udfordringer i form af en ny smittebølge og deraf følgende skolenedlukning, hvilket pres-sede skolerne på ressourcer. I det lys er den lave deltagelsesgrad ikke over-raskende. Men det rejser naturligvis en bekymring for hvorvidt den lave deltagelsesrate svækker muligheden for at generalisere fra stikprøve til po-pulation.

3.5 ⋅datagrundlag og repræsentativitet 33 Lave deltagelsesrater kan medføre nonrespons bias under visse betingel-ser. Det gælder, hvis der er en markant underrepræsentation af en gruppe i en stikprøve (fx elever fra lavere socioøkonomisk baggrund) og dette grup-pekarakteristika hænger tæt sammen med de(t) surveyspørgsmål, man un-dersøger. I så fald vil stikprøven ikke være repræsentativ for populationen i forhold til det specifikke outcome.

Som resultat af denne bekymring har vi gennemført en analyse af risiko-en for nonresponse bias blandt eleverne.⁴Det betyder, at vi har undersøgt, om de danske elever, der deltog i REDS, er systematisk forskellige fra den population af danske elever i 8. klasse, der er projektets målgruppe. For-målet med analysen var altså at identificere, om der er umiddelbar grund til at bekymre sig om stikprøven i forhold til populationen på observerede karakteristika.

For at undersøge repræsentativiteten har vi trukket på data om popu-lationen fra uddannelsesstatistik.dk fra samme år, som undersøgelsen blev gennemført – skoleåret 2020/2021. Vores opgørelse af populationen tog ud-gangspunkt i elever, der gik på skoler fra skolepopulationslisten fra ICILS 2018.⁵Med brug af data fra skoleåret 2020/2021 har vi opgjort, om eleverne i stikprøven adskiller sig fra eleverne i populationen i forhold til køn, for-ældres uddannelse, region, institutionstype, skolestørrelse og deres skoles elevgrundlag.

Tabel 3.3 præsenterer fordelingen blandt eleverne i stikprøven og i popu-lationen i forhold til de nævnte karakteristika. Fordelingen i stikprøven ba-serer sig på beregninger med designvægtede data, dvs. vægte, der tager høj-de for stikprøvehøj-designet. Den fjerhøj-de kolonne viser forskellen i procentpoint mellem størrelsen af en gruppe i stikprøven og i populationen. Standardfejl er beregnet ved hjælp af Jackknife-metoden, som er den gængse tilgang, når man beregner stikprøveusikkerheden ved brug af totrins klyngeudvælgel-se hos IEA (Fraillon m.fl. 2020a). Forskelle, der er statistisk signifikante, er markeret ved hjælp af stjerner.

4. Vi gennemførte ikke en analyse af repræsentativiteten blandt lærere og skoleledere, da vi ikke har haft adgang til information om lærer- og skolelederpoulationen på relevante ka-rakteristika (f.eks. køn og alder samt blandt lærerne om fordeling på skolekaka-rakteristika).

Derfor må vi i lyset af den lave deltagelsesgrad opfordre til, at lærer- og skolelederbesvarel-ser fortolkes med forsigtighed.

5. På denne liste indgik 1411 skoler. Siden 2017 er 48 skoler lukket, mens 42 har været del af en sammenlægning.

Tabel 3.3 Forskelle i observerede karakteristika på elevniveau. Pct.

Stikprøve Population Forskel Standardfejl Køn

Pige 52,8 49,3 3,5* 1,6

Forældres uddannelse

Har forælder med videregående uddannelse 56,7 59,9 -3,2 1,9 Region

Region Hovedstaden 27,8 29,3 -1,4 5,9

Region Midtjylland 29,1 24,3 4,8 6,2

Region Nordjylland 5,8 10,3 -4,5 2,3

Region Sjælland 13,6 15,2 -1,6 4,6

Region Syddanmark 23,7 20,9 2,8 5,6

Skoletype

Folkeskole 79,6 79,3 0,3 4,6

Fri- og privatskole 20,4 19,1 1,3 4,6

Andet 0,0 1,5 -1,5

-Skolestørrelse

Stor skole 44,0 42,4 1,6 6,4

Skolens elevgrundlag (herkomst)

Mange med dansk herkomst 54,7 55,6 -0,8 5,6

Skolens elevgrundlag (uddannelse) Mange med forældre med videregående udd.

34,1 41,1 -7,0 5,0

Note:

Vi har ikke modtaget data fra skolerne om 37 elevers køn. Information om elever-nes forældres uddannelse i stikprøven kommer fra spørgeskemadata.

Kodning af variable. Skolestørrelse. Stor: > 600 elever på skolen, Lille: <= 600 elever på skolen. Skolens elevgrundlag (herkomst). Mange: > 90 procent elever på skolen har dansk herkomst, Få: <= 90 procent elever på skolen har dansk her-komst. Skolens elevgrundlag (uddannelse). Mange: > 65 procent elever på skolen har mindst én forælder med videregående uddannelse, Få: <= 65 procent elever på skolen har mindst én forælder med videregående uddannelse.

*p < .05. **p < .01. ***p < .001.

Overordnet finder vi stort set ingen systematiske forskelle mellem eleverne, der har deltaget i undersøgelsen, og eleverne i 8.-klassepopulationen. Med hensyn til køn kan man se, at der er en lille overvægt af piger i stikprøven i forhold til populationen. En forskel, der er statistisk signifikant. Omvendt finder vi ingen systematiske forskelle, når det kommer til elevernes socioø-konomiske baggrund – her målt ved forældres uddannelse – eller når vi