Metodebilag Fleksibel tilrettelæggelse af skoledagen. Evaluering af rammeforsøg i folkeskolen Juni 2020

(1)

Metodebilag

Fleksibel tilrettelæggelse af skoledagen. Evaluering af rammeforsøg i folkeskolen Juni 2020

(2)

Indholdsfortegnelse

1. Indledning ... 1

Læsevejledning...1

2. Kvantitativ indholdsanalyse af skolernes ansøgninger og indberetninger ... 2

3. Registerdata og effektanalyser... 3

Mål for faglighed ...3

Mål for trivsel ...5

Difference-in-Difference analyse ...6

Matching ...9

Regressionsanalyser ...11

Registeranalysens datakilder ...17

Generaliserbarhed ...18

4. Surveys ... 19

Indekskonstruktion ...21

4.1.1 Indeks konstrueret på elevdata ...22

4.1.2 Indeks konstrueret på forældredata ...24

Regressionsanalyser ...26

4.2.1 Regressioner på elevdata ...26

4.2.2 Regressioner på forældredata ...30

5. Kvalitativ dataindsamling og analyse ... 36

Caseudvælgelse ...36

Kvalitative casebesøg ...36

5.2.1 Observationer ...37

5.2.2 Interview ...37

Kvalitativ indholdsanalyse af indsamlet kvalitativt data ...38

Kvalificeringsworkshop ...41

6. Appendix A. Observation- og interviewguides ... 42

Observationsguide ...42

Interviewguides ...43

6.2.1 Skoleledere...43

6.2.2 Lærere og pædagoger ...46

6.2.3 Elever ...49

(3)

1. Indledning

For at sikre et solidt grundlag for evalueringens analyser bygger evalueringen af rammeforsøget for fleksibel tilrettelæggelse på adskillige datakilder. Effekten af forsøget undersøges pba. af registers- data om de danske elevers trivsel, faglighed og socioøkonomiske baggrund, samt viden om indsatsen fra skolernes ansøgninger og indberetninger. Den oplevede virkning af indsatsen afdækkes gennem surveys med elever, forældre, lærere og skoleledere samt kvalitative casebesøg på 13 skoler. Implementeringen afdækkes ligeledes gennem surveys med lærere, skoleledere og skolechefer samt de kvalitative casebesøg.

Figur 1. Evalueringens datakilder

Dette bilagsmateriale beskriver den metodiske fremgangsmåde samt indeholder metodiske afrap- porteringer fra både den kvantitative og kvalitative analyse, herunder slutkodeliste, interviewguides samt variabellister og dokumentation for den statistiske analyse. Formålet med denne dokumentation er at skabe gennemsigtighed i analysearbejdet.

Læsevejledning

Følgende metodebilag præsenterer de forskellige datakilder og metoder, der er benyttet til at gen- nemføre evalueringen af rammeforsøget for mere fleksibel tilrettelæggelse af skoledagen. Først omhandler afsnit 2 skolernes ansøgninger og indberetninger samt behandlingen af disse. Afsnit 3 beskriver registerdata og præsenterer analysernes resultater samt forbeholdene for analyserne. Af- snit 4 beskriver surveys, der er foretaget i forbindelse med evalueringen blandt fem forskellige mål- grupper samt resultaterne af regressionsanalyserne. Afsnit 5 beskriver den kvalitative dataindsam-

(4)

2. Kvantitativ indholdsanalyse af skolernes ansøgninger og indberetninger

Udgangspunktet for undersøgelsen er skolernes ansøgning til deltagelse i forsøget. Samtlige an- søgninger er blevet kodet på baggrund af beskrivelsen af den/de indsats(er), skolen planlagde at implementere som følge af forsøget. Det blev ligeledes kodet, hvilke klassetrin, der skulle deltage i forsøget, hvor mange timer skoledagen skulle forkortes med mm. Endeligt blev bevæggrundene for deltagelse i forsøget kodet for at få et overblik over, hvad skolerne generelt forventede sig af at deltage i rammeforsøget. På denne måde blev alle relevante informationer fra ansøgningerne samlet i ét excel-dokument, hvor det var muligt at lave kvantitative opgørelser over indsatserne.

Den kvantitative indholdskodning gav således for det første et overblik over skolernes indsatser, hvilket udgjorde en grundig forståelse for forsøget. For det andet blev indholdsanalysen brugt til at udforme forandringsteorien for projektet, som efterfølgende dannede grundlag for både surveys og interviewguides til dataindsamlingen.

Da erfaringer med andre evalueringer har vist, at det, man som institution skriver i ansøgningen, ikke altid er det samme, som man rent faktisk ender med at implementere, bad vi i efteråret 2018 skolerne om at sende en indberetning over deres indsats(er). På dette tidspunkt havde forsøget været i gang i mere end et skoleår, og skolerne kunne derfor mere præcist beskrive deres indsats(er) end ved ansøgningstidspunktet i 2017. Indberetningen skulle indeholde kort beskrivelse af indsatsen/indsatserne, målgruppen, samt kontaktoplysninger på de relevante lærere for hver indsats. Indberetningerne udgjorde således både kontaktgrundlaget for lærersurveyen, samt informationer til register-analyserne om indsatstype og målgruppe.

I efteråret 2019 blev de skoler, der endnu ikke havde indsendt indberetninger kontaktet igen med henblik på at indhente indberetningen. Datagrundlaget endte med at være 44 indberetninger ud af 50 skoler. Kodningen af indsatstype og målgruppe blev efterfølgende koblet på registerdata for at kunne bruges i analyser af de enkelte indsatstyper.

(5)

3. Registerdata og effektanalyser

Den registerbaserede analyse af rammeforsøgets effekt på elevernes faglige og trivselsmæssige udvikling er overordnet set blevet belyst på fire niveauer:

1. Den overordnede effekt af rammeforsøget

2. Effekten for hver type kvalitetsunderstøttende indsats under rammeforsøget 3. Effekten afhængig af hvor mange timer skoledagen er forkortet med

4. Effekten for de fagligt svageste elever

I nedenstående redegøres for, hvorledes elevernes faglige- og trivselsmæssige udvikling måles, det anvendte forskningsdesign samt resultaterne fra regressionsanalyserne og matchingproceduren.

Mål for faglighed

For at måle elevernes matematik- og danskfærdigheder anvendes data fra de nationale tests (DNT). Fordelen ved at anvende de nationale tests fremfor eksempelvis karakterer er, at for de nationale tests kan elevernes scorer sammenlignes, selvom eleverne går på forskellige klassetrin i forskellige år.

Nedenstående tabel illustrerer hvilke målinger, der er brugt som før- og eftermåling for de elever, der har haft en indsats i skoleåret 2017/18 eller har haft en indsats i både skoleåret 2017/18 og 2018/19. For eleverne i 3. klasse til og med 7. klasse er de nationale test i dansk læsning og matematik færdighedsregning blevet brugt til at måle faglig progression.

Tabel 1: Målinger for de elever, der har haft en indsats i skoleåret 2017/18 eller skoleåret 2017/18 og 2018/19

Dansk Matematik

Førmåling Eftermåling Førmåling Eftermåling

Klasse Skoleår Klasse Skoleår Klasse Skoleår Klasse Skoleår

3. 2. 2016/17 4. 2018/19 . . . .

4. 2. 2015/16 4. 2018/19 . . . .

5. 4. 2016/17 6. 2018/19 3. 2015/16 6. 2018/19

6. 4. 2015/16 6. 2017/18 3. 2014/15 6. 2017/18

7. 6. 2016/17 8. 2018/19 6. 2016/17 8. 2018/19

8. 6. 2015/16 8. 2017/18 6. 2015/16 8. 2017/18

Uforarbejdet kan data fra de nationale tests ikke anvendes til at måle udvikling. For at blive i stand til at belyse elevernes læse- og matematikudvikling er det derfor først nødvendigt at sikre, at elevernes scorer kan sammenlignes, selvom eleverne går på forskellige klassetrin. Til det formål anvendes lineære transformationer af de skalaer, der er anvendt som grundlag for udarbejdelse af de nationale test. Transformationerne har taget udgangspunkt i tre ækvivaleringsstudier, som NordicMe-

(6)

mellem de testscores, der anvendes i analysen og percentilscores (decentilniveau) i de nationale tests.

Tabel 2: Sammenhæng mellem de i analysen anvendte scores og percentilscores i DNT

Læsefærdighed Matematikfærdighed Percentiler i DNT 2. kl. 4. kl. 6. kl. 8. kl. 3. kl. 6. kl. 8. kl.

10. percentil 255 600 875 995 437 745 935

20. percentil 410 720 970 1.100 534 815 1.005

30. percentil 520 805 1.035 1.165 596 860 1.050

40. percentil 605 870 1.080 1.220 647 897 1.087

50. percentil 685 930 1.130 1.270 694 930 1.120

60. percentil 745 975 1.175 1.310 738 968 1.158

70. percentil 815 1.030 1.225 1.365 786 1.008 1.199

80. percentil 890 1.095 1.285 1.420 844 1.057 1.248

90. percentil 1.010 1.190 1.385 1.520 930 1.130 1.321

Kilde: Vejledning til brug af Beregneren - matematik- og læseudvikling, ver. 5.2, 2019.

Vi ønsker at måle ét mål for elevernes matematikfærdigheder. Beregningen af en samlet matema- tikfærdighedsscore er kompliceret, da matematiske færdigheder er et sammensat fænomen. Den samlede score i de nationale tests kan ikke anvendes, da den er beregnet som et råt gennemsnit af percentilscorer (der er opgjort på ordinalskala-niveau), hvilket kan give anledning til fejlslutninger i tolkningen af skalaen. Fælles for stort set alle internationale matematiktest og folkeskolens prøve i matematik uden hjælpemidler er, at de er sammensat af en række underliggende ”dimensioner”. De mest almindelige dimensioner har samme indhold som profilområderne i de nationale test (Tal &

algebra, Geometri & måling og Matematik i anvendelse/Statistik & sandsynlighed). I de ækvivale- ringsstudier, som NordicMetrics foretog for Københavns og Aarhus Kommune, blev det beregnet, hvor stor betydning hver af de tre underdimensioner har for elevens samlede matematikfærdighe- der. På baggrund af resultaterne fra denne undersøgelse har vi derfor beregnet et vægtet gennemsnit af de tre profilområders scorer. Dette er blevet anvendt som den samlede matamatikscore i mo- dellerne.¹

I forhold til læsefærdigheder tager vi udgangspunkt i de nationale tests profilområde ”Tekstforstå- else”. Begrebet dækker over elevernes ”læseforståelse” og svarer til det læsebegreb, der anvendes i de internationale læseundersøgelser. De andre profilområder i de nationale tests - Afkodning og Sprogforståelse – er underskalaer til Tekstforståelsen.

Den nationale test i matematik gennemføres i 3., 6. og 8. klasse, mens den nationale test i dansk gennemføres i 2., 4., 6. og 8. klasse. Alt efter hvilket klassetrin en elev gik på, vil det derfor være forskelligt, hvilken måling, der kan bruges som før-/eftermåling. For de skoler, som har gennemført rammeforsøget i 2018/19 er det envidere ikke muligt at etablere en egentlig eftermåling, idet de nationale tests for skoleåret 2019/20 endnu ikke var gennemført på tidspunktet for evalueringen. Her

1 Se mere her om i vejledningerne til Beregneren.

(7)

anvendes derfor i stedet en ”slutmåling”, dvs. en måling af elevernes faglighed, som er gennemført i foråret 2018/19, mens rammeforsøget stadig var i gang.

Tabel 3: Målinger for elever med indsats i skoleåret 2018/2019

Dansk Matematik

Førmåling Slutmåling Førmåling Slutmåling

Klasse Skoleår Klasse Skoleår Klasse Skoleår Klasse Skoleår

4. 2. 2016/17 4. 2018/19 . . . .

5. 4. 2017/18 . . . .

6. 4. 2016/17 6. 2018/19 3. 2015/16 6. 2018/19

8. 6. 2016/17 8. 2018/19 6. 2016/17 8. 2018/19

Mål for trivsel

Elevernes trivsel er målt via de nationale trivselsundersøgelser.

Børne- og Undervisningsministeriet har udviklet indikatorer ², som på baggrund af udvalgte spørgs- mål fra trivselsundersøgelsen måler elevernes trivsel på fire underdimensioner samt den generelle skoletrivsel. Vores måling af elevernes trivsel baserer sig på disse fem indikatorer, som er opsum- meret nedenfor:

Tabel 4: De fem trivselsmål fra de nationale trivselsundersøgelser

1. Faglig trivsel: Omhandler elevernes oplevelse af egne faglige evner, koncentrationsevne og problemløsningsevne.

2. Social trivsel: Omhandler elevernes opfattelse af deres tilhørsforhold til skolen, klassen og fællesskabet, samt tryghed og mobning.

3. Støtte og inspiration: Omhandler elevernes oplevelse af motivation og medbestemmelse, samt af lærernes hjælp og støtte.

4. Ro og orden: Omhandler elevernes oplevelse af ro og støj i klassen samt klasseledelse.

5. Generel skoletrivsel: Er en samlet indikator bestående af de 29 spørgsmål, som indgår i de fire differentierede indikatorer.

Kilde: Styrelsen for IT og læring, Metodenotat: Beregning af indikatorer i den nationale trivselsmåling i folkeskolen.

Tabel 5 viser hvilke spørgsmål, der indgår i hvert af de fire trivselsmål: Faglig trivsel, social trivsel, støtte og inspiration, ro og orden. Den generelle skoletrivsel måles som et gennemsnit af førnævnte fire trivselsmål.

(8)

Tabel 5: Surveyspørgsmål til trivselsmål

Indeks Spørgsmål i trivselsmålingen (4.-9.klasse)

Faglig trivsel

• Hvad synes dine lærere om dine fremskridt i skolen?

• Lykkes det for dig at lære det, du gerne vil, i skolen?

• Hvor tit kan du finde en løsning på problemer, bare du prøver hårdt nok?

• Hvor tit kan du klare det, du sætter dig for?

• Kan du koncentrere dig i timerne?

• Jeg klarer mig godt i skolen

• Jeg gør gode faglige fremskridt i skolen

• Hvis jeg bliver forstyrret i undervisningen, kan jeg hurtigt koncentrere mig igen

Social trivsel -

• Er du glad for din skole?

• Er du glad for din klasse?

• Føler du dig ensom?

• Jeg føler, at jeg hører til på min skole

• Jeg kan godt lide pauserne i skolen

• De fleste af eleverne i min klasse er venlige og hjælpsomme

• Andre elever accepterer mig, som jeg er

• Er du bange for at blive til grin i skolen?

• Hvor ofte føler du dig tryg i skolen?

• Er du blevet mobbet i dette skoleår?

Støtte og in-

spiration -

• Hjælper dine lærere dig med at lære på nye måder, som virker godt?

• Undervisningen giver mig lyst til at lære mere

• Lærerne er gode til at støtte mig og hjælpe mig i skolen, når jeg har brug for det

• Er du og dine klassekammerater med til at bestemme, hvad I skal arbejde med i klassen?

• Lærerne sørger for, at elevernes ideer bliver brugt i undervisningen

• Er undervisningen kedelig?

• Er undervisningen spændende?

Ro og orden -

• Hvis der er larm i klassen, kan lærerne hurtigt få skabt ro

• Møder dine lærere præcist til undervisningen?

• Er det let at høre, hvad læreren siger i timerne?

• Er det let at høre, hvad de andre elever siger i timerne?

Generel sko-

letrivsel • - Et indeks med alle ovenstående spørgsmål

Difference-in-Difference analyse

Effektanalysens datastruktur kan karakteriseres som paneldata, der er kendetegnet ved gentagne observationer af en eller flere egenskaber for et antal enheder. Elevernes faglighed og trivsel obser- veres således både før rammeforsøget blev iværksat i skoleåret 2017/18 og efter. En fordel ved brugen af paneldata er, at den ved at være todimensionel inkluderer et større antal observationer

(9)

sammenlignet med eksempelvis tværsnitsdata og tidsseriedata. Herved tillader paneldata, at analysens parametre bliver estimeret med et større antal af frihedsgrader.

For at undersøge om rammeforsøget har medvirket til at styrke fagligheden og trivslen blandt de elever, der har deltaget i rammeforsøget, vil en mulig løsning - med afsæt i den beskrevne datastruktur - være at lave en simpel før- og eftermåling med elever fra skoler, hvor rammeforsøget er gennemført. Mere specifikt kunne elevernes faglighed og trivsel sammenlignes før og efter ramme- forsøget trådte i kraft i 2017/18. Ved at fokusere på ændringerne i de primære variable kontrollerer før- og eftermålingen for faktorer, der varierer på tværs af analyseenhederne, men er konstant over tid. Elevernes socioøkonomiske baggrund er et eksempel på en faktor, der varierer på tværs elever, men som på kort sigt kan antages at være konstant over tid. Elever med en stærk socioøkonomisk baggrund vil generelt forventes at have en bedre faglighed og trivsel end elever, der har en svag socioøkonomisk baggrund. Argumentet herfor er, at elever med en stærk socioøkonomisk baggrund blandt andet vil have mere ressourcestærke forældre, hvorfor eleverne i højere grad vil forventes at få hjælp til lektier mv.

Af nedenstående fremgår det matematisk, hvorledes en sammenligning af elevernes gennemsnitlige faglighed i skoleåret 2016/17 (før rammeforsøget) med elevernes gennemsnitlige faglighed i skoleåret 2019/2020 (efter rammeforsøget) kontrollerer for betydningen af tidsinvariante faktorer så- som elevernes socioøkonomiske baggrund:

Elevernes faglighedi2016/17 = β0 + β1Skoledag2016/17 + β2Socioøkonomisk baggrundi + εi2016/17

Elevernes faglighedi2019/20 = β0 + β1Skoledag2019/20 + β2Socioøkonomisk baggrundi + εi2019/20

Elevernes faglighedi2019/20 – Elevernes faglighedi2016/17 = β1(Skoledag2019/20 - Skoledag2016/17) + εi2019/20 - εi2016/17

Identifikationsantagelsen i før- og eftermålingen er derved, at udviklingen i elevernes trivsel og faglighed alene forårsages af rammeforsøget. Dette synes imidlertid at være en urealistisk antagelse, da en række faktorer også vil forventes at påvirke udviklingen i elevernes faglighed og trivsel. Ek- sempelvis bliver eleverne ældre i perioden og forbedrer dermed som regel deres læse- og matema- tikfærdigheder. Et andet eksempel herpå kan være det generelle fokus på undervisningskvaliteten i de danske folkeskoler. Netop undervisningskvaliteten var et af fokuspunkterne for den omfattende reform af de danske folkeskoler, der trådte i kraft i 2014. Reformen medvirkede blandt andet, at læ- rerne som noget nyt var forpligtet til at arbejde med mål for elevernes trivsel og læring. Med afsæt heri vil reformen forventes at have medvirket til at styrke elevernes faglighed og trivsel fra 2014 og frem. Eleverne vil således forventes at have en bedre faglighed og trivsel efter skoleåret 2016/17 uanset om rammeforsøget var blevet indført eller ej. Idet en simpel før- eftermåling ikke tager højde for tidsvariante faktorer såsom det generelle fokus på undervisningskvaliteten, vil deres indvirkning på elevernes faglighed og trivsel fejlagtigt blive tilskrevet som en effekt af rammeforsøget.

For at løsne identifikationsantagelsen anvender vi i stedet et Difference-in-Difference-design (DiD- design) til at undersøge, hvorvidt rammeforsøget har styrket elevernes faglighed og trivsel. DiD-designet beskrives ofte som et naturligt eksperiment, idet de institutionelle rammer omkring givne po- licy ændringer udnyttes til at konstruere ’naturligt opståede’ kontrol- og indsatsgrupper (Imbens og Woolbridge, 2008: 64-71). Forudsætningen for at modellere disse kontrol- og indsatsgrupper er, at

(10)

estimere effekter af politiske ændringer såsom rammeforsøget, der kun har haft en indvirkning på et specifikt sæt af elever.

DiD-designet kan anvendes til at estimere effekten af rammeforsøget ved at sammenligne indsats- og kontrolgruppen på to tidspunkter – før og efter rammeforsøget. Hvis indsatsgruppen – målt i forhold til elevernes faglighed eller trivsel – klarer sig bedre sammenlignet med kontrolgruppen efter rammeforsøget end før, kan rammeforsøget siges at have haft den tilsigtede effekt. Mere præcist udregnes DiD-effektestimatet som forskellen mellem den gennemsnitlige værdi af udfaldsmålet for indsatsgruppen efter rammeforsøget og den gennemsnitlige værdi af udfaldsmålet for kontrolgruppen fratrukket den tilsvarende forskel opgjort før rammeforsøget (Stock og Watson, 2015: 542-544).

DiD-effektestimatet kan udledes af nedenstående regressionsligning:

yi = α + β1Indsatsgruppei + β2Rammeforsøgi + β3Indsatsgruppei*Rammeforsøgi + εi,

Indsatsgruppei er en dummyvariabel, der har værdien 1, hvis eleven har været omfattet af rammefor- søget, og 0 hvis ikke. β1 er derved den estimerede forskel i yi mellem indsats og kontrolgruppen før interventionen. Rammeforsøgi er en dummyvariabel, der har værdien 1, hvis observationen er målt efter rammeforsøget startede, og ellers er lig med 0. β2 er således den gennemsnitlige forandring i yi

fra før til efter rammeforsøget for kontrolgruppen. Det er med andre ord den rene effekt af tid i fraværet af rammeforsøget. Aldersgruppei*Reformi er interaktionsleddet. β3 er derved DiD-estimatoren, dvs.

den estimerede effekt af rammeforsøget.

DiD-designet benytter således udviklingen i elevernes faglighed eller trivsel (outcome) i kontrolgruppen til at estimere den kontrafaktiske udvikling i elevernes faglighed og trivsel i indsatsgruppen i det tilfælde, at rammeforsøget ikke var blevet indført. Logikken er illustreret af nedenstående figur:

(11)

Figur 2: Effekt af indsats

Hvor indsats- og kontrolgruppen i et traditionelt eksperimentdesign skal være gennemsnitlig ens, tillader DiD-designet, at de kan have forskellige gennemsnitlige værdier for analysens afhængige variabel før indsatsen. Idet DiD-effektestimatet fokuserer på ændringer i elevernes faglighed og trivsel, justeres der således for eventuelle niveauforskelle i elevernes faglighed og trivsel på tværs af indsats- og kontrolgruppen før indsatsen (Stock og Watson, 2015: 542). Identifikationsantagelsen er i stedet, at indsats- og kontrolgruppen har common trends. Dvs. at indsats- og kontrolgruppen ville have udviklet sig på samme måde ift. trivsel og faglighed (trend), hvis rammeforsøget ikke var blevet gennemført (Angrist og Pischke, 2014: 183-187). Hvis antagelsen ikke er opfyldt, kan DiD-metoden give et misvisende billede af rammeforsøgets faktiske effekt (Schlotter, Schwerdt og Woess- mann, 2011: 124-127).

Matching

Ved at vælge en indsats- og kontrolgruppe, der bortset fra indsatsen minder mest muligt om hinan- den, kan risikoen mindskes for, at den centrale antagelse bag DiD-metoden (common trends) ikke er opfyldt. Herved er der mindre sandsynlighed for, at indsats- og kontrolgruppen ville have udviklet sig forskelligt med hensyn til udfaldsmålet (trivsel og faglighed), hvis rammeforsøget ikke var blevet gennemført (De Økonomiske Råd, Efterår 2015: 254). Man kan eksempelvis forestille sig, at elever på indsatsskolerne generelt har lidt bedre læse- og matematikfærdigheder end den gennemsnitlige

(12)

anvendte alle elever udenfor indsatsgruppen som kontrolgruppe, ville vi derfor tilskrive rammeforsø- get en negativ effekt. Eleverne i indsatsgruppen ville udvikle sig fagligt mindre end elever i kontrolgruppen, men ikke på grund af indsatsen.

For at imødekomme ovennævnte udfordring har vi fremmet sammenligneligheden mellem indsats- og kontrolgruppen. Ved at anvende matching metoden ’Coarsened Exact Matching’ (CEM) skaber vi en kontrolgruppe bestående af elever, som er magen til indsatsgruppen ift. en række udvalgte kendetegn.Tabel 6 herunder viser hvilke kendetegn kontrolgruppen er sammensat ud fra.

CEM-algoritmen består af i alt tre skridt. Først opdeles de udvalgte kovariater i en række menings- fulde kategorier. Herefter opdeles samtlige enheder i den initiale i en række strata baseret på deres værdier på kovariaterne. Afslutningsvist fjernes hver observation, der ikke er en del af et stratum med minimum én indsatsenhed og én kontrolenhed. Således er kontrol- og indsatsgruppen efter matchingen ens ift. kendetegnene oplistet i Tabel 6.

Tabel 6: Kendetegn, som kontrolgruppen sammensættes ud fra

Karakteristika

Elevens

Køn

Klassetrin i 2016 Etnicitet

Kommune som skolen ligger i

Forældrenes

Indkomst

Højest fuldførte uddannelse Tilknytning til arbejdsmarkedet Moderens alder ved fødslen Etnicitet

(13)

Regressionsanalyser

Nedenfor præsenteres regressionsanalyser for det ovenfor beskrevne data. Vi anvender som nævnt et DiD-design og en statistisk matchet kontrolgruppe. Kolonnerne i tabellen angiver hvilken af- hængig variabel, der er analysens fokus.

I tabel 7 og 8 belyses betydningen af rammeforsøget samlet set – dvs. for alle elever under ét. I disse to tabeller angiver rækken Eftermåling*Indsatsgruppe den beregnede betydning af rammefor- søget. Da vi anvender et DiD-design viser effektmålet, hvor meget mere/mindre elever, som deltog i rammeforsøget har udviklet sig på en given parameter sammenlignet med kontrolgruppen. Fx er effektmålet i tabel 7 kolonne 1 beregnet til -6.2. Resultatet kan tolkes på følgende måde: Elever, som deltog i rammeforsøget, oplevede fra før til efter rammeforsøget i gennemnsit en udvikling i læ- sefærdigheder, som var 0,6 point højere end udviklingen i kontrolgruppen. Forskellen på udviklingen i de to grupper er dog ikke statistisk signifikant (der er ingen stjerner ud for resultatet).

I tabel 9 og 10 beregnes betydningen af rammeforsøgets indsatstyper. Eftermåling*Holddeling angiver eksempelvis den beregnede betydning af holddeling.

I tabel 11 – 18 beregnes betydningen af rammeforsøget for forskellige elevmålgrupper. Tabelover- skrifterne angiver, hvilken elevmålgruppe, der er analysens fokus. Her er det igen rækken Eftermå- ling*Indsatsgruppe, som viser den beregnede betydning af rammeforsøget.

Tabel 7: Samlet effekt for elever af rammeforsøget (1)

(1) (2) (3) (4)

Læsefærdigheder Matematikfær-

digheder Generel trivsel Faglig trivsel

Eftermåling 213.2^*** 215.2^*** -0.105^*** -0.0671^***

(4.127) (4.150) (0.0129) (0.0137)

Indsatsgruppe 0.608 -10.09 -0.0149 -0.0188

(22.33) (20.97) (0.0196) (0.0205)

Eftermåling*

Indsatsgruppe

-6.220 -1.508 0.00944 -0.00699

(7.260) (7.212) (0.0195) (0.0205)

Konstant 934.5^*** 880.3^*** 3.804^*** 3.717^***

(11.55) (11.85) (0.0139) (0.0145)

N 56.456 35.646 33.356 33.356

Note: Klynge-robuste standardfej i parantes. Klynger udgør af skolespecifikke klassetrin. ^* p < 0.05, ^** p < 0.01, ^*** p <

0.001

(14)

Tabel 8: Samlet effekt for elever af rammeforsøget (2)

(5) (6) (7)

Social trivsel Støtte og inspiration Ro og orden

Eftermåling -0.0764^*** -0.241^*** -0.0138

(0.0162) (0.0165) (0.0182)

Indsatsgruppe -0.00840 -0.00755 -0.0393

(0.0223) (0.0292) (0.0256)

Eftermåling*

Indsatsgruppe

0.0145 0.0118 0.0269

(0.0232) (0.0263) (0.0281)

Konstant 4.191^*** 3.355^*** 3.796^***

(0.0164) (0.0194) (0.0173)

N 33.356 33.356 33.356

0.001

Tabel 9: Rammeforsøgets effekt for elever opdelt på indsatstyper (1)

(1) (2) (3) (4)

Eftermåling 213.2^*** 215.2^*** -0.105^*** -0.0671^***

(4.127) (4.150) (0.0129) (0.0137)

Eftermåling*

Blandet

-18.45 -11.66 0.0178 -0.00585

(10.13) (8.729) (0.0249) (0.0281)

Eftermåling*

Turbotalent

-5.102 2.541 0.0628 0.0624

(20.55) (11.24) (0.0544) (0.0572)

Eftermåling*Tem atiskindsats

-2.026 7.296 0.0727 0.0585

(14.63) (14.12) (0.0476) (0.0424)

Eftermåling*Tol ærerordning

9.214 15.18 -0.0228 -0.0281

(16.46) (17.62) (0.0316) (0.0327)

Eftermåling*

Holddeling

0.991 -1.464 -0.0396 -0.0550

(14.28) (17.34) (0.0310) (0.0303)

Konstant

934.7^*** 878.1^*** 3.801^*** 3.713^***

(1.753) (1.755) (0.00521) (0.00549)

N 56.456 35.646 33.356 33.356

0.001

(15)

Tabel 10: Rammeforsøgets effekt for elever opdelt på indsatstyper (2)

(5) (6) (7)

Eftermåling -0.0764^*** -0.241^*** -0.0138

(0.0162) (0.0165) (0.0182)

Eftermåling* Blandet 0.0120 0.0498 0.0233

(0.0276) (0.0328) (0.0381)

Eftermåling* Turbotalent 0.0917 -0.0295 0.152

(0.0539) (0.0710) (0.0785)

Eftermåling*Tematiskindsats 0.0827 0.0465 0.126

(0.0555) (0.0681) (0.0651)

Eftermåling*Tolærerordning -0.0133 -0.0317 -0.0176

(0.0408) (0.0449) (0.0416)

Eftermåling*Holddeling -0.0239 -0.0494 -0.0289

(0.0371) (0.0522) (0.0479)

Konstant 4.189^*** 3.353^*** 3.787^***

(0.00642) (0.00678) (0.00745)

N 33.356 33.356 33.356

0.001

Tabel 11: Rammeforsøgets effekt for elever på skoler med høj motivation (1)

(1) (2) (3) (4)

Eftermåling 213.2^*** 215.2^*** -0.105^*** -0.0671^***

(4.127) (4.150) (0.0129) (0.0137)

Indsatsgruppe 12.05 -0.379 -0.00385 -0.00521

(23.87) (22.30) (0.0200) (0.0211)

Eftermåling* Ind- satsgruppe

-7.973 -4.569 0.00502 -0.00784

(7.604) (7.297) (0.0197) (0.0210)

Konstant 934.5^*** 880.3^*** 3.804^*** 3.717^***

(11.55) (11.85) (0.0139) (0.0145)

N 54.746 34.600 32.348 32.348

0.001

(16)

Tabel 12: Rammeforsøgets effekt for elever på skoler med høj motivation (2)

(5) (6) (7)

Eftermåling -0.0764^*** -0.241^*** -0.0138

(0.0162) (0.0165) (0.0182)

Indsatsgruppe 0.00784 -0.00935 -0.0248

(0.0224) (0.0307) (0.0267)

Eftermåling* Indsatsgruppe 0.00699 0.00998 0.0195

(0.0238) (0.0264) (0.0290)

Konstant 4.191^*** 3.355^*** 3.796^***

(0.0164) (0.0194) (0.0173)

N 32.348 32.348 32.348

0.001

Tabel 13: Rammeforsøgets effekt for elever på skoler, der tidligere har afholdt de samme eller lignende indsatser (1)

(1) (2) (3) (4)

Eftermåling 213.2^*** 215.2^*** -0.105^*** -0.0671^***

(4.127) (4.150) (0.0129) (0.0137)

Indsatsgruppe -0.327 -16.04 -0.0278 -0.00490

(29.63) (28.63) (0.0241) (0.0271)

Eftemåling* Ind- satsgruppe

3.059 2.332 0.0131 -0.0178

(10.10) (10.16) (0.0255) (0.0287)

Konstant 934.5^*** 880.3^*** 3.804^*** 3.717^***

(11.55) (11.85) (0.0139) (0.0145)

N 50.516 31.708 29.234 29.234

0.001

(17)

Tabel 14: Rammeforsøgets effekt for elever på skoler, der tidligere har afholdt de samme eller lignende indsatser (2)

(5) (6) (7)

Eftermåling -0.0764^*** -0.241^*** -0.0138

(0.0162) (0.0165) (0.0182)

Indsatsgruppe -0.0220 -0.0399 -0.0711^*

(0.0283) (0.0364) (0.0285)

(0.0287) (0.0340) (0.0362)

Konstant 4.191^*** 3.355^*** 3.796^***

(0.0164) (0.0194) (0.0173)

N 29.234 29.234 29.234

0.001

Tabel 15: Rammeforsøgets effekt for elever på skoler, der ikke anvendte § 16 b inden indsatsen (1)

(1) (2) (3) (4)

Eftermåling 213.2^*** 215.2^*** -0.105^*** -0.0671^***

(4.127) (4.150) (0.0129) (0.0137)

Indsatsgruppe -21.34 -28.76 -0.0205 -0.0319

(22.16) (21.00) (0.0211) (0.0213)

Eftermåling*Inds agruppe

-3.364 1.060 0.000799 -0.0115

(7.678) (7.699) (0.0203) (0.0210)

Konstant 934.5^*** 880.3^*** 3.804^*** 3.717^***

(11.55) (11.85) (0.0139) (0.0145)

N 54.856 34.340 32.152 32.152

0.001

(18)

Tabel 16: Rammeforsøgets effekt for elever på skoler, der ikke anvendte § 16 b inden indsatsen (2)

(5) (6) (7)

Eftermåling -0.0764^*** -0.241^*** -0.0138

(0.0162) (0.0165) (0.0182)

Indsatsgruppe -0.0233 0.00365 -0.0376

(0.0232) (0.0317) (0.0281)

Eftermåling* Indsatsgruppe 0.0157 -0.00993 0.0102

(0.0240) (0.0273) (0.0299)

Konstant 4.191^*** 3.355^*** 3.796^***

(0.0164) (0.0194) (0.0173)

N 32.152 32.152 32.152

0.001

Tabel 17: Rammeforsøgets effekt for de fagligt svageste elever (1)

(1) (2) (3) (4)

Eftermåling 278.3^*** 254.0^*** 0.134^*** 0.125^***

(6.251) (5.022) (0.0184) (0.0208)

Indsatsgruppe 2.148 -0.786 -0.00511 0.0118

(24.07) (19.96) (0.0164) (0.0210)

Eftermåling*

Indsatsgruppe

6.716 -3.927 0.0110 -0.0129

(10.16) (9.002) (0.0265) (0.0319)

Konstant 762.0^*** 754.3^*** 3.313^*** 3.250^***

(11.82) (10.41) (0.0135) (0.0141)

N 24.232 17.232 10.878 10.878

0.001

(19)

Tabel 18: Rammeforsøgets effekt for de fagligt svageste elever (2)

(5) (6) (7)

Eftermåling 0.160^*** 0.0494 0.238^***

(0.0208) (0.0290) (0.0265)

Indsatsgruppe -0.00960 -0.00725 -0.0262

(0.0273) (0.0303) (0.0290)

(0.0338) (0.0375) (0.0366)

Konstant 3.680^*** 2.834^*** 3.359^***

(0.0211) (0.0214) (0.0218)

N 10.878 10.878 10.878

0.001

Registeranalysens datakilder

Registerundersøgelsen er baseret på data fra Danmarks Statistik (DST) om karakteristika ved eleverne og deres forældre samt på udtræk fra Styrelsen for IT og Læring (STIL) omkring elevernes svar i trivselsundersøgelsen og de nationale test i dansk og matematik. Tabellen herunder viser hvilken type data, der er indhentet fra DST og STIL.

Herudover er registerundersøgelsen beriget med informationer om hvilke skoler, der har deltaget i rammeforsøget, hentet fra ansøgningsskemaerne samt fra survey gennemført med skolerne, om hvorvidt skolerne har gjort brug af dispensationen, de har fået tildelt.

(20)

Tabel 19: Oversigt over registerundersøgelsens datagrundlag

Datakilde Datagrundlag Variable

De nationale test

Få en indikator for elevens

faglige niveau før og efter deltagelse i rammeforsøget

• Elevernes score i dansk ved de nationale tests i 2., 4., 6. og 8. klasse

• Elevernes score i matematik ved den nationale test i 3., 6. og 8. klasse

Den nationale triv- selsmåling

Undersøge elevernes trivsel før og efter deltagelse i rammeforsøget

• Før- og eftermåling af elevernes trivsel baseret på de nationale trivselsmålinger

Data om elever fra Danmarks Statistik

Viden om karakteristika ved eleverne

• Køn

• Alder Data om elevernes

forældre fra Dan- marks

Statistik

Viden om elevernes sociale baggrund

• Etnicitet

• Højest gennemførte uddannelse

• Indkomst

• Tilknytning til arbejdsmarkedet

• Moderens alder ved fødslen

Generaliserbarhed

I registeranalyserne er effekten af rammeforsøget på elevernes faglige og trivselsmæssige udvikling undersøgt for 44 af deltagerskolerne. I hvilken grad resultaterne kan generaliseres til landets andre folkeskoler, afhænger blandt andet af om indsatsskolerne adskiller sig systematisk fra landets andre folkeskoler på en måde, der vil forventes at påvirke effekten af rammeforsøget. For at undersøge hvorvidt dette er tilfældet sammenlignes de 44 deltagerskoler, der har indgået i registeranalyserne, med landsgennemsnittet for de danske folkeskoler på tværs af en række centrale parametre.

Deltagerskolerne er en smule større end den gennemsnitlige danske folkeskole. Udover dette er der dog kun mindre forskelle mellem indsatsskolerne og den gennemsnitlige danske folkeskole på de resterende parametre. Resultatet af balancetesten er derfor samlet set, at deltagerskolerne er sammenlignelige med de resterende folkeskoler i landet.

(21)

Tabel 20: Balancetabel

Skoleåret 2016/17 Landsgennemsnit Deltagerskolers

gennemsnit Forskel

Antal elever 433,18 570,07 136,89

Andel drenge 51,56 % 51,18% -0,38%-point

Andel piger 48,44% 48,82% 0,38%-point

Andel elever, der modtager

specialundervisning 2,83% 3,33% 0,50%-point

Andel danske 87,56% 85,58% -1,98%-point

Andel anden herkomst 12,44% 14,12% 1,68%-point

Faglig trivsel 3,74 3,74 -0,01

Ro og orden 3,77 3,77 0,01

Social trivsel 4,13 4,13 0,00

Støtte-inspiration 3,26 3,28 0,01

Øvrig trivsel 3,60 3,61 0,01

Samlet trivsel 3,76 3,77 0,00

Afgangskarakterer i matematik 6,77 6,41 -0,36

Afgangskarakterer i dansk 6,85 6,66 -0,18

Kilde: Uddannelsesstatistik.dk

4. Surveys

Den kvantitative dataindsamling består af surveys blandt kommuner, skoleledere, lærere, elever og forældre dvs. fem surveys i alt. Formålet med surveyindsamlingen er at indsamle viden om de invol- verede aktørers erfaringer med forsøget, herunder udfordringer ved gennemførslen samt de fordele, de ser ved forsøget. I surveyen blandt forældre og skoleledere er der både indhentet besvarelser fra skoler, der deltog i rammeforsøget, og skoler, der ikke gjorde. Det skaber et sammenlig- ningsgrundlag, så besvarelserne fra forældre og ledere på skoler i rammeforsøget kan sammenlignes med besvarelser fra forældre og ledere på skoler, der ikke deltager i rammeforsøget. På den måde kan eventuelle fordele og/eller ulemper ved forsøget skildres mere tydeligt.

Tabellen nedenfor giver et overblik over de fem surveys. Tabellen beskriver dels de forskellige mål- grupper for surveys, datagrundlaget, populationen, tidspunkt for måling samt dataindsamlingsmeto- den.

(22)

Tabel 21: Surveys: Målgruppe, datagrundlag og vurdering af vidensniveau

Målgruppe Datagrundlag Population / stikprøve Tidspunkt(er) Dataindsamling Elever

(Som deltager i rammeforsø- get)

Deltog i 2018/19 (både midtvejs- og slutmåling):

1.836 elever fra 35 forskellige skoler.

Populationsundersøgelse med 50 inviterede skoler.

Midtvejs-survey gennem- ført midt i sko- leåret

2018/19.

Slut-survey gennemført i slutningen af skoleåret 2018/19

Eleverne besvarer en online survey i klassen via UNI-Login.

Kontaktpersonen på hver skoler har ansva- ret for, at relevante elever gennemfører undersøgelserne.

Kommune (Skolechefen i kommunen)

30 skolechefer fra 27 kommuner har deltaget.

Svarprocent: 94%

Populationsundersøgelse med 32 inviterede skolechefer³ fra 29 kommuner.

Survey gen- nemført i star- ten af skole- året 2018/19.

Invitation og påmin- delse på e-mail samt telefonisk opfølgning.

Forældre (Forældre til de elever, der deltager i elevsurveyen samt landsre- præsentativ forældrestik- prøve)

Forsøgsgruppe:

918 forældre Kontrolgruppe:

520 forældre

Populationsundersøgelse samt landsrepræsentativ undersøgelse

Begge surveys blev gennem- ført i slutningen af skole- året 2018/19.

Forsøgsgruppe: Invi- tation og påmindelse gennem skolens intra- net.

Kontrolgruppe: Gen- nemførelse af dataindsamling via inter- netpaneler

Skoleledere Forsøgsgruppe:

45 besvarelser Kontrolgruppe:

63 besvarelser

Populationsundersøgelse blandt skoleledere på de 50 skoler, som har deltaget i rammeforsøget. Der- til stikprøve af danske folkeskoler, der ikke har deltaget i rammeforsøget, men halvdelen har benyttet § 16 b

Survey gen- nemført i star- ten af skole- året 2018/19.

Invitation og påmin- delse på e-mail samt telefonisk opfølgning.

Lærere (Identificeres via indberet- ninger fra sko- lernes kontakt- personer)

149 lærere har deltaget i både midtvejs- og slut- måling. 222 læ- rere har svaret på slutmålingen.

Udsendt til 576 lærere.

Svarprocent: 26%

Populationsundersøgelse blandt alle lærere, som har undervist i klasser, der har indgået i ramme- forsøget

Midtvejs-survey gennem- ført midt i sko- leåret

2018/19.

Slut-survey gennemført i slutningen af skoleåret 2018/19.

Invitation og påmin- delse på e-mail

*Note: Survey til forældregruppen er kørt over Epinions Danmarkspanel, hvorfor der ikke er tal på antallet af invitatio- ner, men kun på antal besvarelser.

3 I Aarhus og Københavns Kommune er der flere områdechefer på skoleområdet. Derfor er spørgeskemaet sendt til tre områdechefer i København og to områdechefer i Aarhus.

(23)

I surveyene stilles de forskellige respondentgrupper ofte de samme spørgsmål. Det giver god mulig- hed for at triangulere svarene og belyse et emne fra forskellige vinkler. Det betyder dog ikke, at svarene vægtes ligeværdigt i alle sammenhænge. Fx er der emner, hvor skolerne har bedre indsigt end forældre og kommuner. Det gælder fx ift. hvordan, eleverne indgår i undervisning samt deres triv- selsmæssige og faglige udbytte af undervisningen. Forældrene må derimod forventes at have bedre kendskab til, om eleverne formår at have balance mellem skole og fritidsliv end ledere og læ- rere.

Når der præsenteres udviklinger over tid for elever og lærere, præsenteres resultaterne kun for de respondenter, der både har besvaret midtvejs- og slutmålingen. Når der rapporteres mål, der går direkte på en vurdering af forsøget, rapporteres besvarelser fra alle de respondenter, der har besvaret slutmålingen, da hele denne gruppe vurderes at kunne give det mest valide svar på det kon- krete effektmål. Få steder benyttes respondenterne fra midtvejsmålingen særligt i forbindelse med beskrivelser af indsatserne. Noten under hver tabel i rapporten beskriver, hvilken gruppe resultaterne er bygget på.

I aflæsning af resultaterne over tid må dataindsamlingstidspunktet desuden tages in mente, særligt på elevniveau. Der er, som det kan læses af ovenstående tabel, ikke tale om en før- og eftermåling, men en midt- og slutmåling, fordi den første måling først blev foretaget i november-december 2018, hvor forsøget allerede var gået i gang. Slutmålingen blev derefter gennemført i maj-juni 2019, altså lige op til skolernes sommerferie. Udviklingen over tid belyst af survey-data kan således kun ud- trykke ændringen på de seks måneder og ikke en ændring fra før til efter forsøget trådte i kraft.

Indekskonstruktion

I analyserne af surveydata er der konstrueret en række indeks på elevdata og forældredata. Forde- len ved at anvende indeks er at man kan måle komplicerede begreber som ”trivsel” ved at se på tværs af elevens svar på flere spørgsmål. Hver spørgsmål afspejler en delmængde af elevens trivsel og gør os lidt klogere på elevens faktiske trivsel.

Følgende retningslinjer er blevet benyttet i faktoranalyserne og indekskonstruktionerne.

• Faktoranalyserne er foretaget med Principal Axis Factoring. Som udgangspunkt benyttes krite- riet, at alle faktorer med en Eigenværdi over 1 udtrækkes, med mindre der er en klar struktur i data, der taler for et andet antal faktorer.

• Faktoranalyserne beregnes på baggrund af de respondenter, der har besvaret alle spørgsmål, som medtages i faktoranalysen. Derfor kan antallet af respondenter i faktoranalysen godt afvige fra antallet af respondenter i det endelige indeks.

• Spørgsmål med lave faktorloadings i faktoranalysen sorteres fra, inden det endelige indeks konstrueres, med mindre der er stærke teoretiske argumenter for at inkludere spørgsmålet alligevel.

• Når udvælgelsen af spørgsmål til det endelige indeks er foretaget på baggrund af faktoranalysen, konstrueres indeksene ud fra respondentens gennemsnit på spørgsmålene i indekset. Re- spondenten skal have besvaret minimum halvdelen af de spørgsmål, som ligger til grund for indekset og tildeles i så fald gennemsnittet på de spørgsmål i indekset, som respondenten ikke har besvaret, som værdi på det endelige indeks.

• Alle endelige indeks er skaleret fra 1-5, hvor høje værdier angiver en positiv opfattelse af det givne begreb (eksempelvis ’Høj trivsel’).

(24)

• Reliabilitetsmålet (Cronbach’s alpha) er beregnet for de respondenter, der har besvaret alle spørgsmål i indekset, mens den afrapporterede fordeling på indekset er baseret på alle respondenter med en værdi på indekset (det vil sige alle respondenter, der har besvaret mindst et af de spørgsmål, som indekset er konstrueret ud fra).

4.1.1 Indeks konstrueret på elevdata

Trivsel

Trivsel indebærer at eleverne har det godt, når de er i skole, fx om de føler, de har venner i klassen, og at det generelt er rart at komme i skole. Indekset måler således, i hvor høj grad eleverne trives generelt i skolen. Dette trivselmål er dannet på baggrund af surveydata og stammer derfor ikke fra de nationale trivselsmålinger. Dog er spørgsmålene brugt i surveyen inspireret af de nationale triv- selsmål.

De udvalgte variable og deres faktorloadings kan ses i nedenstående tabel.

Tabel 21: Faktoranalyse: Trivsel

Spørgsmålsformulering Loadings⁴

De fleste af eleverne i min klasse er venlige og hjælpsomme 0,710 Der er sjældent konflikter mellem eleverne i min klasse (om-

vendt) 0,326

Jeg har lyst til at komme i skole 0,500

Jeg har flere gode venner i klassen 0,716

Note: Udtrækningsmetode: Principal Factor Analysis. 1 faktor med en Eigenværdi over 1 er udtrukket. N = 1.657.

Cronbach’s alpha = 0,618.

Faglig trivsel

Faglig trivsel omhandler elevernes trivsel på det faglige plan, altså om de har det godt i det faglige miljø og fx deltager aktivt i timerne og synes, at undervisningen er spændende. Indekset måler såle- des, om eleverne trives i det faglige miljø (i modsætning til ”trivsel”, der omhandler den mere generelle og sociale trivsel).

4 Loadings er for indekset som det er konstrueret pba. midtvejsmålingen. Loadings for indeks pba. slutmålingen ligger på samme niveau undtagen for item 3, hvor loading stiger til 0,627.

(25)

Tabel 22: Faktoranalyse: Faglig trivsel

Spørgsmålsformulering Loadings⁵

De ting, vi lærer i løbet af året er relevante 0,580

Jeg lærer meget nyt 0,753

Jeg klarer mig fagligt godt i skolen 0,451

Cronbach’s alpha = 0,613. Et item er frasorteret pba. Lav loading (0,2) i faktoranalysen.

Balance mellem skole og fritid

Et relevant emne i forbindelse med rammeforsøget er elevernes balance mellem skole og fritid, idet eleverne får forkortet deres skoledag og dermed forventes at have bedre forudsætninger for at føle balance mellem skole og fritid. Indekset måler således, om eleverne oplever at have tid til de ting, de gerne vil i fritiden.

Tabel 23: Faktoranalyse: Balance mellem skole og fritid

Spørgsmålsformulering Loadings⁶

Jeg er frisk og udhvilet til at komme i skole 0,389

Jeg har tid til at gå til fritidsaktiviteter 0,620

Jeg har tid til at lave de lektier, jeg får for derhjemme 0,673 Det sker ofte, at jeg ikke kan nå alt det, jeg gerne vil i løbet af

dagen (omvendt) 0,420

Hvad synes du om skoledagens længde? (omkodet⁷) 0,468

Motivation

Dette indeks beskriver elevernes motivation i skolen særligt i forhold til de faglige aktiviteter i løbet af skoledagen. Indekset omfatter derfor elevernes oplevelse af deres forberedelse til samt aktivitet og koncentration i timerne.

(26)

Tabel 24: Faktoranalyse: Motivation

Spørgsmålsformulering Loadings⁸

Jeg er forberedt til timerne 0,608

Jeg deltager aktivt i timerne 0,570

Jeg kan koncentrere mig i timerne 0,648

Undervisningen er spændende 0,509

Uddannelsesparathed

Uddannelsesparathed indebærer elevers forudsætninger for at vælge og gennemføre en ungdomsuddannelse efter folkeskolen. Indekset måler således, om eleverne føler sig i stand til at træffe et valg om uddannelse og efterfølgende gennemføre den efter folkeskolen.

Indekset er kun baseret på udskolingselever.

Tabel 25: Faktoranalyse: Uddannelsesparathed

Spørgsmålsformulering Loadings⁹

Jeg føler mig informeret om, hvilke muligheder der er efter fol-

keskolen 0,528

Jeg føler mig afklaret om, hvad jeg vil efter folkeskolen 0,737 Jeg føler mig parat til at starte på en ungdomsuddannelse efter

folkeskolen 0,773

Note: Udtrækningsmetode: Principal Factor Analysis. 1 faktor med en Eigenværdi over 1 er udtrukket. N = 504.

4.1.2 Indeks konstrueret på forældredata

Balance mellem skole og fritid

Et relevant emne i forbindelse med rammeforsøget er elevernes balance mellem skole og fritid, idet eleverne får forkortet deres skoledag og dermed forventes at have bedre forudsætninger for at føle balance mellem skole og fritid. Dette indeks måler således forældrenes oplevelse af, om deres barns hverdag er præget af en fornuftig balance mellem skole og fritid.

8 Loadings er for indekset som det er konstrueret pba. midtvejsmålingen. Loadings for indeks pba. slutmålingen ligger på et niveau med lidt højere loadings på alle items.

(27)

Tabel 26: Faktoranalyse: Balance mellem skole og fritid

Spørgsmålsformulering Loadings

Mit barn er frisk og udhvilet til at komme i skole 0,418

Mit barn har tid til at gå til fritidsaktiviteter 0,667

Mit barn har tid til at lave sine lektier derhjemme 0,647

Mit barn har en god balance mellem skole og fritid i sin hver-

dag 0,839

Mit barn har tid til at lave de ting i sin fritid, som han/hun øn-

sker at lave 0,852

Mit barn har svært ved at leve op til de krav, der stilles i hver-

dagen (omvendt) 0,532

Mit barn har en travl hverdag (omvendt) 0,466

Trivsel

Trivsel indebærer at eleverne har det godt, når de er i skole, fx om de føler, de har venner i klassen, og at det generelt er rart at komme i skole. Dette indeks måler således, i hvor høj grad forældrene oplever, at deres børn generelt trives i skolen.

Tabel 27: Faktoranalyse: Trivsel

Mit barn har lyst til at komme i skole 0,870

Mit barn har flere gode venner i klassen 0,524

Mit barn har ofte ondt i hovedet, ondt i maven eller kvalme før skole 0,563

Motivation

Dette indeks beskriver forældrenes oplevelser af elevernes motivation i skolen særligt i forhold til de faglige aktiviteter i løbet af skoledagen. Indekset omfatter derfor forældrenes oplevelse af elevernes forberedelse til samt aktivitet og koncentration i timerne.

(28)

Tabel 28: Faktoranalyse: Motivation

Mit barn er forberedt til timerne 0,667

Mit barn deltager aktivt i timerne 0,787

Mit barn kan koncentrere sig i timerne 0,759

Regressionsanalyser

4.2.1 Regressioner på elevdata

På baggrund af de ovenfor beskrevne indeks for elever, er der udført regressionsanalyser med henblik på at identificere, om bestemte indsatser påvirker udviklingen i elevernes faglige udvikling, motivation, hverdagsbalance samt oplevede uddannelsesparathed.

Idet der fokuseres på elevernes udvikling, er der konstrueret en variabel på baggrund af indekset fra hhv. midt- og slutmåling for hver parameter, der beskriver den enkelte elevs udvikling på para- meteret (slutmålingen fratrukket midtvejsmålingen).

Idet kun elever, som har deltaget i rammeforsøget, indgår i surveyen, er der ingen kontrolgruppe i disse analyser. I stedet ser vi på om elever, som har modtaget en forskellig indsatstype (tolærerord- ning, turbo-/talentforløb, holddeling og tematisk indsats), udvikler sig forskelligt. Designet er mere sårbart overfor confounding end DiD-analysen, men resultaterne kan give en indikation af om ind- satstyperne påvirker elevernes oplevelser, som det ikke er muligt at belyse vha. de nationale triv- selsundersøgelser.

Den afhængige variabel i regressionsmodellerne er således elevernes udvikling, mens de uaf- hængige variable er indsatser samt elevernes klassetrin som kontrol. De fem indsatsvariable er kodet, sådan at hhv. tolærerordning, turbo-/talentforløb, holddeling og tematisk indsats udelukkende indeholder respondenter, der kun har fået denne indsats. Der er dermed tale om ”rene” indsatskate- gorier. Hvis en elev har modtaget flere typer af indsatser, vil han kodes i kategorien ”blanding af indsatser”. Der bør desuden tages forbehold for, at visse indsatser har udviklet sig undervejs i forløbet, hvilket betyder, at der ikke har været tale om implementering af ”rene” indsatser gennem hele forlø- bet. Informationerne om indsatser er koblet fra den kvantitative indholdsanalyse, der er beskrevet yderligere i afsnit 2.

Nedenfor ses regressionsmodeller for fire afhængige variable: faglig trivsel, motivation, balance mellem skole og fritid og uddannelsesparathed. Hver model har en indsats (eller blanding af indsatser) som referencekategori (model 1: tolærerordning; model 2: turbo-/talentforløb; model 3: holddeling; model 4: tematisk indsats; model 5: blanding af indsatser).

(29)

Tabel 29: Udvikling i elevernes faglige trivsel som afhængig variabel

Model 1 Model 2 Model 3 Model 4 Model 5

Tolærerordning -0,14*

(0,06)

-0,12 (0,06)

-0,11 (0,08)

0,01 (0,04) Turbo-/talentforløb 0,14*

(0,06)

0,02 (0,07)

0,25**

(0,09)

0,15**

(0,05)

Holddeling 0,12

(0,06)

-0,02 (0,07)

0,23**

(0,09)

0,13*

(0,05) Tematisk indsats -0,11

(0,08)

-0,25**

(0,09)

-0,23**

(0,09)

-0,10 (0,07) Blanding af indsatser -0,01

(0,04)

-0,15**

(0,05)

-0,13*

(0,06)

0,10 (0,07) Klassetrin 4

Klassetrin 5 -0,03

(0,06)

-0,03 (0,06)

-0,04 (0,06)

Klassetrin 6 -0,06

(0,06)

-0,06 (0,06)

-0,06 (0,05)

Klassetrin 7 -0,12

(0,06)

-0,12 (0,06)

Klassetrin 8 -0,19**

(0,06)

-0,19**

(0,06)

-0,19**

(0,06)

-0,19**

(0,06)

-0,18***

(0,06)

Klassetrin 9 -0,09

(0,06)

-0,09 (0,06)

Konstant 0,01

(0,05)

0,15*

(0,07)

0,13*

(0,06)

-0,10 (0,09)

0,00 (0,04)

R² 0,022 0,022 0,022 0,022 0,019

N 1513 1513 1513 1513 1731

Note: *p<0,05; **p<0,01; ***p<0,001. Kilde: Elevsurvey 2018 og 2019.

(30)

Tabel 30: Udvikling i elevernes motivation som afhængig variabel

Model 1 Model 2 Model 3 Model 4 Model 5

Tolærerordning -0,09

(0,06)

-0,06 (0,06)

0,05 (0,07)

-0,01 (0,04) Turbo-/talentforløb 0,09

(0,06)

0,03 (0,07)

0,13 (0,08)

0,07 (0,05)

Holddeling 0,06

(0,06)

-0,03 (0,07)

0,10 (0,08)

0,05 (0,05) Tematisk indsats -0,05

(0,07)

-0,13 (0,08)

-0,10 (0,08)

-0,06 (0,07) Blanding af indsatser 0,00

(0,04)

-0,08 (0,05)

-0,06 (0,05)

0,05 (0,07) Klassetrin 4

Klassetrin 5 0,02

(0,06)

0,02 (0,06)

0,04 (0,05)

Klassetrin 6 -0,09

(0,05)

-0,09 (0,05)

-0,05 (0,05)

Klassetrin 7 -0,12*

(0,06)

-0,12*

(0,06)

-0,12*

(0,06)

-0,12*

(0,06)

-0,10 (0,05)

Klassetrin 8 -0,18**

(0,06)

-0,18**

(0,06)

-0,18**

(0,06)

-0,18**

(0,06)

-0,18***

(0,05)

Klassetrin 9 -0,13*

(0,06)

-0,13*

(0,06)

-0,13*

(0,06)

-0,13*

(0,06)

-0,12 (0,06)

Konstant 0,01

(0,05)

0,10 (0,06)

0,07 (0,06)

-0,04 (0,08)

0,00 (0,04)

R² 0,018 0,018 0,018 0,018 0,019

N 1547 1547 1547 1547 1784

Note: *p<0,05; **p<0,01; ***p<0,001. Kilde: Elevsurvey 2018 og 2019.