Initiativet til at udvikle ”environment rating scales”, som vi i dag kender som værktøjer i ERS-linjen, blev taget i 1970erne af de amerikanske forskere Thelma Harms og Richard Clifford (1980). ECERS (Early Childhood Environment Rating Scale, 1980) og ECERS-Revised (1998) og ECERS-3 (2015) er en checkliste af temaer for forbedring af kvaliteten af læringsmiljøet i børns institutioner (Classrooms).
Temaerne er oprindelig udviklet på baggrund af Thelma Harms’ undervisning og observationer af praksis gen-nem to årtier og i dialog med praktikere og kolleger. Temaerne afspejler tidens dominerende opfattelser af god praksis, fx høj andel af børne-initierede aktiviteter, et helhedsorienteret børnesyn (praksis, der tilgodeser og understøtter børns psykiske, emotionelle, sociale og kognitive udvikling) og behovet for veluddannede pædago-ger (teachers), som responderer adækvat på børns udvikling og behov (Gordon et al, 2015).
Mange af temaerne og opdelingen af dem i ECERS er fra starten organiseret omkring konkrete aktiviteter og struktureringer, som afspejler daglig praksis, fx måltidet, hente-bringe situationerne, leg, sundhed og hygiejne (fx håndvask).
Temaerne er opdelt i undertemaer og skalaer, der beskriver specifikke tegn på kvalitet, dvs. indikatorer inden for hvert undertema (seks subskalaer med 35 punkter med i alt 468 udsagn om kvalitet). Med baggrund i den holi-stiske tilgang, Harms og Clifford har tilstræbt, dækker indikatorer under et bestemt tema ikke kun en sådan mere afgrænset dimension, fx måltidet eller støtte til sproglig udvikling, men flere dimensioner, fx både måltidet, hvad angår et hygiejne- og sundhedsmæssigt aspekt, og sprogstøtte, fx hvordan pædagogerne taler med børnene under spisningen, og det sociale aspekt, fx hvilken stemning hersker omkring og under måltidet, og hvordan hjælper børnene og pædagogerne hinanden med borddækning og oprydning. Forskellige aspekter af kvalitets-dimensioner eller temaer på metaniveau overlapper hinanden.
Skemaerne scores af en observatør med værdier fra 1-7. Fra utilstrækkelig (1) til minimal (3) til god (5) til ud-mærket/ høj kvalitet (7) (excellent) i en såkaldt 'Likertskala10. Standardscoringen i ECERS-R foretages som stop-scoring, dvs. observatøren stopper scoringen, når han/hun møder en indikator, der ikke observeres og kan besvares med ”nej”. Det medfører, at observatøren ikke behøver at overveje resten af skemaet, og at praksis ikke tillægges en højere score, end de faktisk demonstrerer i den samlede score.
Tabel: Scoring i ECERS (fx punkt 1, Indendørs plads)
9 Se afsnit 1.6 om proksimale processer
10 På en Likertskala, scorer man i ERS enighed/uenighed i et givent udsagn med ja/nej. Harms et al (1998/2015) bruger en skala med syv trin.
ja nej
Beregning af scorer (stop-score)
I forhold til pædagogisk udvikling i praksis, er scoringsmetoden siden blevet kritiseret (Hofer, 2010). Det kan antages, at der faktisk er indikatorer med højere værdi, som en given praksis møder, men som de ikke får kredit for, og der er også i dag en mere udbredt opfattelse af, at dialogen med praksis om evaluering af kvalitet enten tager afsæt i det pædagogerne er gode til eller det, de viser tegn på at være på vej til at udvikle, frem for det, de ikke mestrer. Uden at eventuelle problematiske forhold overses. I den forbindelse viser både nyere forskning (Gordon et al, 2015) og forfatternes revisioner af værktøjerne hen mod, at der med pædagogisk udvikling for øje, skal scores hele skemaer (stop-go scoring)11.
I observationer med ECERS-3 anbefales i vejledningen til administration af værktøjet, at alle indikatorer scores (Harms et al, 2015).
ECERS er testet for pålidelighed og validitet før publiceringen og er siden blevet anvendt til at evaluere pro-gramkvalitet i mange forskningsprojekter op gennem 80’erne og 90’erne. Efterhånden er ECERS også blevet anvendt til at guide pædagogisk udvikling og til at evaluere interventionsprojekter (Gordon et al, 2013; 2015; La Paro et al, 2012; Early et al, 2018).
I takt med, at der i USA blev oprettet flere og flere tilbud (institutioner/child care centers) bl.a. til de mindste børn (infants og toddlers) udviklede forfatterne sammen med Debby Cryer, en række separate skalaer. ITERS (Infant/Toddler Environment Rating Scale, Harms, Cryer & Clifford, 1990), FDCRS (Family Day Care Rating Scale, Harms & Clifford, 1989) og FCCRS, (Family Child Care Environment Rating Scale, Harms, Jacobs &
White, 1996). ECERS-R og ITERS er siden også oversat til flere sprog (Harms et al, 2002).
Værktøjerne i ERS-linjen12 er udviklet til at sætte personale i dagtilbud i stand til at træffe velinformerede valg om, hvilke interventioner inden for områder af den pædagogiske praksis, der kan forbedre kvaliteten og dermed børnenes udbytte. Værktøjerne giver et samlet billede af, hvordan og hvorvidt globale kvalitetskriterier mødes.
Den gennemsnitlige score for et givent læringsmiljø er relateret til positiv udvikling for børn i forhold til om-sorg, læring og positive relationer. Værktøjernes kriterier for denne kvalitet er sikret gennem gentagelse af de globale kvaliteter, frem for enkelte og mere detaljerede kvaliteter: ”Key aspects for positive development are more heavily represented than single details” (Cryer, Harms & Riley, 2003, s xii).
I den nyeste ECERS (3) har forfatterne videreført denne tilgang, der dækker de psykiske, socio-emotionelle og kognitive domæner, samtidig med sundhed og sikkerhed (Harms, Clifford & Cryer, 2015). Læringsmiljøet, børnenes relationer til hinanden og til betydningsfulde voksne og ledelse af de pædagogiske processer hænger sammen og influerer på den samlede kvalitet i dagtilbuddet.
Skalaerne udtrykker global kvalitet og er som sådan velegnede til komparative studier og til at etablere baselines for forsknings- og udviklingsprojekter. De kan også anvendes som en form for selvevaluering eller som dialog-værktøj, men de, der anvender ERS-værktøjer til dette formål, skal være opmærksomme på, at definitionen af kvalitet i de forskellige skalaer ikke medfører, at ERS bliver lig med kvalitet, eller at det medfører, at data kommer til at styre praksis frem for at informere praksis (se fx La Paro et al, 2012; Gordon et al, 2015 og Ma-thers et al, 2007).
11 1 + (TAL1/TAL2 x 6) = stop-go-score. TAL1 er alle de positivt scorede udsagn, divideret med det samlede antal af udsagn (plus 1, for man kan ikke score lavere end 1).
12 Environment Rating Scales, Harms, Clifford & Cryer, 2015 (www.ers.info).
Scorer
Mindst én ja i 1 1 = utilstrækkelig
Alle 1=nej og mindst halvdelen af 3=ja 2
Alle 1=nej og alle 3=ja 3 = minimal Alle 3=ja og mindst halvdelen af 5=ja 4
Alle 5=ja 5 = god
Alle 5=ja og mindst halvdelen af 6=ja 6
Alle 7=ja 7 = udmærket
Hvilke kvaliteter måler ERS og hvordan?
ERS-værktøjerne måler primært proceskvalitet og i et vist omfang strukturkvalitet. ”Structural quality refers to distal factors in early childhood settings such as staff-child ratio, group size, teacher education and training, and staff wages and benefits” (Early et al, 2018 s. 242). Strukturkvalitet er således de nationale økonomiske og soci-ale forhold, værdier, interesser og organisering af dagtilbud, som afspejler sig i de muligheder og betingelser, der nationalt tilbydes børnene, som også Esping-Andersen (2008) fastslår. I internationale sammenligninger er strukturkvalitet ofte det, der laves benchmarking ud fra (fx UNICEF, 2008; EU, 2011).
ERS-målinger viser, hvordan strukturkvalitet slår igennem i de gennemsnitlige scores. Er forholdene for børne-ne af lav kvalitet (fx ringe plads til leg, ringe størrelse af rum, lav normering) scores lavere, også selvom kvali-teten af interaktionerne er gode (Hu, 2015; Sylva et al, 2006; Limligan, 2009; La Paro et al, 2012; Vermeer et al, 2016).
”Process quality, on the other hand, refers to the proximal interactions among children, adults, and the environ-ment that are thought to directly impact children’s growth” (Burchinal, 2017; Vandell & Wolfe, 2000; refereret i Early et al, 2018, s. 243).
Alle nyere studier og forfatterne selv anbefaler som nævnt, at alle punkter og skalaer, der anvendes i en given evaluering med ERS, scores helt; altså at man undlader at bruge den såkaldte stop-metode, der netop i ECERS-R angiveligt skævvrider resultatet til fordel for fx strukturkvalitet (La Paro et al, 2012; Gordon et al, 2015;
Vermeer et al, 2016).
Disse anbefalinger har forfatterne fulgt i revisionen af ECERS-R, dvs. ind i den nyeste version ECERS-3. Gor-don et al’s (2013), Clifford og Sideris’ (2017) anbefalinger efter gennemførsel af et større stikprøveforsøg, har i det hele taget medført, at værktøjets måleegenskaber og indikatorerne er blevet justeret og flere indikatorer er taget ud (Harms, Clifford & Cryer, 2015, s. 8).
Bl.a. er indikatorer med lav validitet fjernet, og der er under de enkelte skalaer indbygget en scoringslogik, der går ud fra at materialer, procedurer og organiseringer ligger forholdsvist lavt på skalaen. Tilgængelighed, diver-sitet og brug af materialer ligger højere, og hvordan personalet bruger disse midler i interaktionerne med børne-ne for at skabe trivsel og læring ligger højest.
Forskellene mellem ECERS-R og ECERS-3 kan kort beskrives (Sideris et al, 2017):
Skema 1, ECERS-R versus ECERS-3
Der lægges vægt på omfang og kvalitet af materialer og børnenes adgang til dem
Der lægges mere vægt på, hvordan materialerne bru-ges
Der lægges vægt på interaktioner og pædagogens rolle Der er udvidede og styrkede indikatorer inden for sprog og Literacy samt matematik
Personale- og forældredel taget ud
Stram guide for sundhed og sikkerhed Større accept af mindre mangler for sundhed og sik-kerhed
Stop-scoring Stop-go scoring tilladt (ja/nej til alle indikatorer under
et punkt)
Med hensyn til proceskvalitet, henviser de statistiske analyser i de ovennævnte studier til en tre-faktor-model, der kan beskrives som:
1) Læring (kognition) med indikatorer fra skalaerne rum og indretning, aktiviteter og organisering;
2) Interaktioner (socio-emotionel) og sprog fra skalaerne interaktion og sprog-ræsonnering (Sprog og Literacy i ECERS-3), og om end i mindre grad;
3) Sundhed og sikkerhed med hovedparten af indikatorer fra personlige omsorgsrutiner og enkelte fra andre skalaer, der måler sikkerhedsaspekter (Gordon et al, 2013; 2015; Clifford et al, 2010; Mayer & Beckh, 2016;
Næsby, 2016).
Disse domæner er også af forfatterne selv formuleret som grundlaget for målinger med ECERS-3 (Harms, Clif-ford & Cryer, 2015). Samtidig viser nye analyser af indikatorer i ECERS-3, at der kan udskilles en række fakto-rer, der viser hen til en fire-faktor løsning13:
1) Læringsmuligheder 2) Grovmotorik 3) Interaktion
4) Understøttelse af matematik.
Ved hjælp af de såkaldte IRT-metoder14 skabes sammenhæng mellem dimensionerne, de indikatorer praksis faktisk måles på, og dermed højere pålidelighed og validitet i både metoden og i sammenligninger med børns udbytte, målt med andre værktøjer. Ved brug af IRT-metoder udpeges og anerkendes aktuel viden om praksis og børns trivsel, læring og udvikling, der lægges til grund for hypotetisk formulering af indikatorer. Indikatorer-ne valideres af flere forskere og praktikere uafhængigt af hinanden og det indbyrdes forhold mellem indikato-rerne (de psykometriske egenskaber) fastsættes. Dvs. forholdet mellem de indikatorer, der er ”lette” at opnå og de, der er ”sværere” at opnå (eller møde). Efterfølgende er indikatorerne ECERS-3 testet i observationer i prak-sis, fx som Early et al (2018) beskriver, i 1063 observationer.
En hypotetisk ti-faktor-model er beregnet til at kunne omfatte domænerne Sprog og Literacy, Engagement, Matematik, Læringsaktiviteter, Adgang til materialer, Individualisering, Socio-emotionelt, Læringsmiljø (rum og indretning), Vejledning, Ledelse og Organisering (tid) (Sideris, 2017). Ikke alle indikatorer i denne model kan dog lige stærkt forudsige effekterne for børns læring og udvikling (Early et, 2018).
Et måleinstrument, der således nu med ECERS-3 samlet set i høj grad har indholdsmæssige sammenhænge med både pædagogiske begrundelser og politik for, hvad børn skal lære, og med andre nyere instrumenter til måling af børns udbytte, kan i et vist omfang forudsige udbytte og effekter af høj kvalitet i dagtilbud (Vermeer et al, 2016; Mathers et al, 2007; Early et al, 2018).