Kursus i udvikling af kliniske retningslinjer
Kritisk vurdering af artikler
Dag 5 d. 30.3.10
Preben U. Pedersen, lektor, ph.d
Dagens program
• 9.30 – 11.00: Introduktion til det quasie eksperimentelle design samt kritisk vurdering af artikler ved hjælp af tjeklister.
• 11.00 – 12.00: Kritisk vurdering af egne artikler
• 12.00 – 12.30: Frokost
• 12.30 – 14.15: Fortsat kritisk vurdering af egne artikler
• 14.15 – 15.00: Opsamling. Evt. spørgsmål.
Udarbejdelse af kliniske retningslinjer - processen
Identificering af problemstilling
Udarbejdelse af fokuserede spørgsmål Udarbejdelse af søgestrategi
Systematisk litteratursøgning
Vurdering af litteratur
Inkludering af litteratur Ekskludering af litteratur
Resumering i evidenstabel
Kritisk vurdering og udvælgelse af litteratur;
Hvad er kritisk vurdering af artikler?
Videnskabelig litteratur skal evidensvurderes.
At evidensvurdere vil sige at vurdere kvaliteten af den litteratur, man har fundet.
Hvordan kritisk vurderer vi artikler?
• I en evidensvurdering vurderes hver enkelt artikels videnskabelige kvalitet.
Vurderingen skal foregå udfra ensartede kriterier, der er fastsat på
forhånd. Til hjælp foreligger der nationale og internationale tjeklister, der anvendes for at sikre sig, at man har taget stilling til alle aspekter af
artiklen.
• Sekretariatet for Referenceprogrammer under Center for Evaluering og Medicinsk Teknologivurdering har oversat australske tjeklister til både oversigtsartikler (reviews), metaanalyser, randomiserede kontrollerede undersøgelser, kohorte studier, case-control studier og diagnostiske tests.
• Disse tjeklister anvendes i regi af Center for Kliniske Retningslinjer til at kritisk gennemgå og vurdere kvaliteten af de kvantitative studier, der inkluderes i litteraturgennemgangen i en klinisk retningslinje
Graduering af evidensniveau
(Sekretariatet for Referenceprogrammer, 2004)
Publikationstype Niveau Styrke
Metaanalyse, systematisk oversigt,
Randomiseret kontrolleret studie
Ia Ib
A
Kontrolleret, ikke-randomiseret studie
Kohorteundersøgelse Diagnostisk test (direkte diagnostisk metode)
IIa
IIb
B
Case-kontrol undersøgelse Diagnostisk test (indirekte nosografisk metode)
Beslutningsanalyse Deskriptiv undersøgelse
III
C
Mindre serier, oversigtsartikel Ekspertvurdering, ledende artikel
IV D
Evidensvurdering på grundlag af studiedesign
• En foreløbig evidensvurdering kan man i nogen grad foretage alene på grundlag af studiedesign.
• Inden for den primære litteratur betragtes randomiserede kontrollerede undersøgelser som rangerende højst med bedste evidens, mens
kohorte studier og case control studier rangerer på et lavere evidensniveau.
• Men der kan være stor forskel på for eksempel forskellige randomiserede kontrollerede undersøgelser inden for samme
behandlingsområde. Der kan f.eks. være forskel på undersøgelsens omfang (stor gruppe, lille gruppe), og dårlige randomiserede
kontrollerede undersøgelser kan undertiden udkonkurreres af andre undersøgelsesdesign.
Hvilke elementer er indeholdt i tjeklisterne?
Det interessante er om vi kan tro på det resultat, som artiklen fremkommer med!
Den interne validitet: Du skal fremkomme med din vurdering af den interne validitet. Er undersøgelsen udført grundigt og skyldes undersøgelsens udfald den behandling der undersøges.
Hvert spørgsmål afdækker et område af metodologien som har væsentlig betydning for undersøgelsens konklusioner.
Er der valgt korrekt design til at besvare undersøgelsens formål og er det valgte design udført korrekt??
Tjeklisternes opbygning
1. Artiklens troværdighed (Den interne validitet)
– Vurdering af metode
– Statistik
2. Overordnet bedømmelse af studiet
– Er der mange brud på den interne validitet?
3. Beskrivelse af studiet
– (outcome, effekt, population)
– sammenfatning af nøgleområder i studiet som efterfølgende skal anføres i evidenstabellen
4. Generelle kommentarer
Checkliste 2: Randomiserede kontrollerede undersøgelser
Forfatter, titel:
Tidsskrift, år:
Checkliste udfyldt af:
1. INTERN GYLDIGHED (troværdighed)
Evalueringskriterier I hvor høj grad er kriteriet opfyldt?
1.1 Er der en velafgrænset og relevant klinisk problemstilling?
1.2 Blev forsøgspersonerne randomiseret?
1.3 Var behandlings- og kontrolgruppen ens ved undersøgelsens start?
1.4 Var randomiseringen (allokeringen) skjult?
1.5 Blev forsøgspersonerne, behandler og forsker blindet?
1.6 Er alle relevante slutresultater (outcome) målt standardiseret, gyldigt og pålideligt?
1.7 Bortset fra den undersøgte behandling, blev grupperne så behandlet ens?
1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne?
(dropout)
1.9 Blev alle de undersøgte personer analyseret i henhold
til randomiseringen?(intention to treat analyse) 1.10 Er resultaterne homogene mellem de forskellige
2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN 2.1 I hvor høj grad forsøgte undersøgelsen at minimere bias? Anfør ++, + eller .
2.2 Hvis bedømt som + eller , i hvilken grad kan bias påvirke undersøgelsesresultatet?
2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener
du så, at sluteffekten skyldes undersøgelsens ”intervention”?
2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe?
3. BESKRIVELSE AF UNDERSØGELSEN
3.1 Hvilke behandlinger evalueres i undersøgelsen?
3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome) 3.3 Hvor mange patienter deltog i undersøgelsen?
(totalt og i behandlings- hhv. kontrolgruppen).
3.4 Hvorledes er effekten målt?
Og i hvilken retning gik den målte effekt?
3.5 Er der statistiske usikkerhedsberegninger?
(p-værdier eller sikkerhedsintervaller)
3.6 Hvad karakteriserer deltagerne (populationen)?
(fx køn, alder, sygdomsprævalens).
3.7 Hvorfra er forsøgspersonerne rekrutteret?
(fx by, land, hospital, ambulatorier, almen praksis, amt).
Kritisk vurdering af artikler
5 tjeklister til kvantitativ litteratur:
1. Systematiske review
2. Randomiserede kontrollerede studier 3. Diagnostiske tests
4. Case-controlstudier 5. Kohortestudier
1 tjekliste til kvalitativ litteratur:
1. CASP
Hvad med alle andre typer af studier som findes og som ikke umiddelbart kan klassificeres ud fra tjeklisterne??
Find den tjekliste som passer bedst på Jeres fundne studie og vurder studiet ud fra de overordnede karakteristika.
Evt. se bort fra randomisering, blinding osv.
Quasi eksperimentelt design
Quasi næsten eksperiment / som om. Et næsten ”ægte”
eksperiment.
Quasi-eksperiment: forskellen i forhold til det ægte eksperiment er, at forsøgspersonerne ikke er udvalgt på en randomiseret måde
samt/eller sammenligningsgrupper/kontrolgrupper ikke er anvendt.
Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255.
• Eksempel på et quasi eksperimentelt design hvor der ikke er anvendt randomisering, men der er dog kontrolgruppe.
Hvorfor er der ikke anvendt randomisering og blinding af patienterne?
• RCT er anset for at være det stærkeste design når man vil teste hypoteser/afprøve interventioner.
Hverken randomisering eller blinding var ikke muligt grundet interventionens karakter.
Randomisering ville have medført at kontrol- og interventionsgruppe lå ved siden af hinanden eller spiste sammen til måltider.
Blinding ville ikke være muligt pga studiets karakter.
Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255
.
Publikationstype Niveau Styrke
Metaanalyse, systematisk oversigt,
Randomiseret kontrolleret studie
Ia Ib
A
Kontrolleret, ikke-randomiseret studie
Kohorteundersøgelse Diagnostisk test
IIa
IIb
B
Case-kontrol undersøgelse Diagnostisk test
Beslutningsanalyse Deskriptiv undersøgelse
III
C
Mindre serie, oversigtsartikel Ekspertvurdering, ledende
IV D
Pedersen, P.U. ”Nutritional care: the effectiveness of actively involving older patients.” Journal of Clinical Nursing. 14; 247-255.
Hvordan skal studiet så kritisk vurderes?
Anvende tjekliste til randomiserede kontrollerede undersøgelser – se bort fra randomisering og blinding.
Kritisk vurdering af artikler
For hvert spørgsmål i tjeklisten skal det vurderes i hvor høj grad, evalueringskriteriet er opfyldt ud fra nedenstående graduering:
1. I høj grad opfyldt 2. Tilstrækkeligt opfyldt 3. Dårligt opfyldt
4. Ikke opfyldt 5. Ikke oplyst
6. Ikke anvendeligt på den aktuelle undersøgelse
Checkliste 2: Randomiserede kontrollerede undersøgelser Forfatter, titel: Pedersen, P.U
Tidsskrift, år: Journal of Clinical Nursing 14, 247-255 Checkliste udfyldt af: SJH
1. INTERN GYLDIGHED (troværdighed)
Evalueringskriterier I hvor høj grad er kriteriet opfyldt?
1.1 Er der en velafgrænset og relevant klinisk
problemstilling? 1. I høj grad. Formålet er at undersøge effektiviteten af et
sygeplejeprogram baseret på aktiv involvering af ældre patienter i deres ernæring. Hypotesen: at dette type sygeplejeprogram vil forbedre energi og protein indtag hos ældre ortopædkirigiske patienter.
1.2 Blev forsøgspersonerne randomiseret? 6. Ikke anvendeligt på dette studie, da der er tale om et quasi- eksperiment., hvorfor der ikke er foretaget randomisering af patienterne.
1.3 Var behandlings- og kontrolgruppen ens ved
undersøgelsens start? 1. I høj grad. Se tabel 2 i artiklen
1.4 Var randomiseringen (allokeringen) skjult? 6. Ikke muligt i dette studie.
1.5 Blev forsøgspersonerne, behandler og forsker
blindet? 6. Ikke muligt at udføre I dette studie grundet interventionens
karakter.
1.6 Er alle relevante slutresultater (outcome) målt
standardiseret, gyldigt og pålideligt? 1.I høj grad. Alle væsentlige resultater er medinddraget og målt gyldigt og pålideligt ved hjælp af statistiske analyser.
Validiteten af kostregistreringen (måleredskabet) er desuden beskrevet.
1.7 Bortset fra den undersøgte behandling, blev
grupperne så behandlet ens? 1. I høj grad. Man har netop ved selve studiedesignet
imødekommet denne problematik. Hvis kontrol- og intervention fandt sted samtidig, ville der være høj risiko for at
kontrolgruppen også modtog samme behandling som interventionsgrp. og omvendt.
1.8 Hvor stor en del af de personer, der blev rekrutteret til undersøgelsen, blev endeligt medtaget i analyserne?
(dropout)
253 patienter var inkluderet i studiet. 242 gennemførte studiet.
Drop out 4,3 %. Acceptabelt.
1.9 Blev alle de undersøgte personer analyseret i henhold
til randomiseringen?(intention to treat analyse) 6. Ingen randomisering i dette studie. Patienterne er analyseret I forhold til om de gennemførte studiet.
2. OVERORDNET BEDØMMELSE AF UNDERSØGELSEN
2.1 I hvor høj grad forsøgte undersøgelsen at minimere
bias? Anfør ++, + eller . ++. Omend studiedesignet ikke er randomiseret, har
man forsøgt at tage højde for kendte confounders ved hjælp af analyser. Validering af måleredskab.
Evidensstyrke B 2.2 Hvis bedømt som + eller , i hvilken grad kan bias
påvirke undersøgelsesresultatet?
2.3 Med baggrund i kliniske overvejelser, evaluering af metoden og undersøgelsens statistiske styrke, mener du så, at sluteffekten skyldes undersøgelsens ”intervention”?
JA
2.4 Er resultatet af undersøgelsen direkte anvendeligt på referenceprogrammets patientmålgruppe?
3. BESKRIVELSE AF UNDERSØGELSEN
3.1 Hvilke behandlinger evalueres i undersøgelsen? Interventionsprogram
3.2 Hvilke måleparametre er anvendt på slutresultatet? (outcome) Energi og protein indtag postoperativt.
3.3 Hvor mange patienter deltog i undersøgelsen?
(totalt og i behandlings- hhv. kontrolgruppen). 242 fuldførte studiet.
135 i kontrolgruppen og 107 i interventionsgruppen.
3.4 Hvorledes er effekten målt?
Og i hvilken retning gik den målte effekt? Effekten er målt på daglig postoperativ energi og protein indtag .
Resultaterne afspejler effekt af aktiv involvering af patienter I egen ernæringspleje hos ældre
ortopædkirirgiske patienter målt på et øget energi og protein indtag
3.5 Er der statistiske usikkerhedsberegninger?
(p-værdier eller sikkerhedsintervaller) P-værdier
3.6 Hvad karakteriserer deltagerne (populationen)?
(fx køn, alder, sygdomsprævalens). Patienter over 65 år som skall have foretaget hofte eller knæ alloplastik eller hoftefraktur.
3.7 Hvorfra er forsøgspersonerne rekrutteret? Hospital
Arbejde med egne opgaver…..
Placering af Jeres artikler / studier i evidenshierakiet – hvilke type studier er der tale om? (den kritiske vurdering udelukkende på baggrund af studiedesignet)
Påbegynde kritisk vurdering af artikler ved hjælp af tjeklister.
Næste gang:
Introduktion til bias og confounders (RCT).
Gruppearbejde – arbejde med 3 artikler på pensumlisten. Udfylde tjeklister og præsentere i plenum.
Fortolkning af statistiske begreber
