Undersöker "snurr" i vetenskapliga tidskrifter
En nyligen genomförd studie undersökte "snurr" i psykiatri och psykologiska forskningspapper. Studieförfattarna fann snurr i mer än hälften av de abstrakter de analyserade.Vilken inverkan kan detta ha på läkarnas beslut?
Eftersom nyheter och media tävlar om åsikter, kan de ibland överdriva rubriker och innehåll för att locka läsaren in.
Även om många anser att vetenskapliga tidskrifter är några av de mest tillförlitliga informationskällorna är de inte immuna mot önskan att läsas och delas.
I en nyligen genomförd studie fastställdes hur mycket ”spin” -författare använde i sammanfattningarna av forskningsdokument som publicerades i psykologi och psykiatritidskrifter.
De valde att titta på abstrakter eftersom de sammanfattar hela uppsatsen, och läkare använder dem ofta för att informera medicinska beslut.
Vad är snurr?
I denna studie beskriver författarna sin definition av spin på följande sätt:
"[Han använde specifika rapporteringsstrategier, oavsett motiv, för att belysa att den experimentella behandlingen är fördelaktig, trots en statistiskt obetydlig skillnad för det primära resultatet, eller för att distrahera läsaren från statistiskt obetydliga resultat."
Författarna publicerade sina resultat i tidskriften BMJ Evidence Based Medicine. De tittade på artiklar från de sex bästa tidningarna för psykiatri och psykologi från 2012–2017.
Tidningarna ingår JAMA Psykiatri, den American Journal of Psychiatry, och den British Journal of Psychiatry.
Specifikt fokuserade forskarna på randomiserade kontrollerade studier med "icke-betydande primära slutpunkter". Den primära slutpunkten för en studie är det huvudsakliga resultatet av studien, och ”obetydligt” i detta sammanhang innebär att teamet statistiskt sett inte hittade tillräckligt med bevis för att stödja sin teori.
Snurr finns i många former, inklusive:
- selektivt rapportera resultat, där författarna bara nämner vissa resultat
- P-hacking, där forskare kör en serie statistiska tester men bara publicerar siffrorna från tester som ger betydande resultat
- olämplig eller vilseledande användning av statistiska åtgärder
Hur vanligt är snurr?
Totalt analyserade de sammanfattningarna av 116 artiklar. Av dessa visade 56% bevis på snurr. Detta inkluderade snurr i 2% av titlarna, 21% av resultatavsnitten i abstrakt och 49% i avslutningsavsnitten i abstraktet. I 15% av tidningarna fanns spinn i både resultaten och slutsatserna i abstrakterna.
Forskarna undersökte också om industrins finansiering var associerad med snurr. Kanske överraskande fann de inga bevis för att ekonomiskt stöd från industrin ökade sannolikheten för snurr.
Resultaten gäller. Även om spin i nyhetsmedia i allmänhet är oroande i sig, använder läkare forskningsdokument för att styra kliniska beslut. Som författarna skriver:
"Forskare har en etisk skyldighet att ärligt och tydligt rapportera resultaten av sin forskning." Men i det abstrakta avsnittet kan författare välja och välja de detaljer som de innehåller. Författarna till den aktuella studien oroar sig för vad detta kan betyda för läkare:
”Att lägga snurr till abstrakt av en artikel kan vilseleda läkare som försöker dra slutsatser om en behandling för patienter. De flesta läkare läser bara artikeln abstrakt för det mesta. ”
Konsekvenserna
Även om forskare inte har undersökt effekterna av snurr i stort djup pekar författarna på en studie som hammar hem sin poäng.
I det samlade forskare abstrakt från området för cancerforskning. Alla var randomiserade kontrollerade studier med ett statistiskt obetydligt primärt resultat. Alla abstrakter ingår snurr.
Forskarna skapade andra versioner av dessa abstrakt där de tog bort snurret. De rekryterade 300 onkologer som deltagare. Forskarna gav hälften av dem ett originalabstrakt med snurr, och de gav den andra hälften det abstrakta utan snurr.
Oroande nog bedömde läkarna som läste abstrakterna med snurret interventionen i papperet som mer fördelaktig.
Som författarna till det nyligen studerade uppsatsen skriver: ”De som skriver maniska manuella kliniska prövningar vet att de har en begränsad tid och plats för att fånga läsarens uppmärksamhet. Positiva resultat kommer troligen att publiceras, och många manuskriptförfattare har vänt sig till tvivelaktiga rapporteringsmetoder för att försköna deras resultat. ”
En annan studie som publicerades 2016 utvidgar omfattningen av denna fråga. De undersökte hur peer reviewers - erfarna forskare som granskar tidningar innan publicering - påverkade spin. De fann att kolleggranskaren i 15% av fallen frågade författarna att lägga till snurr.
Den aktuella studien har vissa begränsningar. Till exempel kanske dessa resultat inte gäller andra tidskrifter eller forskningsområden. De noterar också att identifiering av spinn är en subjektiv strävan, och även om de använde två oberoende datautdragare finns det utrymme för fel.
Den exakta storleken på spin-frågan i medicinsk forskning återstår att se, men författarna drar slutsatsen att ”[a] uthors, journal editors, and peer reviewers should continue to be alertly for spin to reduce the risk of bias reporting of trial results. ”
