SUNDHED // FORSKNING – Kvalitetssikringsmekanismerne bør kvalitetssikres skriver forskeren Rolf Hvidtfeldt i kølvandet på bl.a. den berygtede oksekødsrapport fra Aarhus Universitet (AU). Ingen af os er tjent med ikke at udnytte vores bedste viden optimalt eller, for den sags skyld, ikke at sortere ”dårlig viden” fra.
For nu indledningsvist at gøre en lang historie kort: Hovedparten af viden, der overføres fra forskning til samfund, passerer udenom de ellers udmærkede kvalitetssikringsmekanismer, man anvender internt i forskning.
Samvittighedsfulde forskere vender måske nok deres tanker med kolleger, før de spreder dem som rådgivning og debatindlæg mv.
Det ville jo være skønt for tobaksindustrien, hvis forskningen viste, at rygning ikke er sundhedsskadeligt. Det ville være skønt for medicinalindustrien, hvis forskningen viste, at opioider ikke er vanedannende
Men man skal ikke spekulere særligt længe for at regne ud, at kære kolleger (der i vid udstrækning deler forfatterens normer og værdier – det er derfor de er kære) er mere tilbøjelige til at stryge en god fagfælle med hårene sammenlignet med strengt kritiske anonyme fagfællebedømmere.
Der bør derfor investeres i forskning og uddannelse med fokus på vidensoverførsel, og hvordan vidensoverførsel kan og bør kvalitetssikres. For det er et af vidensfødekædens svage led, og ingen af os er tjent med ikke at udnytte vores bedste viden optimalt eller, for den sags skyld, ikke at sortere ”dårlig viden” fra.
Det betyder på ingen måde, at forskeres ekspertise eller vurderinger generelt er utroværdige. Forskere har i kraft af deres træning og faglige kultur suverænt samfundets strengeste standarder for, om hvad og hvordan man kan udtale sig med tyngde og autoritet. Men derfor er der nu alligevel plads til forbedring – bl.a. for at undgå uheldige sager som vi efterhånden har set lidt for mange af.
Uafhængighedsproblemer i forskningen
Og så den lange: Den berygtede oksekødsrapport fra Aarhus Universitet (AU) fik betydelig opmærksomhed i 2019, efter at Information afslørede, at rapporten ikke levede op til god videnskabelig praksis.
Der har været en del kritik af de i rapporten anvendte metoder og forskningen bag, men den vigtigste kritik går på ikke ubetydelig og ret direkte indflydelse fra de interesseorganisationer, der har finansieret arbejdet, som bl.a., uden at deklarere det, decideret har skrevet hele afsnit i den endelige rapport. Sagen er måske usædvanlig alvorlig. Men vi ved det ikke.
Det er meget naivt af både forskere og interesseorganisationer at tro, at de kan slippe afsted med den slags pseudovidenskabelig lobbyisme i fuld offentlighed, særligt når emnet er så højaktuelt og kontroversielt
For AUs egen nylige gennemgang viser lignende uafhængighedsproblemer i en hel del andre tilfælde. Samtidig er AU meget tilbageholdende med detaljer om, hvad deres egen gennemgang egentlig viser, og om hvorvidt denne gennemgang selv lever op til basale kriterier for troværdighed. Endelig ved vi ikke, i hvor høj grad lignende problemer forekommer på landets øvrige universiteter.
Det er værd at bemærke, at det centrale problem drejer sig om utidig indblanding, og ikke om hvorvidt indblandingen har resulteret i en bedre eller dårligere rapport (hvordan man end vælger at vurdere dette).
Strengt taget er det ikke endeligt videnskabeligt afklaret om (alle eller enkelte af) rapportens påstande er ugyldige. Kritik fra uenige forskerkolleger i interviews i dagspressen er ikke et tilstrækkeligt grundlag for at afgøre dette.
Det handler altså primært om, at arbejdet med at udfærdige rapporten ikke har været tilstrækkelig uafhængigt.
Det ville jo være skønt for tobaksindustrien, hvis forskningen viste, at rygning ikke er sundhedsskadeligt. Det ville være skønt for medicinalindustrien, hvis forskningen viste, at opioider ikke er vanedannende. Det ville være skønt for enhver form for produktionsvirksomhed, hvis deres produkter havde lavere klimapåvirkning, end de reelt har.
Men den slags egennyttige interesser må helst ikke påvirke, hvad vore bedste bud på pålidelig viden om disse spørgsmål (altså: forskning) ender med at konkludere.
Dem, vi ikke opdager
Nu er oksekødsrapporten (heldigvis) et eksempel på elendigt snyderi.
Det er meget naivt af både forskere og interesseorganisationer at tro, at de kan slippe afsted med den slags pseudovidenskabelig lobbyisme i fuld offentlighed, særligt når emnet er så højaktuelt og kontroversielt.
Det er fx også helt håbløst at kommunikere sine tvivlsomme fund via pressemeddelelser og derigennem direkte ud i landets største medier, hvor man kan være stensikker på, at enhver potentiel kritiker vil få øje på dem.
Men vi skal ikke glæde os så meget over, at der findes elendige fuskere, at vi glemmer, at der (måske?) findes (mange?) fremragende fuskere derude, som vi aldrig opdager. Det ville være bedre at iværksætte indsatser for at finde gode metoder til at sikre, at kvaliteten af vidensoverførsel er i orden.
Peer reviews er ikke sikre
Forskning involverer komplekse processer, analyser, modeller og beregninger, som i mange tilfælde er stort set umulige for lægmand at gennemskue, endsige vurdere. Blandt andet derfor er det jo fremragende, at man har forskellige systemer til at sikre, at man så vidt muligt kan stole på forskningens konklusioner og anbefalinger.
Faktisk er disse kvalitetssikringsmekanismer en helt afgørende del af de incitamentsstrukturer, der driver forskere mod at producere så god og præcis viden som muligt.
Det er muligt at vildlede selv de bedste eksperter, særligt hvis man selv er ekspert inden for det givne område, og dermed er i stand til at forfalske data og konklusioner på troværdig vis – tænk fx på Penkowa-sagen
Helt centralt står peer review-systemet, hvor fagfæller bedømmer hinandens forskning, og vurderer om standarden er tilstrækkeligt høj. Systemet bidrager betydeligt til at sikre den enestående erkendelsesmæssige standard, der karakteriserer forskning. Men bemærk igen: peer review er altså ikke en proces, der afvikles på en halv time, når en journalist ringer og beder om en kommentar til en aktuel skandale.
Det er et grundigt, systematisk og stringent udført videnskabeligt gennemsyn af empirisk grundlag, beregninger, analyser og konklusioner. Det til trods, er peer review desværre på ingen måde skudsikkert.
Det er muligt at vildlede selv de bedste eksperter, særligt hvis man selv er ekspert inden for det givne område, og dermed er i stand til at forfalske data og konklusioner på troværdig vis (tænk fx på Penkowa-sagen).
Der er også markante eksempler på, at forskere fra ét felt bevidst forsøger at snyde reviewere fra et andet felt, med henblik på at udstille hvad de opfatter som underlødig forskning. Det er oplagt, på den baggrund, at der også af til simpelthen slipper dårlig forskning igennem de ellers relativt fine masker i peer review-systemet.
Krav om uafhængighed
Stort set ligeså centralt som peer review står ideen om det selvkorrigerende forskningsøkosystem, forstået sådan at forskere forventes at gå hinandens resultater og metoder efter i sømmene – også efter publikation. Tanken, der normalt forbindes med filosoffen Karl Popper, er, at forskere konstant skal forsøge at modbevise (falsificere) hinandens resultater, således at man løbende sorterer skidtet fra, og kun det allermest robuste står tilbage.
Vigtigt i denne sammenhæng er, at falsifikations- og replikationsstudier (dvs. studier hvor man forsøger at genskabe andres allerede opnåede resultater) selv skal igennem peer review, før de kan publiceres og opfattes som fuldgyldige angreb på den oprindelige forskning.
Det også er en god idé at supplere peer review- og falsifikationssystemerne med krav om uafhængighed for at forsøge at undgå, at forskere har (eller ”nudges” til at udvikle) særlige interesser i at nå bestemte resultater
Det største problem med falsificeringstankegangen er, at ganske få forskere reelt bruger deres tid på at falsificere andres forskning. Original forskning har langt højere status, og hverken forskere eller fonde er synderligt interesserede i at investere hhv. tid og penge i at tjekke allerede gennemført og afsluttet forskning.
Så selvom der har været stor opmærksomhed omkring nylige replikationsstudier, fx i psykologi, er dette undtagelsen snarere end reglen. Det er selvfølgelig en yderligere udfordring, at det ikke er videre populært at anfægte etablerede forskeres resultater. Og i grunden er det ikke overraskende, at forskere stritter imod frontalangreb på deres livsværk.
Ovennævnte svagheder i kvalitetssikringen betyder, at det også er en god idé at supplere peer review- og falsifikationssystemerne med krav om uafhængighed for at forsøge at undgå, at forskere har (eller ”nudges” til at udvikle) særlige interesser i at nå bestemte resultater.
Oksekødsrapporten
På den baggrund er det oplagt at vende tilbage til oksekødsrapporten. For den opmærksomme læser vil muligvis allerede have bemærket følgende:
- Oksekødsrapporten var ikke igennem peer review før offentliggørelsen.
- Oksekødsrapportens resultater er nok stærkt kritiseret efter den blev offentliggjort (også af fagfæller), men dens robusthed er (endnu) ikke testet systematisk.
- Oksekødsrapporten er åbenlyst ikke uafhængig af partsinteresser.
Det ligner jo en klar konklusion med en hård dom over rapporten: Den er slet ikke et reelt forskningsprodukt, selvom en proces vist blev sat i gang for at rette op på nogle af problemerne. Resultatet kender vi ikke. Men der er nogle yderligere vigtige aspekter.
For når nu oksekødsrapporten er skrevet (med lidt venlig, ekstern bistand) af forskere ansat på forskningsinstitutioner, kan det måske undre, at den ikke lever op til kriterierne for god videnskabelig praksis. Men det er der faktisk slet ikke grund til at forvente.
For de ovennævnte kvalitetssikringsmekanismer fokuserer på et meget snævert område af vidensoverførslen mellem forskning og samfund, nemlig de fagfællebedømte forskningspublikationer. Fagfællebedømte forskningspublikationer fungerer som den primære målestok for videnskabelig excellence, og derfor opfattes de som særlig vigtige at kvalitetssikre.
Men eftersom meget få politikere, embedsmænd eller praktikere læser forskningspublikationer, må vidensoverførsel, i det omfang der overhovedet overføres viden fra universiteter til samfund, foregå ad andre kanaler. De primære kanaler er således ikke omfattet af den gode kvalitetssikring.
Ansættelsesforhold vs. usikkerhed er en faktor
Rådgivning (formel, uformel, mundtlig, skriftlig i både offentligt og privat regi), rapporter, white papers, debatindlæg, interview, ekspertudsagn osv. underkastes meget sjældent kvalitetssikring, der bare tilstræber stringens og systematik. Forskningsartikler og -bøger, der faktisk er fagfællebedømte, er meget ofte formuleret særdeles generelt og abstrakt, uden forklaringer af, hvordan den publicerede viden skal oversættes til konkret praksis og implementeres.
Praksisoversættelser bliver ikke systematisk kvalitetssikret. Implementering bliver ikke systematisk kvalitetssikret. Bortset fra ganske få områder, med medicin som det bedste eksempel, foregår der meget lidt tilnærmelsesvis systematisk indsamling af information om, hvor godt forskningsviden faktisk fungerer i praksis.
Utrygge ansættelsesforhold plus forventninger om ekstern finansiering frister fx forskere til at undgå at træde samarbejdspartnere (der måske vil sende flere penge i fremtiden) alt for meget over tæerne
Endnu en komplicerende faktor er, at spændingsfeltet mellem universiteternes forventninger om, at forskere hjemtager eksterne forskningsmidler, samt de mildest talt usikre ansættelsesforhold mange forskere arbejder under, genererer nogle ret uheldige fristelser for den enkelte forsker.
Utrygge ansættelsesforhold plus forventninger om ekstern finansiering frister fx forskere til at undgå at træde samarbejdspartnere (der måske vil sende flere penge i fremtiden) alt for meget over tæerne. Utrygge ansættelsesformer arbejder altså direkte imod uafhængighed.
Det er ikke et dilemma
Det ligner et dilemma, men er det i virkeligheden ikke. Man kunne sagtens have god uafhængig praksisnær forskning. Det kræver bare, dels at den enkelte forskers fremtidige ansættelse ikke er afhængig af de stakeholders, som betaler for forskningen, dels at forskerne karrieremæssigt belønnes for at være både praksisnære og præcise.
Man kan sikre forskerne ved at ansætte dem på måder, så eventuelle upopulære resultater ikke (direkte eller indirekte) udgør en trussel mod deres egen ansættelse. Jo større andel af forskningsstillinger, der er midlertidige, jo mere modtagelig vil universitetet som helhed være for ydre pres (læs fx denne rapport, hvor det konkluderes, at videnspersoner i tidsbegrænsede stillinger føler sig mindre trygge end selv arbejdsløse).
De fastansatte kan fyres, men selv hvis de beholder deres job, påvirkes de også af alle de (kære) løstansatte kollegers forhold, bl.a. fordi deres eget arbejde jo besværliggøres betydeligt hver gang nære samarbejdspartnere forsvinder.
Ordentlig uddannelse forudsætter også, at der faktisk findes relevant viden på området. Det gør der i et vist omfang, men det er slet ikke tilstrækkeligt
Praksisnærhed kunne styrkes, hvis forskere blev karrieremæssigt belønnet for at involvere praktikere og interessenter i både formulering af forskningsspørgsmål samt vurdering og implementering af løsninger. Incitamenter er dog ikke nok. Det er selvfølgelig nødvendigt, at forskerne er klædt på til at udføre de opgaver, de tilskyndes til.
Det kræver uddannelse af forskerne, men ordentlig uddannelse forudsætter også, at der faktisk findes relevant viden på området. Det gør der i et vist omfang, men det er slet ikke tilstrækkeligt.
Veje til bekæmpelse af god og dårlig fusk
Et problem, som den eksisterende forskningslitteratur om relaterede emner påpeger, er at der formentlig ikke er nogen one-size fits-all model, der passer godt til alle de mange meget forskellige måder som viden overføres på i mange forskellige sammenhænge.
Fx er det helt sikkert ikke nogen god ide at anvende peer-review-modellen til kvalitetssikring af alle overførsler af viden. Dels er det alt for ressourcekrævende, dels ville man hurtigt løbe ind i kedelige problemer, såsom hvem der skal bedømme valget af bedømmere, og hvorvidt hver eneste fagfællebedømmelse så også selv skal fagfællebedømmes.
Det er nødvendigt at iværksætte metaforskning med fokus på oversættelse og implementering af forskningsresultater, og den indsats kunne passende involvere udvikling og afprøvning af bedre og mere inkluderende kvalitetssikringsmekanismer
Som et andet eksempel har Danske Universiteter formuleret nogle principper for god forskningskommunikation, som bestemt er relevante at læse for forfattere af fremtidige oksekødsrapporter. Men princippernes krav om fx præcise forbehold og udtømmende interessedeklarationer gør dem praktisk uanvendelige i mange sammenhænge – fx ekspertudtalelser i pressen.
Løsningen ligger altså langt fra lige for.
Det er nødvendigt at iværksætte metaforskning med fokus på oversættelse og implementering af forskningsresultater, og den indsats kunne passende involvere udvikling og afprøvning af bedre og mere inkluderende kvalitetssikringsmekanismer.
Det kunne være vejen til at styrke robusthed, relevans og anvendelighed af den viden, der overføres til forskellige dele af samfundet – og også til at bekæmpe både god og dårlig fusk.
Foto: Pixnio.
Modtag POV Weekend, følg os på Facebook – eller bliv medlem!
Hold dig opdateret med ugens væsentligste analyser, anmeldelser og essays i POV Weekend – hver fredag morgen.
Det er gratis, og du kan tilmelde dig her 
POV er et åbent og uafhængigt dansk non-profit medie.
Har du mulighed for at bidrage til vores arbejde? Bliv medlem her
