Fejl i fundamentet

Kronik af THOR GRÜNBAUM, MARKUS GIESSING OG SØREN KYLLINGSBÆK Forskningsgruppen Cognition, Intention and Action, Institut for Psykologi i Weekendavisen den 2. september 2022.

I løbet af de seneste godt ti år har en videnskabelig krise plaget en lang række empiriske videnskaber. Den såkaldte reproducerbarhedskrise eller replikationskrise dækker over det problem, at mange forskningsresultater ikke kan reproduceres: Når forskere gentager deres kollegers forsøg, når de ofte et andet resultat, og det er et stort forskningsmæssigt problem.

Hvis et studie kan genskabes uafhængigt af tid, sted og involverede forskere, anses det for at være sandsynligt, at resultaterne fortæller noget objektivt om det, der undersøges. Omvendt er det et svaghedstegn, hvis et studie ikke kan genskabes. Det kan eksempelvis skyldes tilfældige eller systematiske fejl i det oprindelige studie, eller måske at forskerne bag studiet kun har fremhævet dele af resultaterne for at understøtte deres hypotese.

Især psykologien har været genstand for megen diskussion. I en artikel fra tidsskriftet Science fra 2015 prøvede en gruppe forskere således at gentage 100 psykologiske studier fra tre af fagets velansete tidsskrifter. Ud af de oprindelige 100 studier havde 97 procent af dem statistisk signifikante resultater. Forskerne bag studierne havde altså konkluderet, at de havde fundet en effekt, som ikke kunne bortforklares som en ren tilfældighed. Men da forskerne bag Science-artiklen forsøgte at gentage studierne, kunne de kun finde signifikante resultater i 36 procent af tilfældene.

Hvorfor publicerer forskere så mange resultater, som viser sig ikke at kunne reproduceres af andre?

Det sædvanlige svar er, at det skyldes tvivlsomme metoder. Nogle forskere har peget på, at der ikke er tilstrækkeligt incitament til at replicere forskningsresultater. Tiden er dyrebar, og som forsker bliver man i høj grad belønnet for den mængde af forskningsartikler, man spytter ud, og tidsskrifterne er mest interesseret i at udgive positive resultater. Andre har påpeget, at forudsigelser af studiernes resultater bør offentliggøres, før de udføres; at forskere bør bruge et større antal forsøgspersoner for at opnå mere retvisende resultater; og at kvaliteten af statistiske beregninger bør løftes. Endelig har nogle fremhævet såkaldt »p-hacking«, som dækker over det fænomen, at nogle forskere aktivt søger resultater, som bekræfter deres hypoteser. En forsker kan for eksempel udføre en lang række statistiske beregninger og derefter kun rapportere om dem, der gav et positivt resultat, og ignorere de andre.

Med andre ord har løsningsforslagene i overvejende grad været metodologiske, og flere af dem er allerede blevet indført i praksis. Men der er også behov for at kaste et kritisk blik på noget af den teori, der går forud for eksperimentelle forsøg.

DEN VERSERENDE KRISE er gået hårdt ud over psykologi. Men nogle psykologiske fagområder er blevet hårdere ramt end andre: Ud fra nogle estimater er reproducerbarheden mindre end 30 procent inden for socialpsykologi, mens det samme er gældende for omkring 50 procent af studierne inden for kognitionspsykologi. Måske har denne forskel noget at gøre med, at kognitionspsykologien ofte opererer med teorier, som er empirisk bedre understøttede, lader sig nemmere formalisere matematisk og tillader forskerne at simulere adfærd på computere. Uden en stærk formel teori kommer man i problemer.

Dette forhold kan vi anskueliggøre med et eksempel fra socialpsykologi. Forestil dig, at et hold forskere har en teori om, at tanker er kropslige. Hvis en person for eksempel tænker på ældre mennesker, smitter tanken således af på adfærden, og personen begynder på visse måder at opføre sig som en ældre person. Hvordan kan man teste en sådan teori?

Man kan få personer til at tænke på ældre mennesker og måle på deres adfærd, sammenlignet med personer, som tænker på noget andet. Måderne, hvorpå vi kan få folk til tænke på ældre mennesker, er uoverskueligt mange. Vi kan for eksempel få forsøgsdeltagerne til at sammensætte sætninger, hvor ord såsom »pensionist«, »bingo« og »krydstogt« indgår. Eller vi kan vise forsøgspersoner billeder af gamle mennesker. Eller vi kan gøre noget helt tredje. Mulighedsrummet for potentielle effekter er således enormt stort.

Vi kan forestille os, at alle de mulige effekter, vi kan komme på, er som kugler i en urne. Lad os sige at der er 1000 mulige effekter (kugler) i urnen. Der er altså mange flere mulige effekter i urnen end der er sande, faktiske effekter. Lad os sige, der er fem sande effekter i urnen. Når vi udfører et psykologisk eksperiment uden en stærk formel teori, er det som at trække en tilfældig kugle op af urnen. Sandsynligheden for at eksperimentet leder til fundet af en sand, faktisk effekt, vil således være meget lav.

I MODSÆTNING TIL den vage og rent verbale teori om kropslige tanker i socialpsykologi er mange teorier i kognitionspsykologi formaliseret som en række matematiske ligninger. I nogle tilfælde muliggør disse ligninger, at man kan lave præcise kvantitative forudsigelser af forsøgspersoners adfærd. Vi har for eksempel i vores forskningsgruppe brugt matematiske modeller for opmærksomhed til at forudsige, hvordan personer udvælger genstande på en computerskærm. Disse forudsigelser udledes af den matematisk formelle teori. De er således ikke tilfældigt udvalgt fra et enormt mulighedsrum af mulige effekter.

I løbet af deneste år er det blevet diskuteret, om de eksperimentelle problemer kan mindskes inden for psykologi ved at skabe stærkere formelle teorier. Teoretiske rammer har netop været med til at skabe fremskridt i mere etablerede videnskaber som fysik og biologi.

Det er naturligvis nemmere sagt end gjort. Psykologien befinder sig nemlig et helt andet sted end fysik eller evolutionsbiologi i sin videnskabelige modning. Biologien fik sin første videnskabelige revolution i 1860erne med evolutionsteorien, og sidenhen med tilføjelsen af arvelighedslære, genforskning og molekylærbiologi. Sammenlignet hermed er psykologien en forholdsvis ung disciplin. Men det er ikke ensbetydende med, at det er umuligt at gøre fremskridt gennem større fokus på teoretiske rammer.

Hvis man ikke har en stærk forudgående teori, kan man risikere, at ens forskningseksperimenter leder til ubrugelige resultater. Uden stærk teori kan man opstille en tilsyneladende ubegrænset mængde af hypoteser om eksperimentelle effekter, fordi de ikke begrænses af en teoretisk ramme. En videnskab, som er metodologisk perfekt, kan ikke være bedre end den måde, hvorpå de eksperimentelle studier designes og udformes. Og studiernes design og udformning kan ikke være bedre end den underliggende teori, som man undersøger og tester.

Emner