Akademisk kvart: Effektivare forskning och säkrare forskningsresultat Akademisches Viertel: Effektivere Forschung und sicherere Forschungsergebnisse Academic quarter: More effective research and safer research outcomes Академический квартал: более эффективные исследования и более безопасные результаты исследований

Vad är sant i vetenskaplig mening? What is true in a scientific sense?

Inom vetenskap är hypoteser mycket centrala. In science, hypotheses are very central.

En hypotes är ett påstående om hur något ligger till. A hypothesis is a statement about the nature of something.

Ett påstående som går att testa. A claim that can be tested.

Vetenskapsteoretiker menar att när en hypotes är sann så kan man använda den för att förutspå framtiden. Scientific theorists believe that when a hypothesis is true, it can be used to predict the future.

Men när en hypotes är falsk så kan man inte det. But when a hypothesis is false, you can't.

I kärnan av detta finns något som vi kallar replikerbarhet, At the heart of this is something we call replicability,

nämligen att vi behöver upprepa samma sak flera gånger för att kunna säga att något är bevisat. namely that we need to repeat the same thing several times to be able to say that something is proven.

När något är bevisat så agerar vi utifrån att det är sant When something is proven, we act on the basis that it is true.

fram tills att någon annan eventuellt motbevisar det. until someone else possibly disproves it.

Om jag genomför ett experiment och hittar att personer som blir tillsagda av en auktoritet If I conduct an experiment and find that people who are told by an authority figure Eğer bir deney yaparsam ve bir otorite figürü tarafından

tenderar att lyda i större utsträckning än personer som blir tillsagda av en icke-auktoritet. tend to obey more than people who are told by a non-authority. otorite olmayan bir kişi tarafından söylenenlere kıyasla daha fazla itaat etme eğilimindedir.

Men min kollega som upprepar min studie hittar inte att auktoritet leder till lydnad But my colleague who repeats my study does not find that authority leads to obedience. Ancak benim çalışmamı tekrarlayan meslektaşım otoritenin itaate yol açtığını görmüyor.

och en tredje kollega hittar inte heller det här sambandet. and a third colleague does not find this link either.

Kan vi då säga att auktoritet leder till lydnad? Can we then say that authority leads to obedience?

Kanske men kanske inte. Maybe, but maybe not.

Det här sambandet tycks åtminstone vara betydligt mindre robust än vad vi först trodde. This relationship appears to be at least considerably less robust than we first thought.

Traditionellt sett har det varit väldigt ovanligt med replikeringsstudier, Traditionally, replication studies have been very rare,

och när det kommer till psykologiska studier i den publicerade litteraturen, and when it comes to psychological studies in the published literature,

så är uppskattningsvis 1 av 100 studier replikeringsstudier. an estimated 1 in 100 studies are replication studies. Tahminen her 100 çalışmadan 1'i replikasyon çalışmasıdır.

Detta betyder att det finns många obekräftade fynd. This means that there are many unconfirmed findings.

Under senare år har vi inom psykologin hamnat i nåt som man kallar "replikeringskrisen", In recent years, psychology has experienced what is known as the 'replication crisis',

vi har en svårighet att upprepa resultat när vi provar att bekräfta dem i efterhand. we have a difficulty in repeating results when we try to confirm them afterwards.

Detta har fått forskare att identifiera problem med den klassiska forskningsprocessen och att föreslå nya sätt. This has led researchers to identify problems with the classic research process and to propose new ways.

Jag kommer att prata om hur den traditionella forskningsprocessen ser ut, I will talk about what the traditional research process looks like,

men också om den nya rörelsen som försöker föreslå förändringar som kan hjälpa till att but also about the new movement that is trying to propose changes that could help to

både åtgärda och förhindra att vi får problem med bristande replikerbarhet. both address and prevent problems of non-replicability. tekrarlanamazlık sorunlarını hem ele alır hem de önler.

Avslutningsvis kommer jag ge några exempel från mitt eget forskningsprojekt Finally, I will give some examples from my own research project.

som är fokuserat på just replikeringsstudier. which is focused on replication studies.

Forskning börjar med att identifiera ett problem. Research starts by identifying a problem.

Till exempel vet vi att polisen behöver förhöra misstänkta gärningspersoner i en brottsutredning. For example, we know that the police need to interview suspected offenders in a criminal investigation.

Men hur kan de avgöra när någon ljuger eller talar sanning? But how can they tell when someone is lying or telling the truth?

Ett sånt här problem får mig som forskare att ställa upp en hypotes, A problem like this makes me, as a researcher, come up with a hypothesis,

till exempel att sanningssägare uttrycker sig mer detaljerat när de pratar jämfört med lögnare. for example, truth tellers express themselves in more detail when speaking compared to liars.

Utifrån en hypotes lägger jag upp en plan för hur jag kan testa den här hypotesen. Based on a hypothesis, I make a plan on how to test this hypothesis.

Jag kanske bjuder in personer till labbet där jag ber hälften att ljuga och hälften att tala sanning I might invite people to the lab where I ask half to lie and half to tell the truth.

och därefter jämför jag innehållet i det de säger, till exempel räknar antal detaljer. and then I compare the content of what they say, such as counting the number of details.

Jag skriver sen ihop en rapport där jag beskriver bakgrunden till min hypotes, I then write a report describing the background to my hypothesis,

om den fick stöd eller inte och vad det här betyder. whether it was supported or not and what this means.

Rapporten skickar jag till en vetenskaplig tidskrift I send the report to a scientific journal

och där går den igenom vad man kallar en "peer-review". and there it goes through what is called a 'peer review'.

Peer-review är den kvalitetssäkring som gör att något kan kallas för vetenskap. Peer review is the quality assurance that allows something to be called science.

Det är det yttersta beviset på att din studie håller tillräckligt hög kvalitet, This is the ultimate proof that your study is of sufficiently high quality,

exempelvis att du gjort rätt analyser, for example, that you have done the right analysis,

driver rimliga teoretiska resonemang och drar rätt slutsatser utifrån det du hittat. conduct reasonable theoretical reasoning and draw the right conclusions from what you have found.

I många fall får forskare avslag på sina manus efter att experter har lämnat feedback. In many cases, researchers have their manuscripts rejected after receiving feedback from experts.

Tyvärr har man sett att det uppstår allvarliga problem under den här processen, Unfortunately, serious problems have been observed during this process,

som kan hota tillförlitligheten i forskningsresultaten. that may threaten the reliability of the research results.

Mycket har att göra med den flexibilitet som finns i att samla in, analysera och rapportera data. Much has to do with the flexibility of collecting, analyzing and reporting data.

Det finns väldigt många sätt att vrida och vända på en studie. There are so many ways to twist and turn a study. Bir çalışmayı eğip bükmenin pek çok yolu vardır.

Medvetet eller omedvetet. Conscious or unconscious.

En omständighet som kan förvärra det här har att göra med hur publicering typiskt sett ser ut. One circumstance that can exacerbate this has to do with the typical nature of publishing.

Vi forskare än nämligen mycket pressade att publicera våra forskningsfynd. We researchers are under a lot of pressure to publish our research findings.

Och inte bara att publicera utan att publicera mycket och gärna i fina tidskrifter. And not just publishing, but publishing a lot, preferably in high quality journals.

Detta påverkar om vi får en fast tjänst eller om vi får nya pengar att forska för. This affects whether we get a permanent position or whether we get new money for research.

Det här är vårt CV. This is our CV.

Vissa fynd är tyvärr betydligt lättare att få publicerade än andra. Unfortunately, some findings are much easier to get published than others.

Vetenskapliga tidskrifter tenderar att föredra positiva fynd Scientific journals tend to favor positive findings Bilimsel dergiler olumlu bulguları destekleme eğilimindedir

framför blandade resultat eller så kallade "noll-fynd". before mixed results or so-called 'zero findings'.

Sensationella rubriker så som "Så här avslöjar du en lögnare" Sensational headlines such as "How to spot a liar".

är betydligt lättare att få publicerade och att få uppmärksamhet för än tråkigare men stabilare fynd are much easier to get published and to attract attention than duller but more stable findings. daha sıkıcı ama istikrarlı bulgulara kıyasla yayınlanması ve dikkat çekmesi çok daha kolaydır

där vi inte hittar så stora skillnader mellan lögnare och sanningssägare, vilket är den stabila trend vi ser. where we do not find much difference between liars and truth tellers, which is the stable trend we see.

Detta fenomen kallas för "publicerings-bias" och kan få allvarliga konsekvenser. This phenomenon is called 'publication bias' and can have serious consequences.

Ibland bryr sig forskare inte ens om att försöka publicera sina fynd Sometimes scientists don't even bother trying to publish their findings.

vilket gör att forskningsresultat som borde bli synliga blir liggande på forskares kontor. leaving research results that should be visible lying around in researchers' offices. Görünür olması gereken araştırma sonuçlarının araştırmacıların ofislerinde bırakılması.

Detta ger i slutändan en skev bild av fenomenet och av verkligheten. This ultimately gives a distorted picture of the phenomenon and of reality.

Denna publiceringstradition ger upphov till fler problem. This publishing tradition gives rise to more problems.

Detta kan exempelvis locka forskare att använda sig av tveksamma forskningsmetoder. This may, for example, encourage researchers to use questionable research methods.

Ett sånt beteende kallas "p-hacking". Such behavior is called 'p-hacking'.

När vi testar om en hypotes stämmer eller inte så brukar vi ta fram ett "p-värde". When we test whether a hypothesis is true or not, we usually produce a 'p-value'.

P-värdet säger i princip hur oväntat ett uppmätt resultat vore i The P-value basically says how unexpected a measured result would be in the

händelsen av att vi inte hade en skillnad mellan grupperna. the event that we did not have a difference between the groups.

Om p-värdet är tillräckligt lågt så säger vi att resultatet är statistiskt signifikant. If the p-value is low enough, we say that the result is statistically significant.

Då tänker vi att det vore väldigt osannolikt att se de här skillnaderna i medelvärden mellan grupperna, Then we think it would be very unlikely to see these differences in mean values between the groups,

säg att vi har ett experiment med två grupper, say we have an experiment with two groups,

ifall det inte fanns en systematisk skillnad i verkligheten, if there was no systematic difference in reality,

och drar då slutsatsen att de här grupperna skiljer sig åt. and concludes that these groups are different.

Tyvärr har vi ibland så små stickprov vilket gör att det ser ut som att vi har en skillnad mellan två grupper Unfortunately, we sometimes have such small samples that it looks like we have a difference between two groups.

trots att det inte förhåller sig så i verkligheten utan är ren slump. even though this is not the case in reality, but is purely coincidental.

Ibland har vi också många variabler vilket gör att det finns många sätt att analysera data på. Sometimes we also have many variables which means there are many ways to analyze the data.

P-hacking innebär att en forskare väljer den analysmetod som ger ett signifikant resultat P-hacking means that a researcher chooses the method of analysis that produces a significant result.

över de icke signifikanta. over the non-significant ones.

Och att fiska efter signifikanta resultat på detta sätt sker ofta omedvetet. And fishing for significant results in this way is often unconscious.

De flesta forskare har givetvis goda avsikter Of course, most researchers have good intentions

men ett psyklolgiskt fenomen som kallas "bekräftelse-bias" gör att vi ofta but a psychological phenomenon known as "confirmation bias" means that we often

söker efter och tolkar information i linje med vad vi tror, eller gärna vill tro, är på ett visst sätt. searches for and interprets information in line with what we believe, or would like to believe, is a certain way.

När vi dessutom har gjort något under lång tid eller har mycket investerat i en fråga Moreover, when we have been doing something for a long time or have a lot invested in an issue

så är vi än mer benägna att hamna i den här fällan. we are even more likely to fall into this trap.

Och trots att det är vårt jobb som forskare att vara objektiva så hamnar även vi i den här fällan. And while it is our job as researchers to be objective, we also fall into this trap.

Vissa menar att denna tendens är så stark att vi behöver ha tydliga system och skydd Some argue that this trend is so strong that we need to have clear systems and protections.

som tvingar oss bort från att göra subjektiva bedömningar. which forces us away from making subjective judgments.

På grund av problemen man sett i den klassiska forskningsprocessen så Because of the problems encountered in the classical research process, the

sker det idag ett slags paradigmskifte i hur man bedriver forskning. there is now a kind of paradigm shift in the way research is conducted.

En positiv utveckling är att det blir mer och mer vanligt att göra replikeringsstudier A positive development is that replication studies are becoming more and more common.

och idag finns det till och med tidskrifter som aktivt efterfrågar denna typ av studie. and today there are even journals actively seeking this type of study.

En annan positiv utveckling är att det blir mer populärt att skriva så kallade "förregistrerade rapporter". Another positive development is the growing popularity of so-called 'pre-registered reports'.

Det betyder i princip att man gör samma sak som tidigare fast i en annan ordning It basically means doing the same thing as before but in a different order.

och det finns större krav på att dokumentera alla sina beslut. and there are greater requirements to document all their decisions.

Man börjar med att skriva en utförlig plan för vad man tänkt göra, You start by writing a detailed plan of what you intend to do,

vilken metod man kommer att använda, which method will be used,

vilka protokoll och analyser man tänkt göra på sin data. which protocols and analyses they intend to perform on their data.

Man specificerar hur stort stickprov som behövs för att It specifies the size of the sample that is needed to

kunna dra tillförlitliga slutsatser. be able to draw reliable conclusions.

Man skriver till och med ner sina They even write down their

hypoteser och låser dem så att man inte kan göra några korrigeringar i efterhand. hypotheses and lock them so that no corrections can be made afterwards.

Man skriver ihop hela rapporten, som den ska se ut i publicerat skick, men med undantag för resultaten. You write the whole report, as it should be published, but with the exception of the results.

Resultaten kommer in senare. The results will come in later.

Peer-reviewn, feedbacken från experter, Peer-reviewed, the feedback from experts,

sker innan man går ut och samlar in data. is done before going out and collecting data.

Och detta kan i många fall vara rimligt då en datainsamling kan vara en dyr och lång process. And this can be reasonable in many cases as data collection can be an expensive and lengthy process.

Så det är bra att det går rätt till från början. So it's good to get it right from the start.

När man får tummen upp från tidskriften When you get the thumbs up from the magazine

blir man lovad att studien blir publicerad oavsett vilka resultat du får, you are promised that the study will be published regardless of the results you get,

vilket tar bort en del av incitamenten som jag pratat om tidigare which removes some of the incentives I talked about earlier.

att fiska efter de positiva och smaskiga resultaten som man vet lättare blivit publicerade i litteraturen. fishing for the positive and tasty results that you know are more easily published in the literature.

Parallellt med förregistreringar och replikeringar så finns det idag ett större krav på oss forskare In parallel with pre-registrations and replications, there is now a greater demand on us researchers.

att dela allt vårt material. to share all our material.

Idag laddar fler och fler forskare upp sitt material, sina enkäter, intervjuprotokoll, sin data Today, more and more researchers are uploading their material, their surveys, their interview protocols, their data.

och sin kod för analyser på olika lagringsplatser på nätet, för andra forskare att titta på. and its code for analysis on various online repositories, for other researchers to look at.

Detta gör det mycket lättare för andra forskare att upprepa din studie, göra en replikeringsstudie, This makes it much easier for other researchers to repeat your study, doing a replication study,

för att bekräfta ditt fynd. to confirm your findings.

Det blir också möjligt för andra att gå in och granska och leta efter fel så att dessa kommer upp till ytan i god tid. It also allows others to go in and review and look for errors so that they are brought to the surface in good time.

I och med Corona-pandemin har det faktiskt blivit än mer tydligt hur viktigt ett sånt här system kan vara. Indeed, the Corona pandemic has made it even more clear how important such a system can be.

Ibland hamnar vi i oväntade och kritiska situationer i samhället som gör att vi, Sometimes we find ourselves in unexpected and critical situations in society that require us to act,

under en kort tid, for a short time,

behöver samordna material och data från hela världen need to coordinate materials and data from around the world

och dra slutsatser från dessa. and draw conclusions from them.

Och då kan faktiskt transparens och tillgänglighet vara på liv och död. And then transparency and accessibility can actually be a matter of life and death.

För att illustrera det här nya sättet att bedriva forskning på To illustrate this new way of conducting research

tänker jag ge några exempel från mitt eget forskningsprojekt. I will give some examples from my own research project.

Jag hade nämligen problem med att tillämpa en Because I had problems applying a

psykologisk teori på mitt arbete under flera år. psychological theory on my work for several years.

När mina kollegor och jag till slut tröttnade When my colleagues and I finally got tired of it.

så började vi granska litteraturen mer kritiskt. we started to review the literature more critically.

Vi såg då tecken på både publicerings-bias och att man använt väldigt små We saw evidence of both publication bias and the use of very small amounts of data.

stickprov i sina studier, sample in their studies,

så vi har goda anledningar att tro att fynden inte håller för upprepade försök. so we have good reason to believe that the findings do not stand up to repeated attempts.

Så det vi gör nu är att utvärdera hur robust den här teorin är So what we are doing now is evaluating how robust this theory is.

genom att genomföra replikeringsstudier på nyckelfynd som den här teorin vilar på. by conducting replication studies on key findings on which this theory is based.

Och vi har bjudit in folk från hela världen att delta i den här studien. And we have invited people from all over the world to participate in this study.

Vi har för närvarande 80 olika labb från 30 länder från alla världens befolkade kontinenter We currently have 80 different labs from 30 countries from every populated continent in the world.

som ska samla in data till samma studie. who will be collecting data for the same study.

Detta gör att vi kommer att ha This means that we will have

tillräckligt mycket data för att kunna enough data to be able to

dra slutsatser som inte är känsliga för slumpvariationer. draw conclusions that are not sensitive to random variations.

Vi skriver ihop en rapport för den här studien We are writing a report for this study

trots att vi inte kommer att samla in data förrän tidigast nästa år. although we will not collect data until next year at the earliest.

Då kommer rapporten och studien ha gått igenom peer-reviewprocessen By then, the report and study will have gone through the peer review process.

och vi blir lovade publicering oavsett vilka resultat vi hittar. and we are promised publication of whatever results we find.

Detta gör att vi kommer kunna luta oss tillbaka och vänta in datan This will allow us to sit back and wait for the data.

utan att oroa oss för om det kommer att vara publicerbart. without worrying about whether it will be publishable.

Trots de utmaningar jag tagit upp här Despite the challenges I have outlined here

vill jag understryka att den vetenskapliga metoden är det absolut bästa sättet vi har I want to emphasize that the scientific method is by far the best way we have.

att säga hur något ligger till och hurvida något är sant eller inte. to say what the situation is and whether something is true or not.

Mitt projekt kan vara ett exempel på att det händer väldigt positiva saker i rätt riktning. My project can be an example of very positive things happening in the right direction.

Vetenskapsrådet som är Sveriges största statliga forskningsfinansiär har finansierat detta The Swedish Research Council, Sweden's largest public research funding body, has funded this project.

och det är det första i sitt slag inom psykologin. and it is the first of its kind in psychology.

Detta visar att trots de här problemen så är vi This shows that despite these problems, we are

på väg mot en bättre forskning. towards better research.