Science-lehden vuoden 2015 elokuun numerossa oli kriittinen tutkimus psykologisen tutkimuksen toistettavuudesta. Tutkijaryhmä oli valinnut kolmesta arvostetusta psykologian tiedelehdestä 100 tutkimusta, jotka pyrittiin toistamaan mahdollisimman samalla tavalla. Alkuperäisissä tutkimuksissa oli yleensä saatu hypoteesien mukaisia tuloksia. Ja vaikka hypoteesit eivät olisi täysin toteutuneet, tuloksena oli kuitenkin tilastollisesti merkitseviä tuloksia. Uusissa tutkimuksissa vain 36 prosentissa saatiin sama merkitsevä tulos ja keskiarvojen erojen tai korrelaatioiden suuruus kutistui puoleen.
Tämä tulos kuulostaa psykologiaa lähes 60 vuotta seuranneen korvissa siltä kuin kuumalle kiukaalle olisi heitetty kylmää vettä. Kuitenkin monia tutkimusraportteja lukiessa törmää siihen, että tulos on ollut vain niukasti tilastollisesti merkitsevä tai sitten tulos on ”kalasteltu” suuresta joukosta korrelaatioita tai vertailuja, joten tuo tulos ei enää niin paljon järkytä. Olisin kuitenkin odottanut, että ainakin 2/3 olisi saanut toistetussa tutkimuksessa tukea.
Mistä tämä heikko toistettavuus voisi johtua? Tutkimusasetelmat ja -menetelmät ovat nykyisin niin monimutkaisia, että niiden tarkka toistaminen on vaikeaa. Suuri osa tutkimuksista tehdään Yhdysvalloissa, josta on usein seurannut, että tutkimukseen osallistuvat ovat yliopistojen opiskelijoita. Osa tutkimustuloksista liittyy aina siihen kulttuuriin, jossa niitä tehdään. Tulosten perusteella rakennetut mallit voivat muuttua ratkaisevasti jonkin pienen muutoksen ansiosta. Tekee mieli verrata kokeellisen psykologian tutkimuksia nykyajan monimutkaisiin teknisiin laitteisiin. Tekniikan viimeistä sanaa edustavat tankit lamaantuvat hiekkamyrskyssä ja kotimaassa junat voivat pysähtyä jo alle 20 asteen pakkasessa.
Tutkijoiden on vaikea salata tutkimuksensa tavoitteita eikä salaaminen edes kuulosta hyvältä. Tutkimukseen osallistuvilla on omat odotuksensa siitä, mitä tutkimuksessa tulisi tehdä. Tutkimukseen vapaehtoisesti osallistuvat haluavat olla hyviä ”koekaniineita” ja haluavat samalla varmistaa, että tutkija saa mitä hän toivoo. Tällaisten odotusten huomioon ottamiseen löytyy keinoja, mutta niiden avulla ongelmaa ei voida kokonaan poistaa.
Jotakin sentään tiedetään. Kun tarkastellaan kielteisiä tai myönteisiä ääri-ilmiöitä tai kun monet asiat kasautuvat samansuuntaisesti, vaikutukset ovat usein pelottavan selkeitä, mutta ne eivät ole yllättäviä. Tiedemiehillä on halu yllättää sekä kollegansa että yleisönsä. Näin teki Einstein ja moni muu luonnontutkija. Myös Stanley Milgram (tottelevaisuus) ja Philip Zimbardo (vankilasimulaatio) yllättivät tutkimuksillaan ja saivat paljon huomiota osakseen.
Se, että lapsen kasvaminen surkeissa olosuhteissa johtaa huonoihin seurauksiin ei yllätä. Tai jos jollakin henkilöllä on vuoden aikana monta kielteistä elämäntapahtumaa, hänen huomattavasti alentunut onnellisuutensa kuulostaa samoin uskottavalta. Yllätys sen sijaan on se, että noista olosuhteista huolimatta voi selviytyä elämässä ja jopa kukoistaa.
Kuinka paljon tietoa pitää kertyä, jotta jotakin ilmiötä tai tulosta voidaan pitää luotettavana? Kuinka monta psykoterapian tutkimusta on tehtävä, jotta voidaan sanoa sen olevan hyödyllistä? Riittääkö viisi tai kymmenen? Vai tarvitaanko satoja? Kukaan ei varmaankaan pysty sanomaan, kuinka paljon psykoterapian tutkimuksia on tehty, mutta niiden määrä voidaan laskea tuhansissa. Eikö tuo viisi tai kymmenen olisi riittänyt? Tutkijoiden mielestä se ei ole riittänyt, koska tutkimustyö jatkuu.
Yksi asia on toki varma. Psykoterapia hyödyttää monia, jotka siihen hakeutuvat. Kuitenkin kyse on keskimääräisistä terapioista, terapeuteista, asiakkaista ja ongelmista. Kun terapiasuuntien lukumäärää ei kukaan tiedä ja terapiat, terapeutit, asiakkaat ja ongelmat vaihtelevat suuresti ominaisuuksiltaan, tuo yleistys ei ole aivan sitä, mitä odotetaan. Valitettavasti kaikki muu on paljon epävarmempaa.
Yksi epävarmuus liittyy siihen, millainen on hyvä psykoterapian tutkimus. Ideaalitasolla vaatimukset ovat suuria. Huomioon otettavia yksityiskohtia on kymmenittäin. Niinpä noista tuhansista tutkimuksista vain murto-osaa täyttää tärkeimmät vaatimukset. Kriittinen arvioija löytää lähes aina joitakin puutteita, joiden vuoksi tulosta ei voida kelpuuttaa niiden joukkoon, joitten perusteella tehdään arvioita psykoterapian hyödyllisyydestä.