Arkistoidut aineistot tukevat tutkimuksen toistettavuutta

Toistettavuus on tieteellisen tutkimuksen perusperiaatteita. Se tarkoittaa, että tutkija itse tai hänestä riippumaton taho kykenee toistamaan kokeen tai tutkimuksen. Näin voidaan selvittää, kuinka tutkimustuloksiin on päädytty, onko kokeessa mahdollisesti virheitä tai koetuloksissa satunnaisvaihtelua, ja edistää siten tutkimuksen luotettavuutta ja läpinäkyvyyttä.

CSC järjesti 23. huhtikuuta webinaarin, jossa käsiteltiin tutkimuksen toistettavuutta eri näkökulmista sekä esiteltiin toistettavuutta edistäviä työkaluja.

Toistettavuus edellyttää, että tutkimuksen vaiheista on saatavilla tarpeeksi tietoa. Lisäksi tutkimusaineiston on oltava myös muiden kuin alkuperäisen tutkijan saatavilla. Hyvä aineistonhallinta onkin keskeisessä osassa toistettavuuden edistämisessä. Mitä paremmin aineiston keruu ja muokkaaminen sekä sen analysointiin käytetyt menetelmät, ohjelmistot ja ohjelmistoympäristöt on dokumentoitu, sitä helpompi tutkimus on toistaa. FAIR-periaatteiden (löydettävyys, saavutettavuus, yhteentoimivuus ja uudelleenkäytettävyys) soveltaminen tutkimuksen koko elinkaaren ajan edistää tutkimuksen toistettavuutta.

Tutkimuksen toistettavuutta tukee myös aineiston arkistoiminen luotettuun, pitkäaikaissäilytykseen erikoistuneeseen ja jatkokäytön mahdollistavaan arkistoon. Tietoarkisto edistää ihmistieteiden aineistojen saatavuutta ja löydettävyyttä tarkistamalla arkistoitavat aineistot yksityiskohtaisesti, kuvailemalla aineistot ja niihin tehdyt muutokset yksityiskohtaisesti ja kontrolloituja sanastoja käyttämällä, tarjoamalla aineistojen metatiedot avoimesti CC BY 4.0 -lisenssillä ja antamalla aineistoille pysyvät tunnisteet.

Data Stewards by The Turing Way Community, & Scriberia. CC BY 4.0

Nämä kaikki edistävät FAIR-periaatteiden toteutumista. Periaatteet edellyttävät myös metatiedon koneluettavuutta. Tietoarkiston aineistokuvailut ovatkin saatavissa myös ohjelmallisten rajapintojen kautta.

Hyödyntämällä arkistoitua aineistoa tutkimuksessaan tutkija voi luottaa siihen, että tutkimusaineisto on tiedeyhteisön saatavilla kattavasti dokumentoituna. Tutkija säästää aikaa ja vaivaa, ja voi keskittyä dokumentoimaan aineiston käsittelyyn, menetelmällisiin valintoihin ja tuloksiin liittyviä asioita.

Anonymisointi voi muodostua haasteeksi toistettavuudelle

Webinaarissa käsiteltiin toistettavuutta yleisesti ja hiukkasfysiikan tapausesimerkin kautta. Toistettavuuden periaate pätee kaikilla tieteenaloilla, mutta ihmistieteissä tunnisteellisten tutkimusaineistojen anonymisointi luo omat haasteensa aineiston jatkokäytölle ja tutkimuksen toistettavuudelle.

Sensitiivisestä ja tunnisteellisesta aineistosta on usein tarpeen karkeistaa tai poistaa suoria tai epäsuoria tunnisteita. Jatkokäyttöön tulevalla aineistolla ei välttämättä voi toteuttaa alkuperäisten tutkijoiden tekemiä analyysejä sellaisenaan.

Hyvin ja ajoissa suunniteltu aineistonhallinta auttaa tässäkin: kun tutkittavilta kerätyt henkilötiedot on minimoitu ja heitä on informoitu aineiston jatkokäytöstä, aineisto voidaan arkistoida mahdollisimman vähin muutoksin.

Ihanteellisessa tapauksessa tutkimusaineisto on avoimesti tiedeyhteisön saatavilla tulosten koettelemiseksi, mutta joskus aineistoa ei voi avata edes rajoitetusti. Syitä voivat olla esimerkiksi siihen sisältyvät tunnisteet, aineiston arkaluonteisuus, tai että aineisto sisältää liiketoiminnan kannalta salassa pidettävää sisältöä. FAIR-periaatteiden noudattaminen ei edellytäkään aineiston avointa saatavuutta, vaan itse aineisto voi olla rajoitettua tai jopa kokonaan salattua. Periaatteiden mukaista sen sijaan on, että rajoitetusta tai salatusta aineistosta on saatavissa metatietoa, joka kuvaa sen rakennetta, kohdetta, keruutapaa, sovellettuja menetelmiä ja malleja sekä hallinnointia tutkimusprojektin aikana.

Tutkimuksen ja aineistosta tehtyjen johtopäätösten läpinäkyvyyden kannalta on suositeltavaa avata aineistosta vähintään kattavat kuvailutiedot, kuin säilyttää kaikki tiedot muun tiedeyhteisön tai yhteiskunnan ulottumattomissa.

Lisätietoa:

» CSC:n webinaari 23.4.2021: Mitä tutkimuksen toistettavuus tarkoittaa?

• Hanna Koivula: Tutkimuksen toistettavuus, mitä se tarkoittaa? (pptx)
• Maria Lehtivaara: Some tools you hear about when talking about reproducibility: git, containers, notebooks, workflows (pptx)
• Katja Mankinen: Hiukkasen toistettavuudesta: case CERN (pdf)

» Aineistonhallinnan käsikirja

Data Stewards -kuva (2020, March 3). Illustrations from the Turing Way book dashes. Zenodo. http://doi.org/10.5281/zenodo.4323154

Henri Ala-Lahti
tietoasiantuntija

Tuomas J. Alaterä
erityisasiantuntija

etunimi.sukunimi [at] tuni.fi

Tutkimusaineistojen avaaminen on tutkittavien etu

Terveys- ja lääketieteellisistä asioista olisi paljonkin kirjoitettavaa, mutta tämä blogiteksti jää viimeiseksi kirjoituksekseni Tietoarkistossa. Kun yksi ovi sulkeutuu, toisia avautuu – tällä kertaa ovi avautui Terveyden ja hyvinvoinnin laitoksessa, jossa nyt työskentelen.

Tämä kirjoitus käsittelee tärkeää aihetta, eli sitä mikä on tutkittavan etu lääketieteellisten tutkimusaineistojen avaamisessa. Taustalla ovat yhä lisääntyvät vaatimukset tutkimuksen avoimuudesta. Niistä lääketieteen tutkimuksen kannalta merkittävin on kansainvälisten lääketieteellisten lehtien komitean (ICMJE) tavoite, jonka mukaan kaikkien kliinisten tutkimusten aineistot on jatkossa aukaistava.

Miksi sitten sellainen instituutio kuin ICMJE suosittelee kliinisten tutkimusten datojen avaamista? Monella varmasti herää kysymys, eivätkö he ajattele tutkimukseen osallistuvien tietosuojaa? Ehkä vähän yllättäen, ICMJE kuitenkin perustelee tutkimusaineistojen avaamista juuri osallistujien edulla.

Heidän mukaansa kyse on ennen kaikkea tutkijan vastuusta tutkittavilleen. Jo suostumuksessa osallistujille tehdään selväksi, että tutkimuksen hyödyt eivät välttämättä suoraan koidu heille itselleen, vaan tuleville potilaille. Osallistuessaan tutkimukseen tutkittavat siis asettavat terveytensä, hyvinvointinsa ja taloudellisen toimeentulonsa alttiiksi riskeille hyödyttääkseen tulevia potilaita. Siksi on eettisesti välttämätöntä, että tutkimusaineisto ja sen tulokset käytetään hyödyksi mahdollisimman tarkoin.

Se ei onnistu, mikäli tutkimusaineistoa pääsee käyttämään vain datan kerännyt yritys tai akateeminen tutkimusryhmä. On epätodennäköistä, että tutkijat pystyvät analysoimaan täydellisesti kaikkea keräämäänsä dataa. Tutkimuksen tulokset voivat myös jäädä epäselviksi, jos tutkittavien joukko on ollut liian pieni, jotta intervention vaikutukset saataisiin tutkimuksessa selville. Tutkimuksen puutteetkin havaitaan helpommin ulkopuolisen silmin.

Siksi data on tärkeää antaa myös muiden tutkijoiden saataville. He voivat ottaa datan oman tutkimusaineistonsa rinnalle, jolloin tutkimusjoukon kasvu pienentää havaitun vaikutuksen suuruuteen ja suuntaan liittyvää epävarmuutta. Datan jakaminen auttaa pääsemään varmuuteen hoidon vaikuttavuudesta nopeammin ja potilaat hyötyvät paitsi nopeammasta uudesta hoidosta, myös siitä, ettei tutkimusta tarvitse toistaa yhtä monta kertaa ja altistaa yhä uusia osallistujia riskeille.

ICMJE esittää, että lähivuosina tutkimusaineistojen avaamisesta tehdään pakollista. Se ei ole vaatimuksineen yksin – yhä useampi tutkimusrahoittaja ja muun muassa Institute of Medicine/National Academy of Medicine sekä European Medicines Agency vaativat tutkimusaineistojen avaamista.

Potentiaalisena tulevien hoitojen ja lääkkeiden käyttäjänä kannatan lämpimästi myös lääketieteellisten aineistojen avaamista. Tänä tietotekniikan aikakautena tutkittavien tietosuoja saadaan varmasti taattua kaikkia osapuolia tyydyttävällä tavalla vaikkapa tietoturvallisten etäkäyttöjärjestelmien avulla. Suomessa tällainen etäkäyttöjärjestelmä on jo rakenteilla rekisteritietojen tietoturvallista käyttöä varten.

Annaleena Okuloff
erikoissuunnittelija, THL
Tietoarkiston entinen terveystieteiden tieteenala-asiantuntija
fsd [at] uta.fi

Aineistojen avoimuus saattaisi ratkaista monta lääketieteen tutkimuksen ongelmaa

Tutkimusaineistojen avoimuus on päivän trendi. Ehkä vähän yllättäen myös arkaluonteista tietoa sisältävien aineistojen avaamisen puolesta puhuu yhä useampi tutkija, ja lääketieteen julkaisut ovat alkaneet vaatia artikkelin julkaisijoita avaamaan tutkimusaineistonsa. Nyt on hyvä hetki istua alas ja pohtia syitä, joiden vuoksi aineistojen avoimuutta halutaan edistää terveys- ja lääketieteen tutkimuksen alalla.

En tässä kirjoituksessa kajoa tietosuojakysymyksiin tai aineistojen avaamisesta tutkittaville koituviin hyötyihin. Jälkimmäisestä aiheesta on tulossa Tietoarkistoblogiin oma kirjoitus, ja Euroopan unionin yleisen tietosuojan kansallinen tulkinta on vielä sen verran kesken, että tietosuoja-asiaan kannattaa paneutua vasta myöhemmin. Kannattaa seurata Tietoarkiston tapahtumia, esimerkiksi loka-marraskuussa on luvassa kaksi aiheeseen liittyvää seminaaria.

Sitten takaisin blogin varsinaiseen aiheeseen.

Kaikessa tutkimuksessa, ei pelkästään terveys- ja lääketieteissä, on ongelmallista, jos tutkimustuloksia ei pystytä toistamaan. Lääketieteissä toistettavuuden puute johtaa epävarmuuteen siitä, mikä olisi paras tapa hoitaa potilaita. Lääketieteissä seuraukset ovat siis moniin muihin tieteenaloihin verrattuna erityisen vakavia.

Toistettavuuden puute voi johtua monista tekijöistä. Aineisto voi olla liian pieni, jolloin tulokset voivat olla sattumalöydöksiä. Aineistossa tai sen analyysissa käytetyissä menetelmissä voi olla puutteita, joiden seurauksena löytyy eroja, joita ei todellisuudessa ole. Tai yhteyttä ei ole olemassakaan, mutta vasta kun takana on riittävän monta laadukasta tutkimusta, jotka eivät hypoteesia vahvista, voidaan todeta, ettei hypoteesi pitänyt paikkaansa.

Tutkimusaineistojen avoimuutta halutaan, koska se parantaa tutkimuksen laatua ja laadukkaammat tutkimukset johtavat parempaan toistettavuuteen. Epidemiologisesta tutkimuksesta voidaan siirtyä nopeammin varsinaisten syy-yhteyksien selvittämiseen. Yhtenäisistä tutkimustuloksista saadaan käypä hoito -suosituksia, joiden perustana on vahva näyttö vaikuttavuudesta. Meta-analyyseihin kun pätee sama "garbage in, garbage out" -periaate kuin monella muullakin alalla: meta-analyysi tai systemaattinen kirjallisuuskatsaus voi olla vain niin hyvä kuin ovat ne alkuperäiset tutkimustulokset, joiden pohjalta analyysit ja koosteet tehdään.

Tutkimusaineistojen avoimuuden lisääntyminen mahdollistaa myös yhä useammin yksilötason potilastietoihin perustuvat individual patient data (IPD)-meta-analyysit sen sijaan, että jouduttaisiin tyytymään pelkkiin artikkeleiden tarjoamiin tunnuslukuihin. Avoimien aineistojen avulla tutkimuksen tuloksia voi vertailla helposti toisenlaiseen populaatioon, (jonka dataa ei ole analysoitu vielä ihan samalla tavalla) ja löydökset joko vahvistuvat tai osoittautuvat merkityksettömiksi.

Avoimesta tutkimusaineistosta voi myös varmistaa alkuperäiset tulokset ja käytettyjen menetelmien asianmukaisuuden. On valitettavan tavallista vaihtaa ja muokata alkuperäisen kiinnostuksen kohteina olleita tulosmuuttujia, päävasteita, parempien tulosten toivossa. Avoin data auttaa varmistamaan, että alun perin kiinnostavat vasteet myös analysoidaan ja tulokset julkaistaan. Dataväärennöksiä datojen avaaminen tuskin kokonaan lopettaa, mutta niiden tekeminen ainakin vaikeutuu.

Sitten on hyvin tunnettu ongelma, eli julkaisuharha. Negatiivisia tutkimustuloksia ei haluta julkaista, tai vaikka haluttaisiinkin, niitä ei välttämättä saa julkaistua. Lääketehdas voi olla halukas hautaamaan vakavia sivuvaikutuksia tuottaneen lääkkeen tutkimuksen kokonaan ja samaa lääkeainetta voi sitten testata jokin muu taho tietämättä jo todettuja haittavaikutuksia. Jos kaikkien rekisteröityjen tutkimusten aineistot on pakko avata, näitä negatiivisia kokeita ei ole yhtä helppo haudata.

Tehdyistä tutkimuksista voi ottaa myös oppia. Julkaistusta datasta voi saada lisätietoa siitä, mitä taustatekijöitä on syytä ottaa huomioon satunnaistettaessa tutkittavia ryhmiin. Datan saattaminen muiden tutkijoiden käyttöön auttaa saamaan aiheeseen uusia näkökulmia ja havaitsemaan millainen tutkimus toimii ja millainen ei. Kaiken kaikkiaan tarve tutkia samoja ilmiöitä, hoitoja ja lääkkeitä yhä uudelleen vähenee.

Avoimuuden sivuilmiönä tutkijat kertovat tekevänsä tutkimusaineiston avaamiseen tähtäävää tutkimusta huomaamattaan hieman huolellisemmin kuin tutkimusta, jonka aineisto ja menetelmät jäävät vain heidän omaan käyttöönsä. Kun tietää joutuvansa perustelemaan jokaisen päätöksen, tulee tarkasteltua tarkemmin menetelmällisiä valintoja, joita aiemmin on pitänyt itsestään selvinä.

Tutkimusaineistojen avoimuus ei siis ehkä korjaa kaikkia lääketieteen tutkimuksen ongelmia, mutta auttaa kyllä hyvin monen nujertamisessa.

Annaleena Okuloff
erikoissuunnittelija, THL
Tietoarkiston entinen terveystieteiden tieteenala-asiantuntija
fsd [at] uta.fi