Digitaalisen säilyttämisen parhaat käytännöt rakentuvat yhteistyössä

Marraskuun toinen torstai on aina kansainvälinen digitaalisen pitkäaikaissäilyttämisen päivä. Tänä vuonna päivän teemana on Preserving Our Digital Content: Celebrating Communities. Teemalla halutaan juhlistaa yhteisöjä, jotka ovat eri tavoin toteuttamassa sähköisten aineistojen pitkäaikaissaatavuutta.

Itselleni tärkeä yhteisö on ollut CoreTrustSeal. Se on kansainvälinen, voittoa tavoittelematon järjestö, joka tarjoaa luotettavan sähköisen säilyttämisen perustason sertifiointia. Olen palvellut CoreTrustSealin hallituksessa jo vuodesta 2018 alkaen. Viimeisen vuoden aikana yksi keskeinen teema on ollut digitaalisen säilyttämisen ja aineistojen kuratoinnin erilaiset tavoitteet ja tasot, koska niihin liittyvät käsitteet ja määritelmät eivät ole vielä vakiintuneita.

Olemme CoreTrustSealin piirissä käyneet aiheesta avointa ja yhteisöä osallistavaa keskustelua, jonka perusteella hallitus on hahmotellut neljä erilaista digitaalisen säilyttämisen tasoa¹:

• Z. Nollataso (level zero): Repositorio säilyttää ja jakaa digitaalisen objektin sisällön sellaisena kuin se on repositorioon tallennettu.
• D. Tallennuskriteerit täyttävä taso (deposit compliance): Tallennusvaiheessa repositorio tarkistaa, että digitaalinen objekti ja sen metadata täyttää tietyt ennalta määritellyt minimivaatimukset.
• C. Ensikuratoinnin taso (initial curation): Repositorio täydentää digitaalista objektia tai sen metadataa repositorien käytäntöjen mukaisesti, esimerkiksi lisää FAIR-periaatteiden mukaista metadataa.
• A. Aktiivisen pitkäaikaissäilytyksen taso (active preservation): Repositorio ottaa vastuun siitä, että digitaalinen objekti säilyy käytettävänä ja ymmärrettävänä pitkällä aikavälillä.

Nämä tasot voivat olla kumulatiivisia ja usein ovatkin. Tyypillisesti esimerkiksi repositorio, joka vastaa datan pitkäaikaissäilyttämisestä (A) myös tarkistaa tallennuskriteerien täyttymisen (D) ja kuratoi aineistoja (C). Kaikenlaisia repositorioita tarvitaan, koska asiakkaiden tarpeet ovat erilaisia. Tärkeää on, että repositoriot viestivät selkeästi palvelulupauksensa, jotta asiakkaat pystyvät valitsemaan oikean paikan digitaalisen materiaalin tallennukseen. Esimerkiksi tutkimusdatalle oikea repositorio on usein tieteenalakohtainen sertifioitu data-arkisto.

Työ tällä saralla jatkuu. CoreTrustSealin hallitus on julkaissut keskustelupaperin, jossa pohditaan, miten näiden neljän eri säilytystason avulla voidaan ryhmitellä repositorioita². Osallistuin keväällä 2024 Saksan data-arkiston GESISin järjestämään tutkijavierailuun. Sen tuloksena julkaisimme paperin, jossa hahmotellaan mitä metadataa tarvitaan kuvaamaan kuratoinnin ja säilyttämisen tasoa sekä repositorion että digitaalisen objektin tasolla.³

Ensi tammikuussa alkaa CSC:n johtama Horisontti-rahoitteinen FIDELIS-hanke, jossa Tietoarkisto on mukana. Hankkeen tavoitteena on rakentaa eurooppalainen luotettujen datarepositorioiden verkosto, määritellä hyviä käytäntöjä ja tutkia luotettavien repositorioiden ominaisuuksia.

Tutkimusdatan digitaalinen pitkäaikaissäilyttäminen on nopeasti kehittyvä ala, jossa tarvitaan monenlaista osaamista ja erilaisia näkemyksiä. Parhaat käytännöt rakennetaan yhteistyöllä ja verkostoitumalla. CoreTrustSeal on vain yksi monista yhteisöistä, joihin Tietoarkisto ja tietoarkistolaiset kuuluvat. Tätä blogiakin olen työstänyt yhdessä CoreTrustSealin hallituksen ja CESSDA-kollegojen kanssa. Lue lisää CoreTrustSealin ja Digital Preservation Coalitionin sivuilta.

Mari Kleemola
kehittämispäällikkö
etunimi.sukunimi [at] tuni.fi

^[1] CoreTrustSeal Standards and Certification Board. (2024). Curation & Preservation Levels: CoreTrustSeal Position Paper. Zenodo. https://doi.org/10.5281/zenodo.11476980

^[2] CoreTrustSeal Standards & Certification Board. (2024). Types of Repository: Entities, Responsibilities, Objects. CoreTrustSeal Board Discussion Paper (v01.00). Zenodo. https://doi.org/10.5281/zenodo.13133041

^[3] L'Hours, H., Kleemola, M., & Recker, J. (2024). CoreTrustSeal Levels of Curation and Preservation: Implied Repository and Object Metadata Characteristics (v01.00). Zenodo. https://doi.org/10.5281/zenodo.12701324

Let’s Keep It FAIR

The acronym FAIR cannot be avoided when talking about research data. And that’s good. FAIR stands for better discoverable and accessible research data, documented and published in a way that makes it reusable and understandable by both humans and machines. At least those are the benefits. Viewed from the repository world and with digital preservation glasses on, FAIR research data should also be curated data that have found a home in a repository where the designated user community knows to look for it. This can be greatly facilitated by improving the repository's ability to produce and preserve FAIR (meta)data.

During the last three years, FSD has led the work in the EOSC-Nordic project's work package on FAIR and repository certification support. In addition to sound digital preservation practices, we found that rich, standards-based metadata, documented processes, and a clear mission in digital preservation are essential to keeping data FAIR. Money also helps, but it cannot buy love or eternal existence if expertise is lacking. Therefore, improving the repository's ability to produce and preserve (meta)data is one key step towards FAIRer and more trusted data sharing.

Landscaping the Nordic countries and the Baltics

To better understand the Nordic and Baltic research data repository landscape, the working group conducted a desk study to examine the characteristics of the data repositories in the region. This was done using publicly available information on 86 repository websites. A significant majority were specialist repositories focused on specific fields or disciplines, while the rest were generalist repositories.

We were interested in what information about the repository itself was easily accessible to users and other stakeholders because conveying trust is crucial. We were looking for information that is essential for understanding the services and reusing data: mission statement, description of the designated community, methods of data preservation, model citations, use of PIDs and terms of use.

Almost three out of four repositories had a mission statement and about half of them had a description of the designated community. Almost half specifically mentioned being responsible for long-term preservation. A little more than half provided a model citation for their data. Over three fourths had the terms of data use available on their websites. The content and scope varied between repositories.

Common repository registries, such as re3data and FAIRsharing, help users find suitable repositories and provide an overview of existing services. As many as 72% of the repositories in our sample had a record in re3data, while only 22% had a record in FAIRsharing. All repositories that had a FAIRsharing record also had a re3data record. This suggests that currently re3data is considered the most important registry for repository information.

Repository certification

We are also looking for information about the repository certifications. Only 17 (20%) of the repositories mentioned certification on their website. The most common certificate was CoreTrustSeal (CTS). Other certificates mentioned were the CLARIN certificate, ISO 27001 and WDS. Currently, there are relatively few CTS-certified repositories in the Nordic countries and the Baltics compared to Western Europe. Support and training for CoreTrustSeal self-assessments offered during the EOSC-Nordic project is expected to pump the number of certified repositories from ten to 15 or 16.

Although the certification alone does not preserve a single byte, it seems that support, networking, and awareness raising over the past couple of years in the EOSC-Nordic project have helped the players in their game to keep the data FAIR.

---

This blog entry is partially based on the final report of the work package. Deliverable D4.5 Report on completed FAIR data standard adoption and certifications of data repositories in the region is forthcoming.

Today is the World Digital Preservation Day. Follow what's happening around the world!

More information:
» World Digital Preservation Day
» World Digital Preservation Day Events Calendar
» EOSC-Nordic Knowledge Hub (Final report will be here when published)

Tuomas J. Alaterä
Senior Specialist (Web Services, Digital Preservation and Communications)
firstname.surname [at] tuni.fi

Tutkimusdata on pysyvän tunnisteensa ansainnut

Tänään on maailmanlaajuinen digitaalisen pitkäaikaissäilyttämisen päivä. Miksi siis kirjoittaa pysyvistä tunnisteista, PIDeistä? Siksi, että tunnisteen merkitys on keskeinen laadukkaan pitkäaikaissäilytyspalvelun toteuttamisessa. Kuten tutkimusjulkaisu, myös tutkimusdata on laajasti hyödyllinen vain, jos se on löydettävissä ja kuvailtu riittävän yksityiskohtaisesti. Pysyvä tunniste onkin oleellinen osa pyrkimystä löydettävämpään, saavutettavampaan, yhteentoimivampaan ja uudelleenkäytettävämpään – siis FAIRimpaan – dataan. Se edistää myös avointa tiedettä ja tutkimusta.

Jos tutkimus olisi aina ollut digitaalista, PID (Persistent Identifier) olisi varmasti jo tutkimusdatan normaali kumppani, samoin kuin julkaisuille jo pitkään annetut kirjastoluokitukset ja teoksen identifioiva merkkijono. Tunnisteen avulla digitaalinen aineistopaketti on yksiselitteisesti identifioitavissa ja viitattavissa. Pääsääntöisesti oletamme, että data on saatavissa "verkosta". Vielä toistaiseksi datan löytäminen tai tiettyyn dataan viittaaminen vaatii usein nojautumista muuttuviin URL-osoitteisiin tai viittaamista hakutuloksiin tietokannasta.

PID on avain. Se tunnistaa ja avaa laatikon, josta löytyy itse datan ohella sen kuvaus, ja kenties joukko versioita tai tietoja siitä, mitä versiota tai mitä osaa datasta on hyödynnetty. PID yksistään ei tietysti takaa kaikkea tätä. Mutta PIDillä on omistaja, jolla on velvollisuus taata tunnisteen toimivuus, ainutkertaisuus ja pysyvyys - ja siten datan löydettävyys. Siksi pysyvää tunnistetta ei tulisi koskaan saada aineistolle, jonka metatiedosta, saatavuudesta tai säilyttämisestä ei ole huolehdittu.

PID on käypää valuuttaa. Sillä on käyttöarvo ja tunnisteiden hallinta pitää arvoa yllä. Ylläpitäjä, korkeakoulu, kirjasto tai data-arkisto, vastaa siitä, että tunniste resolvoituu oikeaan lähteeseen. Pitkäaikaissäilytyksen kannalta tämä tarkoittaa, että tiedetään, mikä versio ja millä tunnisteella, on milloinkin säilytetty.

PID lisää luotettavuutta. Kaikki pysyvät tunnistejärjestelmät vaativat, että tunnisteita hallinnoidaan aina siitä alkaen, kun tunniste annetaan. Vaikka aineisto myöhemmin syystä tai toisesta hävitettäisiin tai sen saatavuutta rajoitettaisiin, PID johtaa kyselijän edelleen aineiston perustietoihin. Näin pitkä sitoutuminen aineiston ja sen tietojen ylläpitoon ei voi jäädä tutkijan vastuulle, vaan taustalla tulee olla jokin luetettava taho – esimerkiksi data-arkisto. PIDin tulee lisätä luottamusta siihen, että aineisto on luotettavasti säilytetty ja sen saatavuudesta on huolehdittu. PID kertoo, että datastasi välitetään.

PID parantaa yhteentoimivuutta. Nykypäivänä tiedon on liikuttava tietojärjestelmästä toiseen. Kun pysyvä tunniste on dokumentoitu kuvailevaan metadataan koneluettavassa muodossa, haravoituu se erilaisiin yhteysluetteloihin tai julkaisuarkistoihin osana dataviittausta. Siten PID edistää meriitin syntymistä datan tuottajille. Yhtä lailla tutkimusorganisaatiot, julkaisijat tai julkaisutiedon kerääjät voivat hyödyntää tunnistetta dataan kohdistuvien viittausten kokoamiseen. Rahoittajille tunniste tarjoaa mahdollisuuden esimerkiksi automatisoida rahoittamiensa tutkimustuotosten seuraamista.

PIDit Tietoarkistossa

Tietoarkisto antaa kullekin arkistoitavalle datalle pysyvän tunnisteen. Me käytämme URN-tunnisteita. Olemme valinneet käytännöksi, että tunniste muodostetaan aineistolle annettavan aineistonumeron perustalle, joten ihminenkin näkee, mihin aineistoon tunniste viittaa. Tämä helpottaa tunnisteen käsittelyä ja ymmärtämistä esim. tutkimusjulkaisussa, mutta on silti täysin koneluettava. Kukin aineisto saa pysyvän tunnisteensa jo siinä vaiheessa, kun sen arkistointi aloitetaan. Siten viitteen keräämäänsä (tai käyttämäänsä) aineistoon voi liittää julkaisuun jo etukäteen. Aluksi tunniste johtaa tietoon siitä, että kyseinen aineisto on arkistointiprosessissa. Myöhemmin, kun arkistointi on valmistunut ja aineisto on saatavissa, sama viite tulee ohjaamaan dataan tai sen versiohistoriaan.
PID - tunnista, mitä avaat!

Lisätietoa:

» PID linkkinä resolvoituu aineistokuvaukseen Ailassa: urn:nbn:fi:fsd:T-FSD3424
» Näin Tietoarkisto palvelee arkistoinnissa
» World Digital Preservation Day

Tuomas J. Alaterä
IT-palveluasiantuntija
etunimi.sukunimi [at] tuni.fi

Digitaalisen tutkimusdatan pitkäaikaissaatavuutta jo vuodesta 1999

Viime vuonna Tietoarkisto juhli 20-vuotista taivaltaan. Olemme tutkimusaineistojen digitaalisen pitkäaikaissäilytyksen pioneereja Suomessa. Aluksi haimme mallia toimintaamme eurooppalaisilta ja muilta kansainvälisiltä yhteiskuntatieteellisiltä data-arkistoilta, ja työmme käynnistyi ripeästi.

Ensimmäiset pitkäaikaissäilytettävät aineistopaketit valmistuivat vain runsaan puolen vuoden kuluttua Tietoarkiston perustamisesta. Nämä olivat Puolueiden ajankohtaistutkimukset, joiden kuvailut julkaisimme verkkosivuillamme syyskuussa 1999. Jo tätä ennen olimme palvelleet ensimmäistä asiakastamme, kun kesäkuussa 1999 välitimme Eurobarometri-dataa Turun yliopiston tutkijalle.

Datan tekijän ja jatkokäyttäjän kohtaamispaikka

Tällä hetkellä aineistovarannossamme on jo yli 1500 tutkimusdataa ja Aila-dataportaalimme on osa eurooppalaista avoimen tieteen pilvipalvelua EOSC Marketplacea. Palveluillamme on vuosien varrella ollut tuhansia käyttäjiä. Tällä hetkellä Ailassa on yli 2600 rekisteröitynyttä käyttäjää ja verkkosivuillamme vieraillaan reilusti yli miljoona kertaa vuodessa. Ailasta tutkijat, opettajat ja opiskelijat saavat datat käyttöönsä helposti ja maksutta kunkin aineiston käyttöehtojen mukaisesti.

Tutkimusaineiston tallentaminen Tietoarkistoon on myös helppoa. Ennen aineiston siirtoa tehdään käsittelysopimus, jolla varmistetaan muun muassa henkilötietojen vastuullinen käsittely ja aineiston laillinen siirtäminen Tietoarkistoon. Tämän jälkeen Tietoarkiston asiakaspalvelu avaa Ailaan työtilan, jossa tutkija siirtää tiedostot tietoturvallisesti Tietoarkiston aineistopalvelun käsiteltäviksi.¹

Huolehdimme saatavuudesta ja ymmärrettävyyden säilymisestä

Tietoarkiston perustehtävä on alusta asti ollut varmistaa digitaalisten tutkimusaineistojen säilyvyys, käytettävyys ja saatavuus tutkijoiden käyttöön sekä nyt että kaukana tulevaisuudessa. Digitaaliset tutkimusaineistot eivät säily itsestään, vaan niitä pitää hoivata koko elinkaaren ajan.

Tietoarkisto seuraa ohjelmistojen kehittymistä ja huolehtii arkistoitujen tutkimusdatojen tiedostomuotojen pysymisestä ajantasaisena ja käyttökelpoisena. Koska tutkimusdatamme sisältävät yleensä tietoa ihmisistä, panostamme tietosuojaan koko tutkimusdatan säilytyksen ajan. Laadimme vuosittain selosteet aineistoihin kohdistuneista tietosuojatoimenpiteistä sekä varmistamme, ettei aineistoihin synny teknologioiden kehittyessä tietosuojariskejä.

Pelkkä datan hoivaaminen ei yksin riitä takaamaan aineiston pitkäaikaista käytettävyyttä. Tarvitaan myös metadataa eli kuvailevaa tietoa aineiston sisällöstä ja taustasta. Tietoarkisto tekee aineistoille laajat, tasalaatuiset kuvailut. Ilman niitä tutkimusdatan arvo ei säily eikä data ole jatkokäyttökelpoista tai tutkimus toistettavaa. Analyysien kannalta on esimerkiksi ihan eri asia, onko data kerätty 1980-luvulla vai 2010-luvulla, onko otanta satunnainen vai ei tai onko otannan perusjoukko Suomen väestö vai helsinkiläiset.

Tietoarkisto tarkkailee jatkuvasti kuvailujen laatua ja ajanmukaistaa ja rikastaa metadataa esimerkiksi ottamalla käyttöön uusia kansainvälisiä sanastoja. Aineistoille annetaan myös pysyvät tunnisteet. Näin Tietoarkisto voi taata datojen pitkäaikaisen käytettävyyden ja kansainvälisen yhteentoimivuuden.

Vuodesta 2017 alkaen olemme hyödyntäneet kansallista pitkäaikaissäilytyspalvelua tutkimusaineistojemme bittitason säilytykseen. Palvelun suunnittelussa ja rakentamisessa olemme olleet mukana vuodesta 2008 ja pilotointivaiheemme alkoi 2015.

Sertifiointi luotettavuuden merkkinä

Tietoarkiston asiantuntijoiden pitkäjänteisen, jatkuvan, huolellisen ja innovatiivisen työn tuloksena olemme onnistuneet kehittämään ja rakentamaan toimivat prosessit, jotka varmistavat aineistojen pitkäaikaissaatavuuden. Tästä osoituksena saimme Data Seal of Approval (DSA) -sertifikaatin vuonna 2014 ensimmäisenä suomalaisena PAS-organisaationa. Tällä hetkellä meillä on voimassa vaatimuksiltaan DSA:ta tiukempi CoreTrustSeal (CTS) -sertifikaatti.

¹ Lue lisää: Tietoarkistoblogi 9/2018: Ailassa nyt tallennustyökalu aineistojen arkistointiin ja Ohjeita aineiston arkistoijalle.

Lisätietoa:

» Tietoarkiston CoreTrustSeal-sertifikaatti (PDF)
» Aila
» Aila EOSC Marketplacessa
» Tietotilinpäätökset
» Tietoarkistoblogi: Tietoarkisto jatkaa uudella vuosikymmenellä luotettuna tutkimusaineistojen asiantuntijana

Mari Kleemola
kehittämispäällikkö, varajohtaja

Katja Moilanen
tietoarkkitehti

etunimi.sukunimi [at] tuni.fi

Being trustworthy and FAIR requires people, processes, technologies and collaboration

The Implementation Roadmap for the European Science Cloud (EOSC) puts focus on research data adhering to the FAIR principles of being findable, accessible, interoperable, and reusable. These are all excellent goals and the social science data archive community has been promoting similar ideas since at least the 1970's. We know that managing, disseminating and preserving digital data for the long term is neither simple nor straightforward. Research data will not become nor stay FAIR by magic. We need skilled people, transparent processes, interoperable technologies and collaboration to build, operate and maintain research data infrastructures.

A key theme in digital preservation and thus in all FSD's functions is trust. Data subjects need to be able to trust that data about them are handled in an appropriate way. Researchers need to have trust that FSD manages their data according to the agreements. FSD’s users need to be able to trust that they get access to reliable versions of data from FSD and that, for example, all changes made to the deposited datasets are documented. In short, FSD needs to be a trusted digital repository.

Shaping the trust landscape

Luckily, FSD is not alone. In addition to collaborating in national networks, FSD is the Finnish Service Provider for CESSDA ERIC (Consortium of European Social Science Data Archives). CESSDA requires that all its Service Providers adhere to the trustworthy digital repository requirements set by the CoreTrustSeal. In August 2017, FSD acquired the new CTS certification among the first CESSDA Service Providers.

FSD has been active in CESSDA's trust work for several years and currently I am a member of the CESSDA Trust Working Group. The Group offers guidance and support to CESSDA members in understanding and acquiring the CoreTrustSeal and maintains an overview of the trust landscape including certification standards and the emergence of the FAIR data principles and the requirements of the EOSC. I am also a member of the CoreTrustSeal Board 2018–2021. These collaborations are essential for strengthening FSD's expertise. They also provide unique insights to, and possibilities to be involved in, shaping the trust landscape.

Today is the World Digital Preservation Day. It brings together the digital preservation community to celebrate the collections preserved, the access maintained and the understanding fostered by preserving digital materials. I want to take this opportunity to celebrate FSD's current and forthcoming collaborations and especially our staff's great expertise and dedication. As the Chair of the CESSDA Trust Group Herve L’Hours has written: Technologies can be consolidated, and processes automated, but collection, creation, curation and research use/reuse of data is ultimately dependent on the domain and disciplinary expertise of the humans who know them best. (L'Hours 2018)

Happy Digital Preservation!

FSD’s work in CESSDA Trust Group and CoreTrustSeal are supported by CESSDA Trust Work Plan project and the Active FSD for CESSDA project funded by the Academy of Finland.

More information:

» Follow #WDPD2018 on Twitter
» CESSDA Trust Working Group
» CoreTrustSeal Board 2018-2021

Mari Kleemola
Development Manager
firstname.surname [at] uta.fi

Tulevaisuuden vaihtoehdot suurten datamäärien käsittelyyn: DRAS-TIC ja Brown Dog

Suuret datamassat ja niiden tarjoamat mahdollisuudet ja haasteet liitetään yleensä suurten internetjättien, kuten Googlen tai Amazonin, keräämään dataan. Mutta mielenkiintoisia laajoja datoja löytyy myös useiden arkistojen hallusta. Niiden käsittely on kuitenkin hankalaa ja riskinä on, että mahdollisuudet jäävät hyödyntämättä ja käteen jäävät vain haasteet.

Tietomassat ja formaattivelka haasteina

Ensimmäisenä haasteena vastaan tulee todennäköisesti varantojen skaalautuminen. Eli miten infra pysyy perässä, kun tiedostomäärät kasvavat dramaattisesti. Toinen haaste on formaattivelka. Formaattivelalla tarkoitetaan sitä työmäärää tai rahasummaa, joka tulevaisuudessa joudutaan käyttämään tiedostojen jatkokäyttämiseen, kun niiden lukeminen ja prosessointi on muuttunut vaikeaksi tai mahdottomaksi teknologian vanhenemisen myötä. Jos aineistoja hallinoivat tahot eivät aktiivisesti ota huomioon pitkäaikaissäilytystä, ne kerryttävät itselleen hyvin todennäköisesti formaattivelkaa.

Osallistuin helmikuussa Barcelonassa IDCC18-konferenssiin, joka on digitaalisten aineistojen kuratointiin erikoistunut vuosittainen tapahtuma. Konferenssissa Marylandin yliopiston Digital Curation Innovation Centerin johtaja Richard Marciano esitteli näihin ongelmiin vastaavaa kahta eri teknologiapakettia: DRAS-TIC:ia (Digital Repository at Scale that Invites Computation) ja Brown Dogia.

Skaalautuvat tietovarannot

DRAS-TIC on avoimen lähdekoodin horisontaalisesti skaalautuva varanto, jonka ei pitäisi kärsiä lainkaan tiedostomäärän kasvusta – jos kehittäjien mainospuheita on uskominen. Luonnollisesti palvelun ylläpitäjän täytyy pystyä kasvattamaan taustalla pyörivien palvelinten määrää. Akronyymihirviön mielenkiintoisin osa on "that Invites Computation", eli DRAS-TIC varannot on viritetty valmiiksi laskennallista arkistointia (computational archival science) varten, mikä tekee datasta löydettävämpää ja mahdollistaa uuden tiedon johtamisen helpommin jo olemassa olevista aineistoista.

Formaattimuutoksiin uusia työkaluja

Brown Dog on avoimen lähdekoodin työkalukokoelma, jolla prosessoidaan tiedostoja. Sen ydintoiminnot ovat tiedostojen muuntaminen formaatista toiseen ja metadatan kerääminen ja sijoittaminen hakuindeksiin. Formaattimuunnokset toteutetaan erilaisilla muuntimilla, joita tällä hetkellä on Brown Dogin työkalukatalogiin listattuna yhteensä 30.

Brown Dog -esittelyvideo

Ideana on ketjuttaa formaattimuunnoksia erilaisiksi poluiksi. Marcianon käyttämässä esimerkissä käyttäjä lähettää järjestelmään PSD 2.0 tiedoston, joka on tarkoitus muuntaa nykylaitteille sopivampaan muotoon. PSD 2.0 on vuoden 1991 PhotoShop 2.0:n työtiedostoformaatti, joten sen käsittely nykylaitteilla olisi todennäköisesti vähintäänkin hankalaa. Muuntamisen Brown Dog aloittaa käyttämällä Windows 3.0 virtuaalikonetta, johon on asennettu PhotoShop 2.0. PSD muunnetaan ensin TIFF:iksi, joka syötetään Docker-kontissa pyörivälle Linux-koneelle, ja se muuttaa kuvan ImageMagik-muuntimella JPEG 2000 -formaattiin. Esimerkissä polku on lineaarinen, mutta mikään ei estä haaroittamasta polkua ja tekemästä useita rinnakkaisia muunnoksia.

Metadatan kerääminen tiedostoista

Näillä kahdella työkalulla tiedostoista voidaan myös haravoida erilaista metadataa ja näin kartoittaa syntyvää tiedostovarantoa. Esimerkkinä voidaan käyttää tavallisen PDF-tiedoston tallettamista DRAS-TIC:ia ja Brown Dogia hyödyntävään varantoon.

Tallennus tapahtuu vaiheittain:

1. PDF-tiedosto lähetetään tiedostovarantoon, jolloin siitä kerätään talteen tiedoston nimi, koko ja sijainti tiedostovarannossa.
2. Tiedostosta otetaan irti sen PDF-versionumero.
3. Tiedostosta otetaan erilleen tekstisisältö.
4. PDF-tiedoston sisältämät kuvat skannataan tekstisisällön varalta OCR-ohjelmalla (Optical Character Recognition). Lisäksi muilla kuva-analyysityökaluilla kerätään esimerkiksi tiedot siitä, kuinka monta ihmistä kuvissa esiintyy ja minkälaisissa ympäristöissä he ovat.

Näin yhdestä PDF-tiedostosta on kerätty kohtuullisen suuri määrä metadataa, ja kun kaikki tämä metadata indeksoidaan hakuindeksiin, on tiedosto ja sen eri osat helposti löydettävissä usealla eri tavalla.

Brown Dogissa on panostettu siihen, että se on tarvittaessa laajennettavissa omilla työkaluilla, jotka voidaan sovittaa johonkin tiettyyn tehtävään. Jos esimerkiksi tiedostojen tekstisisällöt halutaan avainsanoittaa ja visualisoida varantoa niiden perusteella, voidaan nämä työvaiheet lisätä Brown Dogiin omilla työkaluilla. Näin eri tahot voivat kehittää omiin tarkoituksiinsa sopivan työvuon.

Brown Dog ja DRAS-TIC ovat vielä kehitysvaiheessa, joten aika näyttää, mitä niille lopulta käy. Onnistuessaan ne loisivat mielenkiintoisen pohjan suurten datavarantojen hallintaan ja laskennallisen arkistoinnin soveltamiseen.

Lisätietoa:

» Marciano et al., esitysdiat IDCC2018-konferenssista: Building Open‐Source Digital Curation Services & Repositories at Scale
» CNI Fall 2016 Project Briefings: DRASTIC Measures: Digital Repository at Scale that Invites Computation (To Improve Collections)
» NSCA Brown Dog
» 13th International Digital Curation Conference (IDCC)

Valtteri Kostiainen
sovelluskehittäjä
etunimi.sukunimi [at] uta.fi

Let There Be Digital Preservation – A View from the Data Archive

For the most part, November 6 this year was just an ordinary day. What was different about it was a tiny SIP¹, neatly wrapped in a METS²-container that digitally travelled from the Finnish Social Science Data Archive to the National Long Term Digital Preservation Service.

Confused? No worries. So were we a number of times before we got this far. Taking our digital preservation to the level described above required planning and hard work from both research data curators and programmers. In addition to simply preserving bits in a reliable way, we aim to make sure that the digital objects are also understandable by humans and machines in the future. This requires collecting metadata, harmonising file formats, managing versions, and preparing for the change.

I have often said that preserving digital research data is like preserving a moving train. You cannot stop it. If you do, you are not preserving a moving train anymore, only a snapshot. There is a lot to preserve and it may hit you hard, and a lot quicker than you think. The train also has different cars - one can add more, or take some away. Like file formats, cars are different too - from passenger cars to freight cars. There are containers, with hundreds of objects. You need to know what is in each one, and who should have access to those. Some cars contain goods, some people. While goods may last for a long time, people need to be refreshed regularly or they will not survive the journey.

The long road to preservation is paved with obstacles and opportunities

The train analogy should show that digital preservation is an active duty. You cannot put a lid on it and wait until someone asks what is in the box. Because by then, you do not know anymore. Everyone in the preservation business recognises this. At the Data Archive, we preserve research data for long-term access. That means that we actively keep on adding new information too. We make the metadata better, we may find errors in the data and fix them, or at very least we add information on where the data has been used. Moving train, remember!

Since 2008, we have been involved in building a national digital preservation solution for cultural heritage materials and research data. For our purposes, a secure, highly reliable document store is a crucial element for building a sustainable and scalable long-term preservation solution. It will add an additional preservation layer for the data we keep for our users. In a country about the size of Finland, it is feasible to provide a preservation platform nationally to a number of organisations.

We started piloting the service in 2015 and in November we finally transferred out first packages to the preservation service. It has been a long road. We have yet to pop the sparkling wine since there are a number of short-term goals to address. Piloting a service means that there have been moments when the envisioned services are not yet fully operational, specifications need tweaking before one can proceed, or something has simply appeared out of the blue.

Tools are needed to handle the data deluge

The greatest benefit of the exercise thus far has been the internal harmonisation of file formats and data processing workflows. The Data Archive has been around since 1999. While that is a relatively short time, it is a lifetime for many file formats or their versions. We have combed through the most - about 50 000 files - and defined what will be preserved and what are the acceptable file formats. While this is good, it is crystal clear that a constant technology watch is needed in the future. It is also apparent that very soon the magnitude of this will get out of hand. We cannot manually keep an eye on all files, versions and processes.

Therefore, we have built a specific data processing pipeline. It is a collection of tools that fulfil the requirements of the National Long Term Digital Preservation Service specification. It has individual parts that are responsible of standardising the character sets of all files to UTF-8, combining technical metadata with study level metadata, and creating a METS document as well as creating a submission information packet (SIP), and sending it to the preservation service provider.

Commit to constantly challenge the current practices

It is often the case that the ideal format for digital preservation may not be ideal for scientific use. This is no new dilemma. We need to carefully assess not only the formats and their feasibility for digital preservation, but also the costs of maintaining the system of archive formats and actively used formats. Any organisation that joins the national digital preservation service must have an interest in challenging the current best practises and bringing their specific user perspective into the discussion. Because in the end, everything is kept for future use, not for storage only.

The other corner stone is commitment. Once you start with digital preservation, you cannot easily stop. It means the knowhow and resources need to be there in the future too. We believe that a national solution will be beneficial for us. We are able to transfer some of our knowhow requirements to the digital preservation specialists, and focus on serving researchers better. However, we do need to keep monitoring the specialists' performance like our own. Any outsourced activity in the digital preservation chain cannot be the weakest link. Therefore, further standardisation and auditing are crucial steps in the future.

Notes:
¹ Submission Information Package (Information sent from the producer to the preservation service)
² The Metadata Encoding and Transmission Standard (METS) (Container format and metadata standard for encoding descriptive, administrative, and structural metadata regarding objects)

Why today?
» This year, the first ever International Digital Preservation Day on 30th November 2017 will draw together individuals and institutions from across the world to celebrate the collections preserved, the access maintained and the understanding fostered by preserving digital materials. The aim of the day is to create greater awareness of digital preservation that will translate into a wider understanding which permeates all aspects of society – business, policy making, personal good practice.

Further reading:
» The National Digital Library - Digital Preservation
» Digital Preservation Solution for Research Data (PAS)

Tuomas J. Alaterä
IT Services Specialist
firstname.surname [at] uta.fi

Tietoarkisto haluaa olla jatkossakin DSA-sertifikaatin arvoinen

Tietoarkistolle on tärkeää avata tutkimusaineistot vastuullisesti ja luotettavasti, ja luonnollisesti haluamme kertoa luotettavuudestamme myös muille. Yksi hyvä luotettavuuden mittari on kansainvälinen Data Seal of Approval (DSA) -sertifikaatti. Sen saaminen edellyttää, että organisaatio säilyttää sähköisiä aineistoja luotettavasti ja mahdollistaa aineistojen jatkokäytön. Tällä hetkellä Tietoarkistolla on voimassa vuosille 2014–2017 myönnetty DSA-sertifikaatti. Koska nykyisen sertifikaatin voimassaolo päättyy vuoden vaihteessa, sen päivittäminen on juuri nyt ajankohtaista. Seuraavaksi kerron yleisesti DSA-sertifikaatista ja sen hakemisesta.

Mikä ihmeen DSA-sertifikaatti?

Kansainvälisen sertifikaatin takana ovat ICSU World Data System (WDS) ja Data Seal Of Approval, jotka yhdessä myöntävät Data Seal of Approval (DSA) -sertifikaatteja. Sertifiointi on suunnattu sähköisten aineistojen säilyttäjille, ja sen avulla pyritään osoittamaan kuinka luotettava tietoja säilyttävä organisaatio on. Luotettavuutta arvioidaan sähköisten aineistojen säilyttämisen kaikissa vaiheissa aina aineistojen vastaanottamisesta niiden pitkäaikaissäilyttämiseen sekä edelleen jakamiseen.

Sertifikaatin vaatimukset perustuvat viiteen kriteeriin. Kriteerien mukaan säilytettävien aineistojen tulee olla löydettävissä verkosta, niiden tulee olla saatavilla selkein käyttöehdoin, aineistojen tulee olla tallennettuina jatkokäytön mahdollistavissa tiedostoformaateissa, aineistojen tulee olla luotettavia ja aineistojen tulee olla yksilöitävissä niin, että niihin voidaan viitata yksiselitteisesti ja pysyvästi. DSA-sertifikaatti on myönnetty vuosiksi 2014–2017 Tietoarkiston lisäksi liki 60 toimijalle ympäri maailmaa.

Sertifikaatin hakeminen

Jotta Tietoarkistolle myönnetty sertifikaatti pysyisi voimassa ilman katkoja, työ sertifikaatin uusimiseksi on aloitettu hyvissä ajoin.

Uuden sertifikaatin hakeminen edellyttää, että hakija täyttää edelleen vaaditut organisatoriset lähtökohdat. Lisäksi hakijan on raportoitava tarkasti organisaation nykyisen toiminnan tilanne. Raportointi perustuu 16 kohdan ohjeistukseen, jonka mukaisesti aineistojen luotettava säilyttäminen on todennettava niin käytäntöjen, tekniikan kuin etiikankin näkökulmasta. Sertifikaatin hakijan täytyy voida osoittaa, että sen toiminnan taso vastaa sertifikaatin vaatimaa tasoa.

Kokosin yhdessä kollegoideni kanssa Tietoarkiston toimintaperiaatteista ja -käytänteistä ohjeistuksen mukaisen raportin, jota varten haastattelin arkiston työntekijöitä eri asiantuntemuksen aloilta ja kävin läpi lukuisia asiakirjoja vuosien varrelta. Sen lisäksi, että toiminnan raportointi on sertifikaatin hakemisen edellytys, raportin kokoaminen on ollut hyödyllistä organisaation itsearvioinnin näkökulmasta. Yhteen dokumenttiin on nyt koottu kattava kokonaiskuva Tietoarkiston toiminnasta vahvuuksineen ja kehityskohtineen.

Tavoitteena sertifioinnin uusiminen vuosille 2017–2019

Raportti sertifikaatin hakemiseksi on toimitettu arvioijille ja odotamme Tietoarkistossa parhaillaan tietoa siitä, myönnetäänkö sertifikaatti meille vuosiksi 2017–2019. Sertifioinnin kriteerit ovat muuttuneet hieman aiemmasta, joten emme oletusarvoisesti pysty toteamaan, että sertifikaatti myönnetään sen perusteella, että se on myönnetty aiemminkin.

Visiomme mukaisesti toteutamme kuitenkin edelleen tehtäväämme luotettavana ja tunnettuna avoimen tieteen ja pitkäaikaissaatavuuden asiantuntijana, johon kuuluu oleellisesti toiminta, joka vastaa DSA-sertifioinnin mukaisia kriteerejä sähköisten aineistojen luotettavana pitkäaikaissäilyttäjänä.

Sertifiointi visuaalisesti esitettynä

Tietoarkisto järjesti keväällä työntekijöillensä koulutuspäivän, jonka aikana pääsimme oppimaan luovuudesta ja visuaalisten muistiinpanojen tekemisestä. Kokeilin oppimani perusteella yksinkertaistaa tässä blogitekstissä kirjoittamaani kokonaisuutta visuaalisiksi muistiinpanoiksi. Oleelliseksi osaksi muistiinpanojani olen nostanut ensinnäkin sen, että Tietoarkisto hakee sertifiointia ja toimittaa asianmukaisen sähköisen raportoinnin toiminnastaan sertifioinnista vastaavalle taholle. Toisena pääkohtana muistiinpanoissa on sertifiointimerkinnän saaminen. Jos toimittamamme raportti vakuuttaa arvioijat, Tietoarkiston toiminta saa julkisen ja kansainvälisesti tunnistetun luotettavuuden sinetin.

Sisällön lisäksi visuaalisten muistiinpanojen tekemisessä ovat tärkeitä pienet visuaaliset yksityiskohdat, kuten hahmojen juurruttaminen paikkaan. Tämän vuoksi Aineistonhallinnan käsikirjastakin tuttu Tietoarkiston Hemmo seisoo muistiinpanoissani kesäisissä tunnelmissa varpaat vihreänä kasvavassa nurmessa. Samaa rentoutumismetodia suosittelen kaikille blogitekstiäni kesällä lukeville henkilöille – kokekaa Hemmon tavoin vihreä kesänurmi sitä paljain varpain tunnustelemalla. Tuloksena nurmikon tunnustelusta paljain varpain ei myönnetä sertifikaatteja, mutta ripaus kesätunnelmaa siitä tarttuu varmasti matkaan.

Lisätietoa:
» Data Seal of Approval
» Tietoarkiston nykyinen DSA-sertifikaatti vuosille 2014–2017

Eliisa Haanpää
tutkimusamanuenssi
etunimi.sukunimi [at] uta.fi

Datapolitiikat ohjaavat avaamaan tutkimusaineistot vastuullisesti

Tampereen yliopisto julkaisi datapolitiikkansa lokakuun lopussa otsikolla Avoin tiede Tampereen yliopistossa: julkaisu- ja datapolitiikka. Asiakirja koskee sähköisiä julkaisuja ja tutkimusdataa. Sekä julkaisupolitiikassa että datapolitiikassa on tavoitteena saada tutkimustieto avoimeksi ja helposti löydettäväksi. Lisäksi politiikkapaperi kertoo, mitä avoimuutta tukevia palveluita yliopistoyhteisön jäsenille on tarjolla.

Tampereen yliopisto ei ole datapolitiikan teossa aivan viimeisenä liikkeellä, mutta turhaa kiirettäkään ei ole pidetty. Osasyynä rauhalliseen tahtiin on voinut olla se, että on ajateltu Tietoarkiston hoitavan homman jo käytännössä.

Erityisesti viimeksi kuluneen vuoden aikana Suomessa on julkaistu useita datapolitiikkoja. Kun Tietoarkiston väistyvä johtaja Sami Borg selvitti toissa syksynä yliopistojen tilannetta, vain Jyväskylän yliopistossa oli "tutkimuksen tietoaineistojen hallinnan periaatteet". Nyt näitä periaatteita tai datapolitiikkoja on paitsi useissa ylipistoissa myös muissa organisaatioissa. Myös rahoittajien vaatimukset aineistonhallintasuunnitelmien laatimiseksi ja aineistojen avaamiseksi ilmentävät rahoittajien datapolitiikkoja, olipa erillistä politiikkadokumenttia olemassa tai ei.

Datapolitiikan puuttuminen ei ole onneksi estänyt Tampereen yliopiston tutkijoita tallentamasta aineistoja Tietoarkistoon. Päinvastoin he ovat olleet muiden yliopistojen tutkijoita innokkaampia arkistoijia. Paljon kiinnostavia aineistoja on kuitenkin jäänyt avaamatta, niin Tampereella kuin muissakin tutkimusorganisaatioissa. Niinpä meille tietoarkistolaisille linjaus, jossa suoraan kehotetaan tallentamaan aineistot ensi sijassa Tietoarkistoon, on tervetullut apuväline oman yliopiston aineistojen hankinnassa.

Tampereen yliopiston datapolitiikka lupaa, että Tietoarkisto tukee tutkimusaineistojen vastuullista avaamista ja huolehtii tallennettujen aineistojen pitkäaikaissaatavuudesta. Lisäksi Tietoarkiston luvataan välittävän aineistojen kuvailutiedot useisiin kansallisiin ja kansainvälisiin tietokantoihin. Politiikka viittaa myös Tietoarkiston Aineistonhallinnan käsikirjaan, joka opastaa hyvään datanhallintaan ja tunnisteiden poistoon. Tietoarkisto voi auttaa anonymisoinnissa, kun data tallennetaan Tietoarkistoon.

Tampereen yliopiston lisäksi Tietoarkistolla on ystäviä myös muissa suomalaisissa yliopistoissa. Tämä on käynyt selväksi. Vaikka niiden datapolitiikassa ei mainittaisi Tietoarkistoa, tarkemmassa ohjeistuksessa meihin yleensä jo viitataan, huhujen mukaan suullisessa neuvonnassa vielä useammin. Onkin hyvä muistaa, että Tampereen yliopiston avoimen tieteen linjauksissa mainitut Tietoarkiston palvelut koskevat kaikkien Suomen yliopistojen tutkijoita. Ja toki annamme neuvontaa myös muille mahdollisille asiakkaille ammattikorkeakouluissa ja tutkimuslaitoksissa - kunhan he ovat aikeissa tallentaa aineistojaan Tietoarkistoon.

Palvelulupauksessamme ei ole sinänsä mitään uutta. Tietoarkisto on tarjonnut palveluitaan jo lähes 20 vuotta. Ennen kuin Aineistonhallinnan käsikirja julkaistiin syksyllä 2008, vastaavaa neuvontaa sai asiakaspalvelustamme. Uutta on, että Tampereen yliopisto ja monet muut organisaatiot kehottavat tai jopa vaativat, että aineistot avataan ja suosittelevat juuri Tietoarkiston palveluita.

Toivon, että datapolitiikat eivät ole kuormitetuille tutkijoille vain yksi uusi ahdistava vaatimusten kokoelma. Ne eivät ole ratkaisu ongelmiin, joita tutkijat aineistojen avaamisessa kohtaavat, mutta ne kehottavat vahvasti ryhtymään ratkomaan mahdollisia ongelmia – ja hakemaan apua kokeneilta asiantuntijoilta. Enää aineistoja ei voi jättää avaamatta vain, koska se ei ole ollut tapana.

Tietoarkistolle, yliopistojen kirjastoille ja tutkimuspalveluille – kuka tai ketkä missäkin organisaatiossa käytännön toteuttamisesta vastaavatkaan – datapolitiikkojen julkaiseminen on vasta alkua. Pelkkä datapolitiikka ei muuta vielä mitään, vaan politiikka on jalkautettava, ja siihen me täällä Tampereella ryhdymme nyt.

Jyväskylässä ja Helsingissä datapolitiikan jalkauttamisesta on kokemusta viimeisen parin vuoden ajalta. Asiat edistyvät hitaasti, mutta ne edistyvät. Tietoarkistotyötä nyt noin 15 vuotta tehneenä olen kehityksestä suorastaan innoissani. Aineistojen avaaminen on nykyään kaikkien yhteinen juttu!

Tietoarkisto ja Tampereen yliopiston kirjasto järjestävät 9.11. Tampereella Kesytä aineistokaaos -iltapäiväseminaarin, jossa esittelen lyhyesti juuri julkaistua Tampereen yliopiston datapolitiikkaa. Iltapäivä tarjoaa myös käytännönläheistä tietoa siitä, miten hallita aineistoaan, ja millaisia palveluita tutkijan tueksi on tarjolla.

Lisätietoja
» Tampereen yliopiston julkaisu- ja datapolitiikka
» Avoin tiede ja tutkimus -hanke listaa organisaatioiden linjauksia ja ohjeistuksia
» Kesytä aineistokaaos -seminaari

Helena Laaksonen
informaatikko, varajohtaja
etunimi.sukunimi [at] uta.fi

Sähköistä säilyttämistä ja sporttista tunnelmaa Dublinissa

Gaelilaisten urheilulajien suorituspaikka, Dublinin Croke Park –stadion saattaa aluksi tuntua melko erikoiselta paikalta järjestää digitaaliseen säilyttämiseen keskittyvä konferenssi. Onko tauoilla kenties tarkoitus pelata hurlingia tai gaelilaista käsipalloa? Pitääkö varoa, ettei joudu lounasjonossa taklatuksi? Nämä huolet osoittautuivat turhiksi, sillä sporttisesta ympäristöstään huolimatta kesäkuun lopulla stadionilla järjestetyssä The 1st Annual Conference on Digital Preservation for the Arts, Social Sciences and Humanities –konferenssissa (DPASSH) ei tarvinnut pelätä, että hiki nousisi pintaan ainakaan liikkumisesta. Ainoat lihaksetkin, jotka rasittuivat, olivat lähinnä istumalihaksia, sillä kaksipäiväisen konferenssin ohjelma oli tiivis.

Konferenssin tarkoituksena oli keskittyä erityisesti sellaisiin digitaalisen säilyttämisen haasteisiin, jotka ovat tyypillisiä humanistisille ja yhteiskuntatieteellisille aloille sekä taiteen tutkimukselle. Sen sponsorina toimi The Digital Repository of Ireland (DRI), joka oli näkyvässä roolissa koko konferenssin ajan. DRI on kansallinen infrastruktuuri, joka pyrkii säilyttämään, hoitamaan ja välittämään Irlannin kulttuuriperintöaineistoja sekä humanistista ja yhteiskuntatieteellistä dataa. Säilyttämisperiaate nousee aivan uuteen valoon, kun otetaan huomioon, että vuonna 1922 sisällissodan melskeissä tapahtunut asiakirja-arkiston (The Public Record Office of Ireland) tulipalo tuhosi suurimman osan Irlannin historiallisesta asiakirja-aineistosta 1200-luvun taitteesta vuoteen 1922. DRI:n tarkoituksena onkin kootusti kerätä yhteen olemassa olevat historian ja nykypäivän tietoaineistot tutkimuksen, opiskelun ja suuren yleisön saataville. DRI:lle on lisäksi heinäkuun alussa myönnetty arvostettu Data Seal of Approval –sertifikaatti, joka myönnetään organisaatioille, jotka säilyttävät sähköisiä aineistoja luotettavasti sekä mahdollistavat niiden jatkokäytön.

Konferenssin osallistujalista oli melko irlantilaisvoittoinen, mutta ilokseni mukaan oli eksynyt myös pohjoismainen kollega, Ruotsin tietoarkiston eli SND:n kieliaineistoista vastaava Caspar Jordan. Myös CSC oli lähettänyt paikalle KDK-PAS-hankkeen (Kansallinen Digitaalinen Kirjasto – Pitkäaikaissäilytys) kehitystyössä mukana olleen it-puolen edustajan. KDK:n perusideahan on hyvin samankaltainen kuin DRI:n, toisin sanoen digitaalisten kulttuuriperintöaineistojen keskitetyn pitkäaikaissäilytyspalvelun suunnittelu ja toteuttaminen.

Konferenssin punaisena lankana toimikin huoli ja vastuu valtavien aineistomassojen säilymisestä ja säilyttämisestä. Kun jo puhtaasti analogista historiallista, taiteellista, yhteiskuntatieteellistä ja kulttuuriperintöön liittyvää aineistoa on valmiina kilometrikaupalla, tuo omat haasteensa nykyinen digitaalinen aika, joka tuottaa jatkuvalla syötöllä valtavia, yli ymmärryksen käyviä aineistomassoja. Osa esityksistä pohdiskelikin erityisesti sitä, miten sovittaa analogiset aineistot digitaalisiin työnkulkuihin. Toisaalta taas osa esityksistä keskittyi nimenomaisesti jatkuvasti tuotettuun digitaaliseen materiaaliin ja sen mielekkääseen säilyttämiseen. Kuinka alati karttuvaa aineistoa (esimerkiksi Facebookissa, Twitterissä, e-lehdissä, jne.) saa talteen sitä vauhtia kuin sitä tuotetaan ja onko kaiken säilyttäminen ylipäätään mielekästä? Nykyisen digitalisoitumisen myötä erilaiset aineistot ovat lisäksi varsin hyvin saatavilla, mutta haasteita luo niiden pitkäaikaissäilytyksen turvaaminen, omistajuuteen niveltyvät kysymykset tai teknisiin ratkaisuihin liittyvät seikat.

Pääosassa olivat aineistot ja sisällöt, paikoin myös teoreettiset lähestymistavat tai aineiston hallinnan kysymykset. Melko monen esityksenpitäjän taustaorganisaatio tai projekti oli sellainen, jossa arkistoinnin lisäksi myös aktiivisesti digitoidaan aineistoja. Erilaisten esimerkkitapausten avulla avattiin sisällöllisiä ja käytännöllisiä ratkaisuja säilyttämiskysymyksiin. Muuan esitys viihdytti yleisöä esittelemällä varhaisen, 1990-lopun online-taideprojektin, The Bono Probability Positioning Systemin, joka toimi eräällä tapaa Google Street View -sovelluksen edeltäjänä. Sen ideana oli liittää erinäisiin Dublinin karttakohteisiin todennäköisyyslaskelma siitä, miten suurella todennäköisyydellä paikassa saattoi törmätä U2-yhtyeen nokkamieheen Bonoon. Projekti oli kieli poskessa luotu ja todennäköisyyslaskelmat täysin hatusta temmattuja. Projekti toimi kuitenkin hyvänä esimerkkinä siitä, millaisia haasteita on pyrkimyksessä säilyttää vanhempaa nettiin luotua digitaalista sisältöä, jota ei alun perin ole ajateltu säilytettäväksi. Perinteisempää ja arkistoalalle tyypillisempiä ongelmia pohdittiin muun muassa esityksissä, jossa esiteltiin arkaluontoiseen aineistoon liittyviä eettisiä ongelmia tai metadatan käsittelyä.

Kodikasta humanistihenkeä ja yhdessä tekemisen ilosanomaa huokunut konferenssi oli leppoisa kokemus, joka kuitenkin tarjosi melko monipuolisen kattauksen digitaalisten aineistojen kirjavaan maailmaan. Konferenssin irlantilaiset järjestäjät toivoivatkin, että DPASSH muodostuisi jokavuotiseksi. Tämän toiveen allekirjoitan mielihyvin.

Lisätietoa:
» DPASSH 2015
» The Digital Repository of Ireland
» The Bono Probability Positioning System

Katja Fält
tieteenala-asiantuntija
etunimi.sukunimi [at] uta.fi

Juhlatunnelmia

Keskiviikko syyskuun 24. päivä oli tietoarkistossa ikimuistoinen: meille oli myönnetty Data Seal of Approval -sertifikaatti, tuttavallisemmin DSA. Se voidaan myöntää organisaatiolle, joka säilyttää sähköisiä aineistoja luotettavasti ja joka mahdollistaa aineistojen jatkokäytön. Tietoarkisto sai DSA:n ensimmäisenä suomalaisena organisaationa. Tällaista ei tapahdu ihan joka päivä eikä edes joka vuosi - oli siis kakkukahvien paikka!

Sertifikaatin saadaksemme meidän oli osoitettava, että toimimme mahdollisimman läpinäkyvästi, että noudatamme soveltuvia standardeja ja parhaita käytäntöjä ja että ymmärrämme ja hallitsemme toimintaamme liittyvät uhat ja riskit. Arviointikohtia oli yhteensä kuusitoista, ja kaikkien niiden osalta oli selitettävä toimintaperiaatteemme ja -käytäntömme. Pelkästään selittämällä DSA:ta ei kuitenkaan saa: väitteiden tueksi on esitettävä riittävä dokumentaatio. Menestyksekkään DSA-hakemuksemme kulmakivi oli arkistonmuodostussuunnitelmamme eli AMS. Sitä täydensi sisäinen käsikirjamme. Molemmat ovat tietoarkiston asiantuntijoiden pitkäjänteisen, jatkuvan, huolellisen ja innovatiivisen työn tuloksia.

DSA-sertifiointi oli samalla sekä omien toimintojemme kehittämistä ja vahvistamista että osa eurooppalaisen CESSDA ERIC -tutkimusinfrastruktuurin rakentamisprosessia. CESSDA-ERIC voi toimia tehokkaasti ja tarkoituksenmukaisesti vain, jos kaikki osapuolet toimivat yhteisten sääntöjen mukaan ja jos kaikki voivat luottaa toisiinsa.

Luottamusta rakentaakseen CESSDA käynnisti vuonna 2013 hankkeen, jossa jokainen palveluntuottaja teki itsearvioinnin DSA:ta käyttäen. Olin mukana hankkeen asiantuntijaryhmässä, joka kävi läpi kaikki itsearvioinnit ja valmisteli kehittämisraportin. Sen lisäksi, että työ oli äärimmäisen mielenkiintoista, se antoi vahvan luottamuksen siihen, että tietoarkiston käytännöt ja dokumentaatio ovat DSA-kunnossa.

Innostuneen juhlakahvittelun lomassa keskustelumme kääntyi tulevaisuuteen. DSA on vasta ensimmäinen taso kolmiportaisessa eurooppalaisessa sähköisen säilyttämisen arvioinnin viitekehyksessä. Toinen taso on ISO 16363 -standardiin perustuva itsearviointi ja kolmas taso ISO-standardin mukainen ulkoinen auditointi. Kakkunälkämme on jo kasvanut.

Lisätietoja:
» Tietoarkiston DSA-arviointi
» Työtä on tehty Suomen Akatemian rahoittamissa hankkeissa: VERIC ja TA15
» Tietoarkiston DSA-tiedote
» Tietoarkiston arkistonmuodostussuunnitelma

Mari Kleemola
tietopalvelupäällikkö
etunimi.sukunimi [at] uta.fi

Terveisiä Metodifestivaaleilta 2013

Jo lähes perinteeksi muodostuneet Metodifestivaalit järjestettiin toukokuussa kolmannen kerran, nyt jälleen Jyväskylässä. Metodifestivaalit on oivallinen tilaisuus perehtyä erilaisiin tutkimusmenetelmiin ja niiden käyttötapoihin poikkitieteellisesti. Samalla voi luoda kontakteja muihin tieteentekijöihin eri puolilta Suomea ja ulkomailta. Tietoarkistosta lähti Jyväskylään kuusihenkinen delegaatio esittelemään tietoarkiston palveluja sekä tutustumaan festivaalien kiinnostavaan luentotarjontaan. Kaunis sää ja festivaalipaikkana toimineen Agora-rakennuksen sijainti Jyväsjärven rannalla loivat hyvät ulkoiset puitteet metodifestareille.

Pystytimme infopöytämme Agora rakennuksen aulaan aivan pääluentosalin sisäänkäynnin viereen. Olimme varustautuneet Jyväskylän matkaan teettämällä lähtijöille uudet tietoarkiston logolla varustetut t-paidat, joista tietoarkistolaiset oli helppo festivaalialueella tunnistaa. Infopöydällä jaoimme festarivieraille yleisesitteidemme lisäksi Tietoarkisto-lehteä ja tietenkin suullista informaatiota palveluistamme. Mukana olleella tietokoneella pystyimme lisäksi näyttämään, millaisia esimerkiksi aineistokuvailumme ja kvalitatiivisille aineistoille tekemämme html-hakemistot käytännössä ovat. Saatoimmepa myös etsiä sopivia aineistoja niitä kyselleille asiakkaille jo paikan päällä Agorassa.

Arkistoinnin ja jatkokäytön hyödyistä sekä erityisesti tulevasta Aila-aineistoportaalista saimme kertoa infopisteemme ohella lyhyesti myös keskiviikon plenaariesitelmän alussa. Lisäksi tutkimusetiikan asiantuntijamme Arja Kuula esitelmöi tiistain sessiossa "Eettinen ennakkoarviointi ja aineistonhallintasuunnitelmat ihmistieteissä".

Suurin osa infopisteellämme käyneistä festarivieraista oli kuullut meistä jo etukäteen, mutta halusi täydentää tarjoamiimme palveluihin liittyviä aikaisempia tietojaan. Tämän lisäksi kohtasimme myös henkilöitä, jotka eivät olleet meistä ennen kuulleet. Moni metodifestivaalien vieraista oli juuri aloittamassa aineistonkeruuta omassa tutkimushankkeessaan, joten on vaikea keksiä parempaa tilaisuutta puhua aineistojen pitkäaikaissäilytyksestä, jatkokäytöstä ja muista aineistonhallintaan liittyvistä kysymyksistä. Toivon mukaan mahdollisimman monet festarivieraista ovatkin tulevia asiakkaitamme, arkistoivat keräämänsä tutkimusaineistot ja mahdollistavat näin niiden jatkokäytön.

Paikalle tuomamme Tietoarkisto-lehdet ja esitteet kävivät hyvin kaupaksi ja takaisin Tampereelle saimme palata kevein kantamuksin ja iloisin mielin.

Jarkko Päivärinta
tutkimusamanuenssi
etunimi.sukunimi [at] uta.fi

Tutkimusdata meriittinä

Opetus- ja kulttuuriministeriö julkisti pari viikkoa sitten tiekarttaraportin tutkimuksen sähköisten tietoaineistojen hyödyntämisestä. Siihen on koottu poikkihallinnollisen selvityshankkeen keskeiset ehdotukset alan hyvistä käytännöistä ja tietoaineistojen avoimuutta edistävistä toimenpiteistä. Aiemmin hanke oli tuottanut samaa aihepiiriä käsittelevän taustaraportin, joka luovutettiin opetusministerille vuosi sitten.

Tiekartta on laaja-alainen ja se tarjoaa hyviä polkuja ja myös konkreettisia toimenpide-ehdotuksia tutkimusdatan avoimelle saatavuudelle. Työ edellyttää laaja-alaista yhteistyötä aineistojen tuottajien ja välittäjien kesken sekä lisärahoitusta infrastruktuurien rakentamiseksi. Yksi perusongelma on. Tutkimusdatan pitkäaikaissäilytystä ja käytön avoimuutta tukevat rakenteet, välineet ja käytännöt puuttuvat edelleen lähes tyystin useilta tutkimusaloilta.

Rakenteet ovat pysyväksi tarkoitettuja organisaatioita tai järjestelyjä, joiden erityisvastuulla on tutkimusdatan elinkaaresta huolehtiminen. Välineet ovat esimerkiksi kuvailustandardeja, tietokantoja ja muita datan käytön tietoteknisiä sovelluksia, joiden avulla tutkijat löytävät ja saavat käyttöönsä haluamansa tutkimusaineistot. Käytännöt ovat puolestaan tutkimusyhteisön omaksumia toimintatapoja ja sääntöjä, tutkimuskulttuuria, joka koskee tutkimusaineistojen tekijyyttä ja avoimeen käyttöön saattamista.

Tiekartta nostaa aivan oikein yhdeksi keskeiseksi kansallisen datapolitiikan haasteeksi tutkimusaineistoihin liittyvät tieteelliset meriitit. Tältä osin tiekartta muun muassa toteaa (s. 29), että "tutkijoiden meritoituminen tietoaineistojen tuottamisesta ja jakamisesta tulee ohjeistaa yhtenäisesti". Vastuu olisi etenkin tutkimusrahoittajilla, kuten Suomen Akatemialla ja Tekesillä.

Olen itse meritoitumisen yleisestä merkityksestä samaa mieltä, mutta ohjeistamalla asia tuskin ratkeaa. Vastuu käytäntöjen muuttumisesta on myös tutkimusyhteisöllä ja laajasti kaikilla tutkimusta rahoittavilla tahoilla, kuten tutkimusinfrastruktuurirahoituksesta päävastuullisilla ministeriöillä. Tutkimusaineistoihin liittyvä meritoituminen on erinomainen esimerkki osoittamaan alan nykyisiä pullonkauloja.

Kyllä – tutkimusdatan tuottajien pitäisi saattaa datansa tutkimusyhteisön avoimeen käyttöön viimeistään hankkeittensa päätyttyä. Tämä ei välttämättä onnistu sormea napsauttamalla, vaikka tahtoa riittäisikin. Aineiston koonneen ryhmän tulee ensin kyetä sopimaan, kenen nimet ja missä järjestyksessä julkaistavaan aineistoon merkitään tekijöiksi ja kuka tai ketkä vastaavat aineiston jatkokäyttökuntoon saattamisesta.

Datan asianmukainen julkaiseminen puolestaan edellyttää datan kuvailun ja viittaustietojen vaatimia standardeja, jollaisia on valmiina vain harvoilla aloilla. Lisäksi datan julkaiseminen edellyttää sekä aineiston että sen keränneen hankkeen perustietojen kuvailua ja aina jonkin verran myös tutkimusaineiston muokkausta. Tämä vaatii aikaa ja työtä, joka ei läheskään kaikilla aloilla ole siirrettävissä olemassa olevan data-arkiston kontolle.

Lisäksi sekä tutkimusaineiston pitkäaikaissäilytys että sen jatkokäyttö muodostavat omat kokonaisuutensa meriitin muodostumisessa. Julkaistut datat saavat hyvää lisänäkyvyyttä avoimissa aineistotietokannoissa. Esimerkiksi Yhteiskuntatieteellinen tietoarkisto kääntää suomenkielisten aineistojen kuvailut englanniksi ja sijoittaa ne sitten avoimiin, kansainvälisiin datatietokantoihin. Näin ulkomaiset tutkijat pääsevät käyttämään suomalaisia tutkimusaineistoja, joista heillä ei muutoin olisi tietoa.

Luovuttaessaan arkistoituja data-aineistoja jatkokäyttöön tietoarkisto antaa niille viittaustiedon ja -ohjeet, joita jatkokäyttäjän tulee noudattaa. Tätä kautta aineistot ja niiden tekijät tulevat viitatuiksi tavanomaisin tieteellisin referenssein. Runsaassa jatkokäytössä olevat tutkimusaineistot ovat merkittävä meriitti alkuperäisille kokoajille, koska silloin toisten kokoama data on laajasti hyödyllistä tiedeyhteisölle.

Asianmukaisin standardein kuvailtu ja julkaistu tutkimusaineisto on tekijöilleen tieteellinen meriitti, jonka voi ilmoittaa ansioluettelossa. Tiedeyhteisön yhteiseen ja avoimeen käyttöön avatut datat mahdollistavat tieteen itsensäkorjaavuutta ja lisäävät sen yleistä luotettavuutta. Siksi nyt valmistuneen tiekartan toimenpide-ehdotukset pitää ottaa vakavasti.

Sami Borg
johtaja
etunimi.sukunimi [at] uta.fi