Opettajien havaitsema ilmiö on, että opiskelijat korkeakouluissa ja lukioissa usein käyttävät tekoälyä melko kritiikittömästi tehtävien suorittamisessa. Tekoälyn kirjoittaman artikkelin lähdeviitteistä saattaa löytyä tekoälyn hallusinoimia kirjallisuusviitteitä, joita ei ole olemassakaan. Entäpä jos asiaan otetaan toinen näkökulma? Seminaarityön tekijälle voisi antaa seuraavan neuvon: pyöräytä tekoäly päälle ennen kuin alat tutustua lukulistallasi olevaan ensimmäisenkään kirjallisuuslähteeseen!
Seminaarityön tekijällä pitää olla suunnitelma siitä, mitä taustakirjallisuutta hän aikoo lukea työtään varten. Tekoälyltäkin lukulistaa voi pyytää, ja suositus saattaa olla ihan järkevä. Oppineisuuden osoittaminen tapahtuu edelleen pitkälti myös sen kautta, että tärkeisiin teoreettisiin käsitteisiin ja taustaoletuksiin on tutustuttu ja se tuodaan myös omassa tekstissä esille.
Diakonia-ammattikorkeakoulun DSS-opiskelijoiden Academic Writing II -kurssilla kirjoitusvalmiuksien tulisi olla jo melko hyvät, samoin akateemisten tekstien kriittiset analysointivalmiudet. Edellytykset kriittiselle AI-avusteiseille tekstianalyysille olivat siis suotuisat.
Lukutehtävä kokeiluna
Lukutehtäväksi opiskelijat saivat tunnettujen suomalaisten tutkijoiden ajankohtaista sosiaalista ongelmaa koskevan tieteellisen artikkelin.
Yleisesti opiskelijat pitivät artikkelia tieteellisenä ja vaikuttavana, mutta aineistonkeruumenetelmä herätti isoja kysymysmerkkejä. Analyysikokeilu osoittautui siis heti toimivaksi.
Oppineisuuden osoittaminen tapahtuu edelleen pitkälti myös sen kautta, että tärkeisiin teoreettisiin käsitteisiin ja taustaoletuksiin on tutustuttu ja se tuodaan myös omassa tekstissä esille.
Tekoäly lähdekritiikin suorittajana
Akateemisen kirjoittamisen opettaja aloitti luennon toteamalla, että artikkeli saattaa olla hyvä (tai erinomainen), mutta aivan aluksi on syytä selvittää, onko foorumi, jolla artikkeli on julkaistu, pätevä. Tämä kannatta tehdä aina ennen kuin edes abstraktia on artikkelista luettu.
Tieteen maailmassa parhaat artikkelit julkaistaan parhaimmilla foorumeilla, joiden niin sanotut impaktifaktorit eli vaikuttavuusmittarit ovat korkeimmat. CoPilotin vastaus oli selvä, ja tyly:
The *** *** Journal is not considered a high-impact journal. Across all major metrics, it ranks in the lower quartiles (Q3–Q4) with very low impact scores and has very modest citation influence.
Artikkelin lukijan on siis syytä saada tietää heti alussa minkä tasoista tieteellistä tekstiä hän on lukemassa. Artikkelin impaktifaktori tarkastettiin myös Geminillä, ja tulos oli sama. Seminaarityössä (ehkei lopputyössäkään) impaktifaktori ei välttämättä kritiikissä nousisi esille, mutta korkeimmissa opinnäytetöissä varmasti.
Yksityiskohtaista lähdekritiikkiä
Koko artikkeli syötettiin seuraavaksi tekoälyyn ja siltä kysyttiin yksinkertaisesti, onko kyseessä hyvä tieteellinen artikkeli. Vastaus oli: kyseessä on tieteellinen artikkeli, merkittävin varauksin (with significant caveats). Erityisesti datankeruumenetelmä sai purevaa kritiikkiä:
The sampling method is fundamentally flawed. The study relies on *****************************************. This introduces severe selection bias that undermines the validity of all prevalence estimates. The authors claim representativeness without ****************. This is misleading and statistically indefensible.
Tilastomenetelmiä sinällään pidettiin hyvinä, jopa erinomaisina. Tilastot tosin perustuvat aineistoon, joka ei ole kerätty pätevällä tavalla.
Analyysi tehtiin myös Geminillä, ja tulos oli hyvin samanlainen. Sen mukaan tilastomenetelmät ovat erinomaiset mutta data on vääristynyttä:
These numbers are likely inflated because the sample isn’t representative of ********* — is heavily skewed toward********.
Johtopäätös on häkellyttävän tyly:
The study’s tone borders on advocacy rather than neutral science.
Tieteellisen kirjoittamisen opettaja on kieliaineiden dosentti, joten hän ei ota kantaa artikkelin substanssiin. Evidenssi kuitenkin antaa ainakin mahdollisuuden tulkintaan, että artikkelissa on eräitä puutteita.
Lähdekritiikin merkitys
Tieteessä lähdekritiikki on kaiken lähtökohta. Tekoälyn älykäs käyttö antaa siihen yhden mahdollisuuden. Toki tekoälynkin arvioita tulee tarkastella kriittisesti. Hyvä akateemisen tekstin kirjoittaja on myös aina hyvä lukija, ja hyvä lukija on aina kriittinen.
Kirjoittajat
Juhani Toivanen
Diakonia-ammattikorkeakoulu Lehtori
