Korkeakouluissa ja lukioissa yleisesti käytettävä plagioinnin ja tekoälyllä tehdyn tekstin paljastava algoritmi on Turnitin. Sen toimintakyky on yleisesti erittäin hyvä. Yleisohje opiskelijoille on selvä: huijausyritykset ovat turhia näin tehokasta vilpinpaljastajaa vastaan. Kielitieteilijä jää kuitenkin pohtimaan paria seikkaa.
Turnitinin toimintaperiaate on tietyllä tavalla triviaali, joskin murskaavan tehokas: algoritmi vertaa opiskelijan tuottaman tekstin samankaltaisuutta valtavaan tietokantaan, jossa on kymmeniä miljardeja digitaalisia dokumentteja, kuten julkaistuja artikkeleita, kirjoja, opinnäytteitä, muistioita ja virallisia tekstejä. Perusperiaate on, että mikäli teksti, josta opiskelija plagioi, on verkossa, Turnitin sen tunnistaa.
Algoritmin kyky vertailla opiskelijatekstiä lähes kaikkeen verkossa olevaan tekstiin on niin massiivinen, että plagiointimielessä Turnitinin kanssa on turha lähteä kilpasille. Jos Turnitin antaa plagiointiprosentiksi esimerkiksi 75 tai enemmän, ”peli on pelattu”: opiskelija jää kiinni plagioinnista.
On huomattava, että plagioinnin kohteena olevan tekstin muuntelu ei yleensä auta. Turnitin käyttää esimerkiksi seuraavanlaisia tekniikoita plagioinnin havaitsemiseen:
- String matching: suora tekstin vastaavuus
- Pattern matching: rakenteelliset yhtäläisyydet
- Fuzzy matching: muokattujen lauseiden tunnistus
- Synonym matching: synonyymien havaitseminen.
Tekstin rakenteen muuntelu esimerkiksi aktiivista passiiviksi (ja päinvastoin), lauseiden pilkkominen lyhyemmiksi tai niiden yhdistäminen pidemmiksi tai ”turhien” sanojen lisääminen lauseiin ei auta. Sanojen muodollisuusasteiden muuntelu ei auta, ei myöskään synonyymien etsiminen. Lingvisti toteaa opiskelijoille, että synonyymien, antonyymien, metonyymien, meronyymien ja hyponyymien käyttäminen plagiointi-instrumentteina ei Turnitinia huijaa – kokeiltu on. Akateemisen kirjoittamisen opettaja tekee nämä asiat selväksi heti kurssin alussa ja muistuttaa niistä säännöllisesti. Opin perillemeno toteutuu vaihtelevasti.
Turnitin tekoälyllä tuotetun tekstin arvioijana
Se, että Turnitin tunnistaa plagioinnin käytännössä aina, on lähes taianomainen saavutus. Toisaalta – algoritmin vertailukykyä opiskelijatekstin ja verkossa olevien tekstien välillä voisi ehkä havainnollistaa ajatuksella, että opiskelijan työtä olisi esimerkiksi miljardi kokenutta asiantuntijaa, kirjoittamisen ammattilaista, tutkailemassa ja heillä olisi rajoittamaton pääsy kaikkeen verkkoaineistoon: plagioinnista jäisi kiinni kutakuinkin heti.
Algoritmin kyky vertailla opiskelijatekstiä lähes kaikkeen verkossa olevaan tekstiin on niin massiivinen, että plagiointimielessä Turnitinin kanssa on turha lähteä kilpasille.
Entäpä Turnitin ja tekoälyllä kirjoitetun tekstin tunnistus? Nyt ollaan harmaammalla alueella. Opiskelijat, esimerkiksi lukiolaiset, usein kirjoittavat esitelmiään tekoälyllä – tämä on mediakeskustelussa tullut varsin selväksi. Jos teksti on kirjoitettu esimerkiksi CoPilotilla, paljastaako Turnitin sen? Hyvin usein, mutta muutama seikka on huomioitava. CoPilot ei jaa ohjelmointisalaisuuksiaan Turnitinin kanssa: kyseessä on eri ohjelmistot ja eri toimijat. CoPilot ei päästä Turnitinia ”päänsä sisälle” tekoälytekstin tuottamisen osalta, eikä Turnitinilla ole pääsyä Copilotin – tai myöskään esimerkiksi Google Geminin – sisäiseen ohjelmointirajapintaan. Turnitinin tekoälytunnistustyökalu, jonka ohjelmointirajapintaan eivät puolestaan pääse muut toimijat, analysoi tekstin kielellisiä rakenteita. Tämän tekstin kirjoittaja pyysi CoPilotilta lyhyen yleistajuisen englanninkielisen esitelmän suomalaisesta kemianteollisuudesta. Turnitin arvioi sen plagiointiarvoksi 2 prosenttia, AI-arvoksi 100 prosenttia, mikä on täsmälleen oikea analyysi.
Tämän tekstin kirjoittajalla on jonkin verran kokemusta erityylisten englanninkielisten tekstin lukemisesta, analysoimisesta ja kirjoittamisesta; englannin syntaksi ja sen variaatio on myös tuttu. Kirjoittaja päätti haastaa Turnitin-algoritmin. Hän muokkasi tekstiä. Isoja muutoksia ei tehty eikä tekstiä kirjoitettu uudelleen; kyseessä oli parin minuutin uurastus. Uudet Turnitin-arvot olivat: plagiointi 2 prosenttia, AI 00 prosenttia.
Mitä opettajan tulisi tekoälyvilpistä tietää
Tämän tekstin kirjoittajan ohje opiskelijoille on: älkää käyttäkö tekoälyä luvattomasti. Turnitin analysoi tekstin plagiointiasteen käytännössä aina oikein; plagiointiarvoon voi siis luottaa.
AI-tunnistuksen osalta opettajan on syytä olla kriittisempi. Turnitinin antama arvo on vähintään suuntaa antava, usein täysin oikeinkin, mutta luotettavuus ei ole sama kuin plagioinnin osalta. Ja yleinen ohje näitä pohtivalle opettajalle on: tutustu AI-paljastusalgoritmien toimintaan itse, tee kokeita ja havaitse uusia asioita.
Kirjoittajat
Juhani Toivanen
Diakonia-ammattikorkeakoulu Lehtori
