Diakonia-ammattikorkeakoulussa (Diak) on käytössä tekoälyn käytön ja plagioinnin paljastamiseen tarkoitettu algoritmi: Turnitin. Käytännössä kaikki opiskelijoiden oppimisalustalle palauttamat tekstit joutuvat Turnitin-analyysiin. Sen tulos on arvio, kuinka suuri osuus opiskelijan palauttamasta tekstistä on tehty tekoälyllä ja kuinka suuri osuus tekstistä on plagioitu. Voiko opettaja luottaa näihin arvioihin? Vastaus on klassikko: kyllä ja ei.
Turnitin vahvistaa, että vääriä positiivisia tuloksia (false positive) tapauksia ilmenee jonkin verran eli on mahdollista, että algoritmi ilmoittaa täysin ihmisen tuottaman tekstin tekoälyllä tuotetuksi. Suuressa aineistossa tämä on kuitenkin algoritmin kehittäjien mukaan varsin vähäistä, alle prosentin tasoa, mikä sekin on yksilötasolla liikaa.
Äidinkielen merkitys tunnistusprosenteissa
Oppilaitoksissa, joissa merkittävä osa opiskelijoista on englantia äidinkielenään puhuvia, false positive -ongelma on vähäinen. Oppilaitoksissa, joissa on paljon opiskelijoita, joiden äidinkieli on muu kuin englanti, kuten Diakissa, ongelma voi olla merkittävä. Opettajan onkin syytä olla uusimmasta asiaa koskevasta tutkimuksesta tietoinen.
Turnitin vahvistaa, että vääriä positiivisia tuloksia (false positive) tapauksia ilmenee jonkin verran eli on mahdollista, että algoritmi ilmoittaa täysin ihmisen tuottaman tekstin tekoälyllä tuotetuksi.
Laajasti siteerattu riippumaton 2023 Stanford HAI -tutkimus (Liang ym., 2023) osoitti, että AI-tunnistimet, mukaan lukien Turnitin, tekevät suorastaan karkeita virheitä analysoidessaan muiden kuin englantia äidinkielenään puhuvien opiskelijoiden tekstejä: tällaisten opiskelijoiden väärin luokiteltujen eli virheellisesti tekoälyn tekemäksi luokiteltujen tekstien osuus oli 50-60 prosenttia. Englantia äidinkielenään puhuvien opiskelijoiden false positive -tunnistukset olivat parin prosentin luokkaa. Epäsuhta on lähes käsittämätön (alla olevassa “GPT” viittaa yleisesti tekoälytunnistimiin, mukaan lukien Turnitin):
Although numerous detection methods have been proposed to differentiate between AI and human-generated content, the fairness and robustness of these detectors remain underexplored. In this study, we evaluate the performance of several widely-used GPT detectors using writing samples from native and non-native English writers. Our findings reveal that these detectors consistently misclassify non-native English writing samples as AI-generated, whereas native writing samples are accurately identified. (Liang ym., 2023.)
Tutkijoiden mukaan Turnitin ja muut tekoälytunnistimet tunnistavat sitä, mitä ne on koulutettu tunnistamaan. Samanlaisena toistuva sanasto spesifistä tutkimusaiheesta, suhteellisen varioimaton sapluunamainen koulukielioppia noudatteleva lauserakenne ja johtopäätöksen varovaisuuttaa ilmaisevat ns. hedging-ilmaukset (esimerkiksi it may be argued/stated; apparently, the results suggest that; taking into consideration the tentative finding that) toimivat mahdollisina indikaattoreina tekoälyn tuottamasta tekstistä. Toisaalta – juuri nämä piirteet ovat sellaisia, joita aloitteleva tutkija, jonka äidinkieli ei ole englanti, mielellään käyttää, sillä tieteellisessä tekstissä hän tuskin haluaa lähteä englannillaan revittelemään.
Tutkijoiden mukaan tulokset edellyttävät laajempaa keskustelua sisällönarviointiin käytettävien tekoälytyökalujen käytön eettisistä ulottuvuuksista opetuksessa:
Our results call for a broader conversation about the ethical implications of deploying AI content detectors and caution against their use in evaluative or educational settings, particularly when they may inadvertently penalize or exclude non-native English speakers from the global discourse. (Liang ym., 2023.)
Tekoälytunnistimien käyttö edellyttää varovaisuutta
Syntyperäiset kielenkäyttäjät kirjoittavat jazz-rytmillä: lauserakennetta varioidaan, sanojen muodollisuusastetta varioidaan, kielellä voidaan suorastaan leikitellä, tieteellisessäkin tekstissä. Tähän harvat ei-äidinkieliset halunnevat tieteellistä tekstiä kirjoittaessaan lähteä.
Mitä ammattikorkeakoulun kielenopettajan tulisi asiasta ajatella? Ehkä varovaisuus puoleen ja toiseen on erityisen perusteltu. Turnitin ja vastaavat tekoälyn käytön tunnistimet ovat tietyissä tilanteissa erittäin luotettavia, mutta niiden kontekstisidonnaisuus alkaa uuden tutkimuksen valossa olla ongelma. Oletettavasti algoritmia kehitetään huomattujen puutteiden perusteella, mutta keskustelu ja ohjaus opiskelijoiden kanssa on edelleen järkevin käytännön toimintapa:
- Opettajan tulee toistuvasti kertoa milloin tekoälyä saa käyttää, milloin ei.
- Algoritmin antama epäily tekoälyn käytöstä voinee olla ohjauskeskustelun osa.
- Algoritmin punaliputtama teksti on aihetodiste, ei savuava ase.
- On tiedostettava ulkoisista asioista johtuvat seikat, jotka voivat vaikuttaa algoritmiin antamiin tunnistusprosentteihin.
Lähde
Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns 4(7), 2023. https://doi.org/10.1016/j.patter.2023.100779
Kirjoittajat
Juhani Toivanen
Diakonia-ammattikorkeakoulu Lehtori
