Kan man upptäcka ai-genererade texter?

Just nu befinner vi oss i ett innovationsskutt inom datavetenskapen: AI har gjorts tillgänglig för den breda allmänheten. Den här AI-boosten följer ett mönster där teknisk innovation tar ett skutt och får stor uppmärksamhet. Kameratelefoner slog på bred front och höll sig kvar. Alla utom jag förstod hur otroligt smart det var.

Hur tror vi att det kommer att bli med AI i allmänhet och språkmodeller likt Chat GPT och Bard i synnerhet? Sannolikt är de också här för att stanna. Vi måste hitta ett sätt att förhålla oss till dem. Det är inte lätt, speciellt inte inom lärarskrået där vi nu måste tänka om, jobba mer med dessa frågor och verkligen arbeta fram ett sätt att jobba hållbart.

Kanske underlättar det lite med kunskap om AI? Nätet svämmar över med olika AI-skolor, så därför kommer här en extremt uppspeedad version:
Språkmodellerna som nu är i ropet jobbar med sannolikhet. Det vill säga att de drar slutsatser baserade på den data som de har fått tidigare.
Alla vet att sannolikheter inte är absoluta fakta. Det är mest sannolikt att man inte får Yatzy på första kastet, men likväl händer det och då står man där med dilemmat om man ska låta sina barn vinna eller härda dem inför verkligheten.

Om vi ger våra elever en uppgift som går ut på att de med 200 ord ska svara på frågan vilken betydelse kvinnorörelsen hade under franska revolutionen kommer ai-språkmodellerna på ett för eleven fullt tillfredställande sätt kunna skriva denna text. Den kan, som vi vet, tillhandahålla texten till eleven och eleven behöver inte ens lägga namnet Olympe de Gouges på minnet. Vi som lärare står alltså inför en bedömning som vi inte kan göra eftersom eleven inte har skrivit texten. Därför måste vi se över hur vi formulerar våra problem- och frågeställningar. Vi behöver jobba med att anpassa vårt material efter de elever och den kontext vi står inför.

Dock, det kommer ändå att finnas lägen då vi står inför en risk att elever ska fuska. Då kan det vara bra att förstå mekanismerna bakom. Den sk. bedrägeritriangeln kan hjälpa oss där. När vi har koll på följande tre delar kan vi börja fundera på hur vi kan eliminera dem för eleverna.

• Har eleven ett motiv till att fuska? Känner hen att det fördelarna uppväger de eventuella nackdelarna så det är värt att ta risken?
• Har eleven möjlighet att fuska? Är det väldigt lätt för eleven att fuska? Är det så lätt att det är svårt att motstå till och med?
• Kan eleven rationalisera/försvara sitt fuskande? Detta kan till exempel handla om “alla andra gör det” eller “det här är ändå inte så viktigt för min examen”.

Just nu brottas vi lite med tanken på att möjligheten har ökat markant. Vi har ju inga hjälpverktyg att upptäcka det här fusket och känner oss lite handfallna. Därför vill jag här presentera några tecken som kan hjälpa lärare att identifiera texter som är AI-genererade och inte skrivna.

Verktygslåda 🧰

Lär känna Chat GPT och dess mönster.

• • Mönster: Chat GPT skriver ofta efter samma mönster även om den varierar sig lite. Nedan presenteras tre exempel där Chat GPT är ombedd att skriva en text om isbjörnar.
    

Här håller sig Chat GPT upprepat till ett mönster där den först lägger in ett positivt laddat adjektiv (fantastiska/imponerande, magnifika) kring isbjörnar och sedan går den över till att ge en fingervisning om deras geografiska härkomst (Arktis, arktiska regionen, arktiska miljön). Detta gör den trots att instruktionerna angett olika typer av språk. Om lärare konstruerar en text med hjälp av Chat GPT på samma tema som eleven har gjort kan det hjälpa till att upptäcka sådana här mönster.

• • Uttryck: På svenska använder sig Chat GPT ofta av uttrycket “det är viktigt att” följt av något ord eller uttryck på temat “notera”, “komma ihåg”, “lägga på minnet” etc. Om din elev inte brukar använda det uttrycket kan det vara ett observandum.
  • Stycken: Chat GPT är konsekvent i sin styckeindelning och skapar lika stora stycken som passar i proportion till texten. Inledning på stycken varieras av Chat GPT. Där en människa kanske hade startat flera stycken med samma ord (till exempel “jag”, “det”) eller uttryck, förekommer det inte hos Chat GPT.

Se till att ha en god förståelse för elevens skriftspråk. Hur konstruerar hen typiskt sina texter?

• • Felaktigheter: Finns det några fel som ofta återkommer i elevens skriftspråk? Vanliga fel är:
    • Ordföljd
    • Stavning
    • De/dem
    • Skiljetecken
    • Särskrivning
    • Felaktiga förkortningar
    • Anglifiering (användandet av försvenskade engelska ord och uttryck)
  • Styckeindelning: Hur hanterar eleven stycken? Föredrar hen att göra många korta eller längre stycken? Chat GPT gör genomgående jämna stycken med varierande inledning.
  • Lix-värde: Hur ser elevens typiska Lix-värde ut? Det kan bland annat räknas ut på webbsidan Lix.se. Chat GPT håller sig kring 40-45 om den inte har fått specifika instruktioner kring textens svårighetsgrad. Lix-värdet räknas ut via en formel genom att titta på andelen långord samt hur långa eller korta satser är. Lix står för läsbarhetsindex.
  • Vanliga ord: Finns det ord som eleven ofta använder i andra sammanhang som saknas i texten? Håll särskilt utkik efter ordet “så” som vissa kan använda frekvent utan att tänka på det. Andra uttryck är olika typer av anglifieringen av texten. Det kan till exempel handla om uttryck som är direkt översatta från engelska och som inte “finns” på svenska.
  • Particip: Håll utkik efter hur eleven kan hantera particip. Particip fungerar som oböjliga adjektiv som har bildats av ett verb (hopp-hoppANDE, knåda-knådaD). Chat GPT använder ofta particip men om en elev inte visar att hen kan göra det i vanliga fall kan förekomsten av particip i texten indikera att texten är genererad.

Nu sitter jag här med 50 000 bilder och filmer i min telefon och vill knappast kännas vid mitt tonåriga jag. Med hjälp av dessa verktyg samt en förståelse för mekanismerna bakom fusk tror jag att vi kan starta vårt arbete mot att möta verkligheten ungefär som min åttaåring behöver göra när jag får Yatzy.