AI-innehållsdetektorer. Är de värda det? | AI i affärer #38

Idag presenterar utvecklare av AI-innehållsdetektorer dem som verktyg för att skydda autenticitet. Frågan är, är de värda förtroendet och investeringen? I den här artikeln kommer vi att titta på hur AI-innehållsdetektorer fungerar, varför de kan gå i graven, vilka utmaningar de medför och de etiska dilemman de ställer.

AI-innehållsdetektorer

AI-innehållsdetektorer baseras på språkmodeller som liknar de som används för att generera AI-innehåll. De kan delas in i de vars uppgift är att kontrollera ursprunget av bilder, texter och musik som genererats med stöd av artificiell intelligens. Varje typ av “AI-detektor” fungerar något olika, men ingen av dem kan med absolut säkerhet särskilja mellan mänskligt skapad och AI-genererad innehåll.

AI-genererade bilddetektorer spelar en allt viktigare roll på grund av mediernas makt att generera falska nyheter. De analyserar anomalier, distinkta stilar och mönster, och letar efter tecken som lämnats av modeller som DALL-E.

Framträdande bland de detektorer som används för att identifiera bilder är verktyget “AI or Not” från Optic, som använder bilddatabaser genererade av Midjourney, DALL-E och Stable Diffusion. Även om resultaten är osäkra, är det ett steg mot att utveckla mer precisa identifieringsmetoder i framtiden.

Källa: AI or Not (https://www.aiornot.com/)

Bakom driften av AI-detektorer som känner igen AI-genererade texter finns avancerade algoritmer som analyserar textens struktur och ordval, och sedan känner igen AI-specifika mönster. De använder sig av:

• klassificerare – en algoritm som klassificerar text och kontrollerar stil, ton och grammatik. Till exempel kan en produktbeskrivning som skulle kunna passa vilket som helst produkt av sin typ klassificeras som en AI-skapelse,
• inbäddningar (embeddings) – numeriska representationer av ord som gör att maskiner kan förstå sammanhanget av deras användning. Det är tack vare dem som programmet “förstår” att en text med ett monotont urval av ord kan vara ett verk av AI,
• perplexitet – vilket är ett mått på oförutsägbarheten av en text. Texter skrivna av människor tenderar att ha högre perplexitet, även om texter som är inneboende enkla, utilitaristiska i typisk form, eller skrivna av utlänningar kan felaktigt klassificeras som AI-genererade,
• diversitet (burstiness) – denna faktor beskriver variabilitet i meningslängd och struktur. Människor tenderar att skriva mer varierade texter än artificiell intelligens.

De ovan nämnda elementen används tillsammans av AI-innehållsdetektorer för att bedöma om vi har att göra med mänskligt skapad eller maskinskapad text.

Varför använda AI-innehållsdetektorer?

AI-innehållsdetektorer fungerar inom en mängd olika områden – från utbildning till marknadsföring och rekrytering. Här är de främsta anledningarna till att ha dem som ett verktyg för att hjälpa till med utvärdering, men inte som definitivt bevis på huruvida innehållet har genererats:

• Identifiering av AI-modifierade foton som föreställer kända personer – för att upptäcka om fotot föreställer en verklig situation,
• Förebygga desinformation – I kampen mot desinformation hjälper effektiva AI-innehållsdetektorer sociala mediamoderatorer att upptäcka spridning av falsk information för att identifiera och eliminera repetitivt innehåll som genererats av bots,
• Begränsa publiceringen av lågvärdiga texter – AI-innehållsdetektorer kan hjälpa utgivare att avvisa texter som innehåller generisk information genererad av ChatGPT, Bing eller Bard efter att ha skrivit en enkel fråga.

Det är dock värt att komma ihåg att textens ursprung inte är grunden för Googles sänkning av en sidas ranking. Googles Search Center-blogg uppger att det är avgörande för Google att “belöna kvalitetsinnehåll oavsett hur det skapas […]. Automatisering har länge använts för att generera användbart innehåll, såsom sportresultat, väderprognoser och transkriptioner. AI kan öppna nya nivåer av uttryck och kreativitet och vara ett nyckelverktyg för att stödja skapandet av bra webbinnehåll.”

Opålitlighet hos AI-innehållsdetektorer. Verklighet eller myt?

Även om AI-innehållsdetektorer är allestädes närvarande kan deras effektivitet ifrågasättas. De huvudsakliga problemen är:

• låg effektivitet i att upptäcka AI-innehåll,
• problem med falska positiva, samt
• svårigheter att anpassa detektorer till snabbt diversifierande och förbättrande nya AI-modeller.

Tester utförda av OpenAI visade att deras klassificerare endast kände igen GPT-genererad text 26% av tiden. Ett intressant exempel på opålitligheten hos generatorer kan ses i ett experiment utfört av TechCrunch, som visade att GPTZero-verktyget korrekt identifierade fem av sju AI-genererade texter. Medan OpenAI:s klassificerare endast identifierade en.

Källa: GPTZero (https://gptzero.me/)

Dessutom finns det en risk för att få ett falskt positivt resultat, det vill säga att identifiera text skriven av en människa som AI-genererad. Till exempel markerades början av det andra kapitlet av Miguel de Cervantes’ Don Quijote av OpenAI-detektorn som mest sannolikt skriven av artificiell intelligens.

Även om fel i analysen av historiska litterära texter kan betraktas som en underhållande kuriosa, blir situationen mer komplicerad när vi vill använda detektorer som verktyg för att utvärdera texter. Den amerikanska konstitutionen markerades av ZeroGPT som 92,15% skriven av artificiell intelligens. Och enligt en studie publicerad av forskare vid Stanford University klassificerades 61% av TOEFL-uppsatser skrivna av studenter som inte är modersmålstalare i engelska som AI-genererade. Tyvärr finns det inga data om hur hög andelen texter som felaktigt klassificeras som positiva på andra språk är.

En annan fråga är förändringen av klassificering vid efterföljande körningar av detektorn. Detta beror på att det ofta händer att en detektor som ZeroGPT eller Scribbr ändrar klassificeringen av textfragment, som den markerar som AI-genererade en gång och som mänskligt skrivna en annan gång.

Källa: Scribbr (https://www.scribbr.com/ai-detector/)

AI-bild- och videodetektorer används främst för att identifiera deepfakes och annat AI-genererat innehåll som kan användas för att sprida desinformation.

Nuvarande detektionsverktyg som Deepware, Illuminarty och FakeCatcher ger inte testresultat om deras tillförlitlighet. I det juridiska sammanhanget av att upptäcka AI-genererat visuellt material finns det initiativ för att lägga till vattenstämplar på AI-bilder. Men detta är ett mycket opålitligt sätt – man kan enkelt ladda ner en bild utan vattenstämpel. Midjourney tar en annan inställning till vattenstämpling och lämnar det upp till användarna att bestämma om de vill vattenstämpla en bild på detta sätt.

Undvika AI-detektion. Är det möjligt och hur?

Entreprenörer bör vara medvetna om att AI-innehållsdetektorer inte är en ersättning för mänsklig kvalitetsbedömning och inte alltid är pålitliga. Deras praktiska underhållsproblem kan medföra betydande svårigheter, precis som att försöka undvika att få sitt innehåll klassificerat som AI-genererat. Särskilt när AI helt enkelt är ett verktyg i händerna på en professionell – det vill säga, det är inte “innehåll genererat av AI”, utan snarare “innehåll som skapades i samarbete med AI.”

Det är relativt enkelt att lägga till någon i de genererade materialen så att sättet de skapas på verkligen är svårt att upptäcka. Om personen som använder generativ AI vet vilket resultat som ska uppnås kan de helt enkelt manuellt justera resultaten.

Den grundläggande frågan ligger i anledningen bakom våra önskningar att undvika detektion om innehållet genererades av AI.

• Om detta är en etisk fråga och rör till exempel upphovsrätten till publicerad vetenskaplig forskning – får man förlita sig på den professionella etiken hos forskaren och det ansvarsfulla användandet av AI-baserade verktyg.
• Om arbetsgivaren önskar att anställda ska avstå från att använda AI – kvarstår en kontraktsmässig överenskommelse för användningen av generativ artificiell intelligens.

Det väcker också frågan om vi vill främja ansvarsfull användning av AI genom förbud och motståndare (ZeroGPT och GPTZero!), eller genom att uppskatta transparens, förtroendeskapande och ärlig användning av avancerad teknik.

Källa: ZeroGPT (https://www.zerogpt.com/)

Sammanfattning

Svaret på frågan om huruvida AI-innehållsdetektorer är värda att använda är långt ifrån klart. AI-innehållsdetektorer är fortfarande under utveckling, och deras framtid är svår att förutsäga. En sak är säker – de kommer att utvecklas i takt med utvecklingen av AI-teknologi. Framsteg inom AI, inklusive den ökande förmågan hos språkmodeller att efterlikna mänsklig skrivstil, innebär att AI-innehållsdetektion kan bli ännu mer komplicerad. För företag är detta ett tecken på att följa dessa utvecklingar och inte enbart förlita sig på verktyg, utan på deras bedömning av innehåll och dess lämplighet för det syfte för vilket det skapades. Och att använda den snabbt utvecklande artificiella intelligensen på ett klokt sätt.

Om du gillar vårt innehåll, gå med i vår aktiva community av bin på Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.