Faktakontroll och AI-hallucinationer | AI i affärer #110

I världen av artificiell intelligens suddas ibland gränserna mellan fiktion och verklighet. Medan innovativa AI-system accelererar framsteg inom nästan varje område, medför de också utmaningar, såsom hallucinationer – ett fenomen där AI genererar felaktig eller falsk information. För att fullt ut utnyttja potentialen i denna teknik behöver vi förstå hallucinationer och faktakontrollera dem.

Vad är AI-hallucinationer?

AI-hallucinationer är falska eller missvisande resultat som genereras av AI-modeller. Detta fenomen har sina rötter i kärnan av maskininlärning – en process där algoritmer använder stora datamängder, eller träningsdata, för att känna igen mönster och generera svar enligt observerade mönster.

Även de mest avancerade AI-modellerna är inte felfria. En av orsakerna till hallucinationer är imperfektionen i träningsdata. Om datamängden är otillräcklig, ofullständig eller partisk, lär sig systemet felaktiga korrelationer och mönster, vilket leder till produktion av falskt innehåll.

Till exempel, föreställ dig en AI-modell för ansiktsigenkänning som har tränats främst på foton av kaukasiska personer. I ett sådant fall kan algoritmen ha svårt att korrekt identifiera personer från andra etniska grupper eftersom den inte har blivit ordentligt “tränad” i detta avseende.

En annan orsak till hallucinationer är överanpassning, vilket inträffar när algoritmen anpassar sig för nära till träningsdatamängden. Som ett resultat förlorar den förmågan att generalisera och korrekt känna igen nya, tidigare okända mönster. En sådan modell presterar bra på träningsdata men misslyckas i verkliga, dynamiska förhållanden.

Slutligen kan hallucinationer uppstå från felaktiga antaganden eller otillräcklig modellarkitektur. Om AI-designers baserar sin lösning på felaktiga premisser eller använder fel algoritmisk struktur, kommer systemet att generera falskt innehåll i ett försök att “matcha” dessa felaktiga antaganden med verkliga data.

Källa: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Exempel på hallucinationer

Effekten av AI-hallucinationer sträcker sig långt bortom teorins område. Allt oftare stöter vi på verkliga, ibland överraskande, manifestationer av dem. Här är några exempel på detta fenomen:

• I maj 2023 använde en advokat ChatGPT för att förbereda en stämning som inkluderade fiktiva citat från domstolsbeslut och icke-existerande rättspraxis. Detta ledde till allvarliga konsekvenser – advokaten bötfälldes, eftersom han hävdade att han inte visste något om ChatGPT:s förmåga att generera falsk information,
• det händer att ChatGPT skapar falsk information om verkliga personer. I april 2023 fabricerade modellen en historia om påstådd trakassering av studenter av en juridikprofessor. I ett annat fall anklagade den felaktigt en australiensisk borgmästare för att ta emot mutor, när han i själva verket var en visselblåsare som avslöjade sådana metoder.

Dessa är inte isolerade fall – generativa AI-modeller uppfinner ofta historiska “fakta”, till exempel genom att ge falska uppgifter om att korsa Engelska kanalen. Vad mer är, de kan skapa helt olika falska uppgifter om samma ämne varje gång.

Men AI-hallucinationer är inte bara ett problem med felaktiga data. De kan också ta bisarra, störande former, som i fallet med Bing, som deklarerade att den var förälskad i journalisten Kevin Roose. Detta visar att effekterna av dessa anomalier kan gå bortom enkla faktiska fel.

Slutligen kan hallucinationer medvetet framkallas genom speciella attacker på AI-system, kända som motstridiga attacker. Till exempel, genom att något ändra ett foto av en katt fick bildigenkänningssystemet att tolka det som …. “guacamole.” Denna typ av manipulation kan få allvarliga konsekvenser i system där korrekt bildigenkänning är avgörande, som i autonoma fordon.

Hur förhindrar man hallucinationer?

Trots omfattningen av den utmaning som AI-hallucinationer utgör finns det effektiva sätt att bekämpa fenomenet. Nyckeln är en omfattande strategi som kombinerar:

• högt kvalitativa träningsdata,
• relevanta uppmaningar, det vill säga kommandon för AI,
• direkt tillhandahållande av kunskap och exempel för AI att använda,
• kontinuerlig övervakning av människor och AI själv för att förbättra AI-system.

Uppmaningar

En av de viktigaste verktygen i kampen mot hallucinationer är korrekt strukturerade uppmaningar, eller kommandon och instruktioner som ges till AI-modellen. Ofta räcker det med små förändringar i uppmaningsformatet för att avsevärt förbättra noggrannheten och tillförlitligheten hos de genererade svaren.

En utmärkt exempel på detta är Anthropics Claude 2.1. Medan användning av en lång kontext gav 27% noggrannhet utan ett relevant kommando, ökade tillägg av meningen “Här är den mest relevanta meningen från kontexten: ” till uppmaningen effektiviteten till 98%.

Sådan en förändring tvingade modellen att fokusera på de mest relevanta delarna av texten, snarare än att generera svar baserat på isolerade meningar som togs ur sitt sammanhang. Detta belyser vikten av korrekt formulerade kommandon för att förbättra noggrannheten hos AI-system.

Att skapa detaljerade, specifika uppmaningar som lämnar AI så lite utrymme för tolkning som möjligt hjälper också till att minska risken för hallucinationer och gör faktakontroll enklare. Ju tydligare och mer specifik uppmaningen är, desto lägre är risken för hallucination.

Exempel

Förutom effektiva uppmaningar finns det många andra metoder för att minska risken för AI-hallucinationer. Här är några av de viktigaste strategierna:

• använda högkvalitativa, mångsidiga träningsdata som pålitligt representerar den verkliga världen och möjliga scenarier. Ju rikare och mer komplett datan är, desto lägre är risken för att AI genererar falsk information,
• använda datamallar som en vägledning för AI-svar – definiera acceptabla format, omfattningar och utdata-strukturer, vilket ökar konsekvensen och noggrannheten hos det genererade innehållet,
• begränsa källor till data till endast pålitliga, verifierade material från betrodda enheter. Detta eliminerar risken att modellen “lär sig” information från osäkra eller falska källor.

Kontinuerlig testning och förfining av AI-system, baserat på analys av deras faktiska prestanda och noggrannhet, möjliggör pågående korrigering av eventuella brister och gör det möjligt för modellen att lära sig av misstag.

Kontext

Att korrekt definiera den kontext i vilken AI-system verkar spelar också en viktig roll i att förhindra hallucinationer. Syftet med vilket modellen kommer att användas, liksom begränsningarna och ansvaret för modellen, bör tydligt definieras.

En sådan strategi gör det möjligt att sätta en tydlig ram för AI att verka inom, vilket minskar risken för att den “kommer på” oönskad information. Ytterligare skydd kan ges genom att använda filtreringsverktyg och sätta sannolikhetströsklar för acceptabla resultat.

Att tillämpa dessa åtgärder hjälper till att etablera säkra vägar för AI att följa, vilket ökar noggrannheten och tillförlitligheten hos det innehåll den genererar för specifika uppgifter och domäner.

Källa: Ideogram, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Faktakontroll. Hur verifierar man resultaten av arbete med AI?

Oavsett vilka försiktighetsåtgärder som vidtas är en viss mängd hallucinationer från AI-system tyvärr oundviklig. Därför är en nyckelkomponent som garanterar tillförlitligheten hos de erhållna resultaten faktakontroll – processen att verifiera fakta och data som genereras av AI.

Att granska AI-resultat för noggrannhet och överensstämmelse med verkligheten bör betraktas som en av de primära skyddsåtgärderna mot spridning av falsk information. Mänsklig verifiering hjälper till att identifiera och korrigera eventuella hallucinationer och felaktigheter som algoritmerna inte kunde upptäcka på egen hand.

I praktiken bör faktakontroll vara en cyklisk process, där AI-genererat innehåll regelbundet granskas för fel eller tveksamma påståenden. När dessa identifieras är det nödvändigt att inte bara korrigera det AI-genererade uttalandet självt, utan också att uppdatera, komplettera eller redigera AI-modellens träningsdata för att förhindra att liknande problem återkommer i framtiden.

Viktigt är att verifieringsprocessen inte bör begränsas till att helt enkelt avvisa eller godkänna tveksamma avsnitt, utan bör aktivt involvera mänskliga experter med djupgående kunskap inom området. Endast de kan korrekt bedöma kontexten, relevansen och noggrannheten hos AI-genererade uttalanden och besluta om möjliga korrigeringar.

Mänsklig faktakontroll ger således en nödvändig och svåröverskattad “skyddsåtgärd” för tillförlitligheten hos AI-innehåll. Tills maskininlärningsalgoritmer når perfektion måste denna tråkiga men avgörande process förbli en integrerad del av arbetet med AI-lösningar inom alla branscher.

Hur kan man dra nytta av AI-hallucinationer?

Även om AI-hallucinationer generellt är ett oönskat fenomen som bör minimeras, kan de hitta överraskande intressanta och värdefulla tillämpningar inom vissa unika områden. Att genialiskt utnyttja den kreativa potentialen hos hallucinationer erbjuder nya och ofta helt oväntade perspektiv.

Konst och design är områden där AI-hallucinationer kan öppna upp helt nya kreativa riktningar. Genom att dra nytta av modellerna tendens att generera surrealistiska, abstrakta bilder kan konstnärer och designers experimentera med nya uttrycksformer, sudda ut gränserna mellan konst och verklighet. De kan också skapa unika, drömlika världar – tidigare otillgängliga för mänsklig perception.

Inom datavisualisering och analys erbjuder fenomenet hallucination en möjlighet att upptäcka alternativa perspektiv och oväntade korrelationer i komplexa informationsmängder. Till exempel kan AI:s förmåga att upptäcka oförutsägbara korrelationer hjälpa till att förbättra hur finansiella institutioner fattar investeringsbeslut eller hanterar risk.

Slutligen kan världen av datorspel och virtuell underhållning också dra nytta av AI:s kreativa avvikelser. Skaparna av dessa lösningar kan använda hallucinationer för att generera helt nya, fängslande virtuella världar. Genom att införa dem med ett inslag av överraskning och oförutsägbarhet kan de ge spelare en oöverträffad, uppslukande upplevelse.

Naturligtvis måste all användning av denna “kreativa” sida av AI-hallucinationer noggrant kontrolleras och vara föremål för strikt mänsklig övervakning. Annars kan tendensen att skapa fiktion istället för fakta leda till farliga eller socialt oönskade situationer. Nyckeln är därför att skickligt väga fördelarna och riskerna med fenomenet och att använda det ansvarsfullt endast inom en säker, strukturerad ram.

Faktakontroll och AI-hallucinationer – sammanfattning

Förekomsten av fenomenet hallucinationer i AI-system är en oundviklig bieffekt av den revolution vi bevittnar inom detta område. De förvrängningar och falska uppgifter som genereras av AI-modeller är baksidan av deras enorma kreativitet och förmåga att assimilera kolossala mängder data.

För tillfället är det enda sättet att verifiera giltigheten av AI-genererat innehåll genom mänsklig verifiering. Även om det finns flera metoder för att minska hallucinationer, från uppmaningstekniker till komplexa metoder som Truth Forest, kan ingen av dem ännu ge tillfredsställande svarsnoggrannhet som skulle eliminera behovet av faktakontroll.

Om du gillar vårt innehåll, gå med i vår aktiva bi-gemenskap på Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.