Google Genie — en generativ AI-modell som skapar helt interaktiva världar från bilder | AI i affärer #123

Vad är Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) är en grundläggande världsmodell utvecklad av DeepMind. Det är en generativ AI-modell som har tränats på över 30 000 timmar av offentligt tillgängligt videospelmaterial från 2D-plattformsspel. Dess nyckelfunktion är förmågan att generera helt interaktiva, spelbara miljöer direkt från enskilda bilder, foton och till och med handritade skisser.

Källa: Genie: Generative Interactive Environments (https://arxiv.org/abs/2402.15391)

Hur är detta möjligt? Genie använder en osupervised inlärningsteknik i processen att förvärva förmågan att exakt kontrollera miljön baserat enbart på videomaterial. Ingen mänsklig åtgärdsetikettering krävs. Genom att använda en speciell åtgärdskodningsmodul fångar den subtila förändringar mellan efterföljande videoramar och kartlägger dem till interna representationer av rörelse, såsom hopp eller svänga vänster. Dynamikmodellen genererar sedan nästa ram i sekvensen baserat på de kodade åtgärderna.

Som ett resultat kan Genie skapa helt kontrollerbara, interaktiva spelmiljöer från vilket visuellt data som helst. Varje spelarens rörelse genererar en ny, unik ram i realtid, vilket skapar en smidig, spelbar session. Detta är en verklig stor innovation som gör att vi kan skapa hela interaktiva världar från bilder eller text.

Varför är Genie innovativ?

Genies innovation ligger i att kombinera flera nyckelelement i en enda modell:

• generativa videomodeller, såsom Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) eller maskvit (https://arxiv.org/abs/2206.11894), som kan förutsäga framtida ramar av en sekvens baserat på inmatningsramar och text, men inte erbjuder aktiva kontrollmöjligheter,
• världsmodeller som fokuserar på att förutsäga framtida miljötillstånd baserat på en agents handlingar, men som kräver data som tillhandahålls av människor,
• osupervised inlärning, som gör att Genie kan lära sig både miljödynamik och åtgärdsutrymme från rått videodata ensam, utan mänskliga åtgärdsetiketter.

Även om varje av dessa områden har utforskats tidigare, är Genie den första modellen som kombinerar dem för att lära sig kontrollerbara miljöer direkt från videomaterial. Denna oöverträffade metod för att lära modeller utan mänsklig övervakning är en nyckelinnovation av Genie. Det öppnar dörren för att använda den stora mängden video som finns på Internet som en träningskälla för AI-modeller och bryter ner barriärerna som är förknippade med den begränsade tillgången på märkta data.

Kombinationen av generativa videomodeller, världsmodeller och osupervised inlärning i en enda lösning representerar ett grundläggande framsteg inom utvecklingen av artificiell intelligens. Genie visar att avancerade AI-system kan lära sig komplexa beteenden och miljöer direkt från ostrukturerad data, utan manuell etikettering. Detta är ett viktigt steg på vägen mot att uppnå verklig artificiell generell intelligens (AGI).

Källa: Google Genie (https://sites.google.com/view/genie-2024/)

Potentiella tillämpningar av Google Genie

Google Genies kapabiliteter sträcker sig långt bortom att generera videospel. Denna banbrytande AI-modell kan hitta tillämpningar inom många områden:

• verktyg för animatörer – ladda bara upp en bild, skiss eller kort textbeskrivning så kommer Genie att generera en konsekvent animation,
• obegränsad träningsresurs för AI-agenter – med sin förmåga att generalisera till helt nya domäner erbjuder Genie en oändlig pool av utmaningar som framtida AI-system kan lära sig av. Bristen på mångsidiga träningsmiljöer har hittills varit en av de viktigaste hindren för utvecklingen av generiska AI-agenter,
• fysiska simuleringar för robotik – forskning har visat att Genie inte bara kan kontrollera virtuella robotar, utan också realisera de fysiska egenskaperna hos deformabla objekt. Detta kan få stora konsekvenser för utvecklingen av robotik och fysiska simuleringar,
• tillämpningar inom de kreativa industrierna – Genie kan underlätta skapandet av interaktiva konstinstallationer, virtuella utställningar eller filmer. Ladda bara upp en skiss så kommer modellen att generera en helt kontrollerbar 3D-värld, redo för utforskning.

Men de potentiella utmaningarna och begränsningarna av denna teknik bör inte förbises. I det nuvarande utvecklingsstadiet fungerar Genie bäst i snäva domäner som 2D-plattformsspel. Att skala upp till mer komplexa 3D-miljöer kommer att kräva ytterligare forskning och optimering. Dessutom finns det en risk att denna teknik kan missbrukas för att skapa skadligt eller farligt innehåll. Det är därför avgörande att utveckla en robust etisk och juridisk ram för att styra utvecklingen och användningen av sådana AI-modeller.

Källa: Google Genie (https://sites.google.com/view/genie-2024/)

Sammanfattning

Genom att möjliggöra skapandet av helt interaktiva miljöer direkt från visuell data, utan behov av att manuellt märka åtgärder, representerar Google Genie ett verkligt genombrott inom generativ artificiell intelligens. Denna grundläggande världsmodell ger makten att uttrycka bilder i form av spelbara virtuella verkligheter som kan utforskas och kontrolleras av en människa eller AI-agent.

Genies potential är enorm – från verktyg för spelutvecklare, till en obegränsad källa av träningsdata för AI, till fysiska simuleringar för robotik. Det är också ett viktigt steg på vägen mot AGI. När modeller som Genie fortsätter att utvecklas, blir gränsen mellan de verkliga och virtuella världarna mer flytande.

Om du gillar vårt innehåll, gå med i vår aktiva bi-gemenskap på Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.