Disney Artificiell intelligens skapar animationer från manus

guioner

Under flera år har intelligenta system fungerat som kan skapa klipp från text. Förra året introducerades ett system som utnyttjade ett par neurala nätverk för att skapa små videor från beskrivningar som att spela golf på gräset, men Disney vill gå längre.

Flera forskare vid Disney Research och Rutgers arbetar med en modell som kan skapa en storyboard och en video som representerar text från filmmanus. Specifikt producerar dess text-till-animeringsmodell animationer utan behov av kommenterade data eller ett steg före träningen, med tanke på den inmatade texten som beskriver vissa aktiviteter.

Automatisk generering av animering från naturligt språktext hittar tillämpning inom olika områden, till exempel för att skriva filmmanus, instruktionsvideor och allmän säkerhet … Dessa system kan vara särskilt värdefulla för manusskrivning genom att möjliggöra snabbare iteration. , prototyper och bevis på koncept för innehållsskapare, även om det fortfarande inte skapas något för den slutliga allmänheten.

I dokumentet visar de ett text-till-animationssystem som kan hantera komplexa meningar. De vill inte ersätta författare och artister utan att göra deras arbete mer effektivt och mindre tråkigt.

Eftersom varken inmatningsmeningarna eller utmatningsanimationerna har en fast struktur skapade medförfattarna ett modulärt neuralt nätverk bestående av flera komponenter: en ny manusanalysmodul som automatiskt isolerar relevant text från scenbeskrivningarna i skärmens skript; en modul för bearbetning av naturligt språk som förenklar komplexa meningar med hjälp av en uppsättning språkregler och extraherar information från förenklade meningar i fördefinierade handlingsrepresentationer; och en animationsgenereringsmodell som översätter dessa representationer till animationssekvenser.

Fantastisk teknik som kan användas för att skapa fler och bättre animationsfilmer.