Künstliche Intelligenz revolutioniert die Produktion von Film und Games

Die Künstliche Intelligenz könnte Drehbücher schreiben, Musik komponieren, Filmtrailer bearbeiten, Schauspieler und Synchronsprecher rekrutieren, Untertitel generieren, synthetisierte Stimmen erstellen – was durch KI in der Medienproduktion alles möglich ist, ließ der Kurzfilm „Die sichere Zone vor einem Jahr erahnen: Erstmals stellte bei einem Projekt ChatGPT das Skript, die Kamerapositionierung, die Outfits und den Gesichtsausdruck jedes Charakters zur Verfügung. „Während einige das Ende für gekommen halten, sehen andere Optimisten die KI als Kerntechnologie für einen Befreiungsschlag, der dringend notwendig ist“, meint der Berliner Regisseur und Autor Markus Müller-Hahnefeld. Die Branche befinde sich seiner Ansicht nach in „der größten Krise“, unter der insbesondere Nachwuchsregisseure und Produktionen mit geringem Budget leiden. Die Automatisierung und damit verbundene Effizienzsteigerung könnte den Zugang zum filmisch-künstlerischen Ausdruck niedrig schwelliger machen. „Die Zukunft des Films liegt in der geschickten Nutzung der KI als Werkzeug für künstlerische Innovation“, ist er überzeugt.

Das war nicht immer so: „Als ChatGPT kam, bin ich in die Krise gestürzt und habe mich gefragt, wozu soll ich schreiben?“ Mittlerweile hat Müller-Hahnefeld darauf eine Antwort gefunden. Drehbücher von Filme profitierten durch die enge Verknüpfung zwischen Autor und Werk. Biografische Einflüsse könne die KI jedoch nicht liefern. Gedanken und Strukturen zu ordnen, dabei kann die KI hingegen unterstützen. Zudem können leistungsstarke Algorithmen vorhandene Drehbücher, Publikumsvorlieben und Markttrends analysieren und so dazu beitragen, dass Projekte beim Zielpublikum besser ankommen. „KI ist eher ein Tool, mit dem ich arbeiten kann“, versteht er die KI als „intellektuellen Partner in der kreativen Schaffensphase“.

Markus Müller-Hahnefeld , Filmemacher

Größtes Potenzial in der Pre-Visualisierung

Was für den Schreibprozess gilt, das funktioniert auch in anderen Bereichen: Für seinen ersten Spielfilm „Exit Exzess“ hat Müller-Hahnefeld die „Charaktere, Orte und Situationen im Bild-KI-Programm Midjourney generiert und dann mit Pika zum Leben erweckt. Dann habe ich alles in Premiere Pro zusammengeschnitten und das Ergebnis in Topaz upgescaled“, beschreibt er seine Herangehensweise. In dieser Previsualisierung sieht er das größte Potenzial von KI. „Statt Storyboards, Moodboards und aufwändigen und teuren Animationen, könnte Look & Feel und sogar einzelne Einstellungen einfach von Midjournay und Runway generiert werden“, sagt der gebürtige Leipziger. Auch die Postproduktion ändert sich durch KI-basierte Videobearbeitung enorm: Bei der Tonmischung kann etwa viel Zeit gespart werden. Auch Visuelle Effekte können mithilfe von KI Ressourcen effizient gestaltet werden. Wie man diese und andere Möglichkeiten für eigene (Marketing)Filme nutzen kann, gibt der AI Film Artist seit 2023 in Workshops und Seminaren weiter- zum Beispiel an der SCM – School for Communication and Management und am Creative Game Institut in Berlin.

So optimistisch der Filmemacher auf KI blickt, unumstritten ist die Technologie auch in der Medienproduktion nicht. „Generative KI-Systeme sind durchaus in der Lage, Material zu produzieren, das gegen das Urheberrecht verstößt. Sie informieren die Nutzer aber nicht, wenn sie das tun“, haben kürzlich Hollywood-Filmdesigner und -illustrator Reid Southen und Gary Marcus, Professor für Neurowissenschaften an der New York University bei einer Testreihe, festgestellt. Das versetzt – zumindest in Hollywood – „Autoren, Schauspieler, Künstler und alle, deren Arbeit von unethischen LLMs (Anm.: Large Language Models) oder Bildgeneratoren betroffen sein könnte“ in Angst und Sorge um ihre Zukunft, erklärte Southen in der Süddeutschen. Schon heute würden viele gebeten, ihre Preise zu senken oder würden gar während eines Projekts entlassen, weil die Firma auf KI umstellte. Nicht umsonst werden die Forderungen nach Vergütung und einer klaren Gesetzgebung – beispielsweise durch den europäischen „Artificial Intelligence-Act” (AI-Act) – immer lauter.

In vielen Bereichen wisse die Industrie „einfach noch nicht, wohin die Reise gehe“, ist sich Müller-Hahnefeld bewusst. Gemeinsam mit Kollegen möchte er deshalb einen „ThinkTank“ in Berlin starten. Nicht nur, um sich über die offenen Fragen und Potenziale von KI in der Medienproduktion auszutauschen, sondern um sich über die Zukunft des Films generell Gedanken zu machen: Schließlich sei das passive Auf-die-Leinwand-Gucken durch Möglichkeiten wie Virtual Reality bald überholt, glaubt er.

Susanne Büchting

Vorbehalte und Vorteile: KI-Kerngruppe bei rbb

Aktuelle KI-Themen sollen ab dem Frühjahr auch im Rundfunk Berlin-Brandenburg rbb regelmäßig in einer KI-Kerngruppe besprochen werden. „Die Auswirkungen von KI betreffen eben viele Bereiche im rbb“, erklärt Susanne Büchting, Abteilungsleiterin Technisches Innovationsmanagement (TIM), „auch Vorbehalte und Ängste sind sehr nachvollziehbar. Manch einer möchte lieber abwarten und erst einmal von der Ferne aus diesen KI-Fremdling beobachten.“ Der rbb hat einen anderen Ansatz gewählt: Seit 2019 entwickelt das 15-köpfige Team der Abteilung Technisches Innovationsmanagement (TIM) Projektideen mit den Redaktionen – nicht, um Menschen abzulösen, sondern um die Arbeit zu erleichtern, betont Büchting.

Einige dieser Projektideen wurden bereits umgesetzt: „Unsere synthetisierte Stimme liest seit zwei Jahren schon in der rbb24InforadioApp die aktuellen Wetter und Verkehrsnachrichten vor. Bilder im klassischen 16:9 Format werden seit 2020 automatisiert in die gängigen Social-Formate umgewandelt“, berichtet Susanne Büchting, TIM-Abteilungsleiterin. „Vielversprechend und in der ARD stark nachgefragt“ sei auch der automatisierte Schnitt/Auto-Cut. Statt einem menschlichen Cutter kombiniert ein KI-basiertes System Video- und Textmining mit kompositorischen Kriterien wie Relevanz oder Continuity Editing und erstellt etwa die Filme der „Abendschau“. „Zu guter Letzt ist auch das Projekt Materialerkennung in der ARD angekommen“, so Büchting. Mithilfe einer automatisierten Bewegtbildanalyse und bestimmter Metadaten erkennt die KI Personen, Objekte, geografische und demographische Parameter. Dadurch soll Video- und Bildmaterial schneller und effizienter gefunden werden sowie Metadaten gewonnen werden. „Das System verschlagwortet automatisiert und gibt im besten Fall den Redaktionen einen Hinweis zu aktuell bereitstehendem Material, was dann sofort bearbeitet werden kann“, berichtet die Abteilungsleiterin. „Die Anwendung ist sowohl im Archiv als auch direkt am Redaktionsarbeitsplatz angedacht.“ Zurzeit wird an der Integration in die technischen Systeme gearbeitet.

Doch nicht alle KI-Vorhaben sind erfolgreich: „Unsere Vorhaben, die Programm- und die Personalplanung mittels KI zu erleichtern haben wir erst einmal auf Eis gelegt“, ist laut Büchting die Datenlage zu komplex. Für die Expertin ist es eine wichtige Erfahrung mit „diesem komplexen Themengebiet KI: Man muss genau hinschauen und ausprobieren, was Sinn macht.“ Erkenntnisse wie diese werden beim rbb nicht in der Hinterkammer versteckt. Die Zusammenarbeit mit den anderen öffentlich-rechtlichen Häusern sei sehr eng, sagt sie: „Das funktioniert auch umgekehrt – wir profitieren von dem Wissen innerhalb der Gemeinschaft.“

Zusätzlich lädt der rbb externe Experten ein, im hausinternen Format „fabrikneu“ Einblicke und Inputs in Zukunftsthemen wie KI zu geben. Neben „Schulungen zur Grundlagen von KI, zu KI-Tools für den Journalismus und (…) einzelnen Arbeitsgruppen zwischen Redaktion und Technik“ ist das eine Form der Aus- und Weiterbildung, denn: „Der Fachkräftemangel ist natürlich auch in dem Bereich der KI-Projektleitung zu spüren“,gibt Büchting, „und man muss genau hinschauen, wer KI als Buzzword nutzt und wer an der rasanten Entwicklung tiefgreifendes Interesse und dann auch gute Ideen dazu hat.”

Reynold Francois, Creative Director bei Ubisoft Berlin

„Berlin zieht Talente an“

Fachkräftemangel kennt auch Reynold Francois, Creative Director bei Ubisoft Berlin sehr gut. In der deutschen Gaming-Branche mangelt es an „Experten für AAA-Spieleentwicklung“, weiß er. Für das Berliner Studio, das 2018 zum Ubisoft-Netzwerks gestoßen ist, ist das allerdings keine Herausforderung: „Berlin ist Deutschlands international bekannteste Stadt und zieht auch viele Talente an – auch aus dem Ausland “, freut er sich über sein internationales Team und die Unterstützung, „die wir von der Stadt und mehreren Partnern beim Aufbau des Studios in Berlin erhalten haben.“

Talente sind beim in Frankreich gegründeten Videospiel-Produzenten vor allem in Sachen KI gefragt, denn wie die Medienproduktion im Allgemeinen wird auch in der Gaming-Branche zunehmend KI in Arbeitsläufen und Prozessen eingesetzt. „Ubisoft arbeitet seit Jahren daran, die Art und Weise, wie wir Spiele mit KI erstellen, zu verändern“, betont Francois. Mit „La Forge“ wurde dafür sogar eine globale F&E-Abteilung von Ubisoft entwickelt, die bisher mehr als 90 Prototypen auf den Markt gebracht haben. „Sie beherbergen Innovationen wie DeepMotion, Sprachsynthese, Choreograph (verwendet in Far Cry 6), spielerähnliche Bots, um das Erlebnis neuer Spieler in Rainbow Six Siege zu verbessern, oder zuletzt Ghostwriter“, zählt der Berliner Creative Director einige auf. Letzteres ist ein Tool zum Verfassen von Dialogen, das im Frühjahr 2023 auf den Markt kam. „Es schreibt aber keine Dialoge an sich, sondern hilft Autoren dabei, zuvor handgeschriebene Teile zu wiederholen und zu erweitern“, präzisiert Francois und bezeichnet es als „kreatives Paraphrasieren“ oder „Platzhalter“. Ghostwriter erscheint mittlerweile als Schaltfläche im hauseigenen Ubisoft-Tool, und alle Autoren und Designer können je nach Bedarf entscheiden, ob sie es verwenden möchten oder nicht.

Doch nicht nur La Forge beschäftigt sich mit KI, auch „bei Ubisoft Berlin haben wir Teammitglieder, die Möglichkeiten für den Einsatz von KI innerhalb von Ubisoft erforschen. Und einige beginnen, KI-gestützte Arbeitsabläufe in ihrer täglichen Routine zu erleben, wie zum Beispiel Künstler, die mit generativer KI die Tageszeit in einem Bild ändern“, ergänzt er. Ziel bei Ubisoft sei es, einen Teil der sich wiederholenden Arbeit rund um die Entwicklung von Spielen zu erleichtern. So könnten etwa KI-Algorithmen Spielinhalte wie Levels, Karten und Quests generieren, oder auch Spielerverhalten analysieren, um Betrüger zu erkennen, oder Matchmaking-Systeme verbessern. Könnten diese Arbeiten schneller und effizienter erledigt werden, können sich die Ubisoft-Leute auf das „konzentrieren, was unserer Meinung nach der wichtigste Wert und die wichtigste Fähigkeit unserer Mitarbeiter ist: ihre Kreativität“, hofft Francois.

Zukunft: Mehr Chancen als Herausforderungen

Noch stecke die Einführung von KI-Tools in den Kinderschuhen. Einerseits „gibt es beim Einsatz von KI noch viele offene Fragen, etwa ethische Bedenken und rechtliche Fragen, die gemeinsam beantwortet werden müssen“, gibt der Creative Director zu bedenken. Letztere könnten zumindest teilweise durch den AI Act der EU beantwortet werden, hofft die deutsche Games-Branche genauso auf die KI-Verordnung wie die Filmemacher. Doch damit nicht genug, sei – laut Francois – die Entwicklung neuer Technologien darüber hinaus kostspielig und werfe Budetierungsfragen auf. „Insgesamt ist das Gleichgewicht zwischen Chancen und Herausforderungen immer noch sehr ausgeglichen“, fasst er die Situation zusammen, wagt dann aber doch einen Blick in die Zukunft: „Mit der Weiterentwicklung der Technologie sind wir der Meinung, dass es mehr Chancen gibt“, sieht dieser sehr optimistisch aus.