Die Techniken hinter dem VStreaming

VStreaming: Diese Techniken stecken hinter dem Trend

VStreaming und VTubing sind aus einem japanischen Nischentrend zu einem globalen Phänomen gewachsen. Beide Begriffe stehen für dasselbe Prinzip: Menschen erstellen online Inhalte mithilfe eines virtuellen Avatars. Häufig erinnern diese Avatare an Anime-Figuren, es lässt sich aber genauso ein fotorealistisches 3D-Modell animieren.

Der große Vorteil für Creator ist die Trennung von Person und Auftritt. Die eigene Identität bleibt geschützt, während der Avatar trotzdem eine persönliche Note transportiert. Nikola Merkas, Gründer von Studio Merkas, ist überzeugt, dass praktisch jeder in dieses Thema einsteigen kann. Was VTubing grundsätzlich bedeutet, klären wir in Was ist VTubing?. In diesem Artikel geht es um die Technik dahinter: Wie entsteht ein Avatar, und welche Soft- und Hardware brauchst du dafür?

2D-Avatar: Zeichnung eines Körpers

Bei einem zweidimensionalen Avatar zeichnest du zunächst den ganzen Körper frontal. Das kannst du selbst in einem Programm wie Photoshop, Procreate oder dem kostenlosen GIMP machen oder als Auftragsarbeit anfertigen lassen. Wichtig ist, schon beim Zeichnen zu überlegen, welche Körperteile sich später einzeln bewegen sollen. Diese Elemente, etwa einzelne Haarsträhnen, Augen oder Beine, müssen auf separaten Ebenen liegen.

Ist die Zeichnung fertig, wird sie geriggt. Dabei bekommt der Avatar eine Art digitales Skelett, das die Animation ermöglicht. Der Standard dafür ist die Software Live2D Cubism. Hier ordnest du die einzelnen Ebenen den realen Körperteilen zu und erstellst passende Meshes, für die Live2D eine automatische Funktion mitbringt.

Der Editor von Live2D Cubism

Mit diesen Meshes lassen sich die Objekte anschließend verformen. So entstehen die Rotation des Halses, die Atmung des Avatars und sogar die Bewegung einzelner Haarsträhnen. Beim eigentlichen Rigging legst du fest, wo die Bewegungsachsen liegen. Um die geriggte Figur schließlich zum Leben zu erwecken, nutzt du ein Programm wie PrPrLive, das Animationen einbindet und per Shortcut abspielt.

Das Interface von PrPrLive mit einem Beispielmodell

3D-Avatar: Modell eines Körpers

Für einen 3D-Avatar ist ein Programm wie VRoid Studio die einfachste Option. Dort setzt du deine Figur ähnlich wie bei der Charaktererstellung in einem Videospiel zusammen. Wer keinen klassischen Anime-Charakter möchte, modelliert stattdessen in Blender oder einer anderen 3D-Software. Ein solches Modell braucht allerdings Bones, um sich bewegen zu können. Am Ende sollte der Avatar als VRM-Datei vorliegen, dem gängigen Format für VTuber-Modelle.

Zum Leben erweckst du das Modell mit einem Tracking-Programm wie VSeeFace. Es ist kostenlos und bietet Einsteigern einen einfachen Start. In VSeeFace steuerst du Mimik und Gestik deiner Figur, passt über Voreinstellungen den Ausdruck einzelner Emotionen an und kannst sogar Lichteffekte wie eine Aura um den Avatar legen. Ist keine Webcam verfügbar, hilft der Virtual-Camera-Modus, bei dem der Mund nur über das Mikrofon getrackt wird. Fertig konfiguriert lässt sich der Avatar per Transparenz-Einstellung als virtuelle Facecam einsetzen.

Das Interface von VSeeFace mit einem Beispielmodell

MetaHuman: fotorealistische Charaktere in der Unreal Engine

Wer fotorealistische Avatare will, kommt an MetaHuman von Epic Games kaum vorbei. Früher lief das über den separaten MetaHuman Creator, inzwischen ist MetaHuman direkt in die Unreal Engine 5 integriert. Du wählst ein Basismodell, individualisierst es nach deinen Vorstellungen und kannst mehrere Vorlagen zu einem völlig neuen Charakter mischen. Auch der Detailgrad lässt sich anpassen, etwa für einen bewusst reduzierten Look.

Der Einstieg ist einsteigerfreundlich, die Personalisierungsmöglichkeiten sind aber begrenzter als bei einem selbst modellierten Charakter. Vor allem verlangt VStreaming mit einem MetaHuman-Modell einen sehr leistungsstarken Rechner.

Der MetaHuman-Editor in der Unreal Engine

Benötigte Hardware

Für eine VStreaming-Lösung brauchst du im Kern nur eine Webcam oder ein Smartphone und die passende Software auf einem leistungsfähigen Computer. Für den Anfang gibt es kostenlose Optionen wie VSeeFace. Soll zusätzlich zur Mimik auch die Gestik übertragen werden, kommt ein Leap Motion Controller ins Spiel. Wer das VStreaming auf das nächste Level heben will, nutzt einen Motion-Capture-Anzug, der den gesamten Körper trackt. Für eine hochwertige Übertragung ist ein starker PC Pflicht, und die konkreten Anforderungen richten sich nach der jeweiligen Software. Vom Streamen über eine Konsole ist eher abzuraten.

Unsere Erfahrung: der Avatar von Torro

Bei Studio Merkas haben wir diese Technik nicht nur beschrieben, sondern in echten Projekten umgesetzt. Für den deutschen Streamer Torro haben wir den Avatar erstellt und sein komplettes VStreaming eingerichtet. Sein Avatar ist eine Nachbildung seiner Spielfigur aus dem Survival-Game Rust, mit dem er den Großteil seiner Streams bestreitet. Wie so ein Projekt konkret aussieht, zeigen wir auf der Projektseite zu Torro.

Bekannte VStreamer

Wie groß VStreaming inzwischen ist, zeigen die Zahlen der Szene. Ironmouse wurde 2024 zeitweise zur meistabonnierten Streamerin aller Zeiten auf Twitch und gilt als eines der Gesichter der westlichen VTuber-Bewegung. CodeMiko steht für die technisch aufwendige Variante: Sie nutzt einen professionellen Mocap-Anzug und die Unreal Engine, hat Modell und Rigging selbst gebaut und ging viral, als sie einen Side-by-Side-Clip aus Aufnahme und animiertem 3D-Modell zeigte. Beide zeigen, wie unterschiedlich der Weg zum eigenen virtuellen Charakter aussehen kann.

Deinen eigenen Avatar umsetzen

Der Trend VStreaming ist populärer denn je, und die Einstiegshürde war nie niedriger. Für ein Hobby-Setup reichen kostenlose Tools und eine Webcam. Sobald es aber um einen professionellen, markenfähigen Avatar mit sauberem Rigging und stabilem Live-Tracking geht, wird es technisch anspruchsvoll. Genau hier kommen wir ins Spiel: Bei Studio Merkas entwickeln wir Avatare und komplette VStreaming-Lösungen mit Live2D, Unity und Unreal Engine. Wenn du weitere Fragen hast oder ein Projekt planst, lass dich unverbindlich beraten. Und wenn du beim Streamen selbst durchstarten willst, findest du in unseren 8 Tipps für deinen VTubing-Erfolg den passenden Fahrplan.