Was ist VTubing?

Die VTuber-Gemeinde auf Twitch wächst stetig und Creator wie Pokimane streamen sogar mit eigenen animierten 3D-Modellen. Aber ein animierter Streamer, der schnell an Zugkraft auf der Plattform gewinnt, derzeit mit knapp über 200.000 Followern, ist CodeMiko.

Hinter dem farbenfrohen Modell von CodeMiko steckt der Creator, der im Stream als "the Technition" oder auf deutsch “Die Technikerin” bekannt ist und oft am Ende von Mikos Streams auftaucht, um mit der Community zu sprechen, so wie es ein Streamer normalerweise tun würde. Die Technikerin verwendet einen Xsense-Anzug und die Unreal Engine, um Miko anzutreiben. In ihrem Twitch-"About"-Bereich verrät sie sogar, dass die Entwicklung komplett von ihr gemacht wurde und Miko zu 100 % von ihr modelliert und geriggt wurde. Die Streamerin ging im November auf Twitter viral, nachdem sie einen Side-by-Side-Clip des Mocapping-Prozesses gezeigt hatte, welcher das Publikum in Ehrfurcht, vor ihrem technischen Setup und der guten Übersetzung ihrer Bewegungen auf das 3D-Modell, versetzte.

Um erfolgreich VTuben zu können, werden verschiedene Hardware- und Software-Elemente benötigt. Im Folgenden werden diejenigen davon aufgezählt, die von Studio Merkas getestet und benutzt werden.

Die Unreal Engine ist eine 3D Spiele-Engine von Epic. Das Anwendungsspektrum geht mittlerweile weit über reines "Gaming" hinaus. So wird die Engine neben Filmen insbesondere für Echtzeit-Anwendungen wie z.B. Visualisierungen oder VR Anwendungen genutzt. Im Bezug auf das VStreaming Projekt bietet die Unreal Engine eine hervorragende Möglichkeit um eine Welt zu schaffen, die "out of the box" beeindruckende visuelle Ergebnisse liefert. Mit passender Hardware und passendem Blueprint Setup können 3D-Avatare per Live Motion Capturing und Face Tracking gesteuert und direkt per OBS gestreamt werden.

Unity ist eine 2D/3D Spiele-Engine. Auch die Unity Engine wird mittlerweile für verschiedenste Echtzeit-Anwendungen genutzt. Mit Unity werden 3D-Modelle, welche zum Beispiel in Blender erstellt wurden, in das VRM Format gebracht. Mit diesem Format kann der Avatar in verschiedenste Softwares wie VSeeFace, Luppet oder anderen als VR Modell genutzt werden. Um den Avatar von Blender in VRM zu übersetzen, wird das Plugin UniVRM und Unity3D 2019.4 LTS oder höhere Unity Version benötigt.

VSeeFace ist ein kostenloses, hochgradig konfigurierbares Gesichts- und Hand-Tracking-VRM- und VSFAvatar-Avatar-Puppeteering Programm. Das Programm ist für virtuelle Youtuber entwickelt mit dem Schwerpunkt auf robustem Tracking und hoher Bildqualität. VSeeFace bietet eine ähnliche Funktionalität wie Luppet, 3tene, Wakaru und ähnliche Programme. Das Programm läuft auf Windows 8 und höheren Versionen. VSeeFace kann außerdem Tracking-Daten über das VMC-Protokoll senden, empfangen und kombinieren, was auch eine perfekte iPhone-Sync-Unterstützung durch Waidayo ermöglicht. Die Gesichtserkennung, einschließlich Blick-, Blinzel-, Augenbrauen- und Mundverfolgung, erfolgt über eine herkömmliche Webcam. Für die optionale Gestensteuerung wird ein Leap Motion-Gerät benötigt.

Für VTubing wird mindestens eine Webcam benötigt um den Charakter steuern zu können. Um eine bessere Qualität aus dem Vstreaming zu erzielen, muss kostenintensivere Hardware in die Hand genommen werden. Zum Beispiel für sehr genaues Face Tracking wird ein IPhone X oder höhere Version benötigt. Eine Leap Motion oder HTC Vive Trackers helfen um Hände und Arme im Stream sichtbar bewegen zu können. Wenn das Geld keine Rolle spielt, kann der Kunde sich auch für einen Mocap-Anzug entscheiden, mit diesem wird der ganze Körper getrackt.

Im Artikel "8 Tipps für deinen VTubing Erfolg" finden Sie weitere Informationen zu diesem Thema.