Motion Capture - Trackern auf der Spur

Visuals sind heute längst keine einfachen Bilder mehr. Mit Medienservern, Projektoren und anderer Helfer lassen sich Live-Visualisierungen erstellen, die sowohl Bühnenakteure als auch Zuschauer in die Show einbeziehen.

Über der Band schweben zwei riesige Hände mit türkisfarbenen Ringen an den zuckenden Fingern. Sie halten weiße Fäden, mit denen unten auf der 360-Grad-Bühne die Musiker gelenkt werden – erst nach links, dann rechts. Wie in einem Puppenspiel vor halbtransparenter Kulisse.

Von den Traversen hängen Projektionswände, durch die das Publikum blicken kann. Die Band scheint ihres freien Willens beraubt. Muse inszeniert sich live, ganz nach dem Thema ihres aktuellen Studioalbums „Drones“, auf der gleichnamigen Welttournee als fremdgesteuertes Opfer intelligenter Technik.

Genau genommen ist sie das auch: Fernab der Bühne in der Münchener Olympiahalle kümmern sich Producer und Multimedia-Künstler um die interaktiven Inhalte, welche durch die Bewegungen der Band erstellt werden. Unternehmen wie Moment Factory aus Kanada kreieren Veranstaltungen, die Akteure auf der Bühne mittels Tracking-System in die Dramaturgie der Visuals einbeziehen. So können sie projizierte Parallelwelten erschaffen – in Echtzeit.

Blacktrax

 Hinter den audiovisuellen Effekten steckt ein Verfahren namens „Motion Capture“, zu Deutsch „Bewegungserfassung“. Es wird vor allem zur Analyse im Sport sowie in der Animation von Filmen oder Videospielen eingesetzt.

Live-Visualisierung mit Tracking-Systemen wie BlackTrax ist nun auch in der Veranstaltungsbranche angekommen: Immer öfter gehen Produktionen damit auf Tour, Veranstalter haben ihren Wert erkannt.Tobias Bewermeyer, Technical Sales & Support bei Arcus Licht- und Präsentationstechnik, sagt: „Blacktrax ist ein multifunktionales System, womit man in eine neue Dimension vorstoßen kann.“ Arcus vertreibt das System. Es erweitere die visuellen Möglichkeiten einer Live-Veranstaltung vor allem im Zusammenspiel mit Medienservern, fügt Bewermeyer hinzu.

Um das Blacktrax-System nutzen zu können, benötigt man zunächst einen Blacktrax-Server – auf dem läuft das Programm, das die Daten verarbeitet. Diese basieren auf einer Wysiwyg-Datei, welche vorher angelegt wird. Den Server muss der Nutzer mit einem Blacktrax-Controller und beispielsweise einer Lichtkonsole verbinden. Diese bekommt die Daten vom Server und gibt sie an die Scheinwerfer oder den Projektor weiter.

Der BlackTrax-Controller wiederum bekommt seine Daten von Infrarot-Kameras. Sie erkennen das Signal einer Infrarot-LED, die am zu trackenden Objekt befestigt ist. So wissen die Kameras, woher das Signal kommt. Die Infrarot-LED muss sichtbar sein und ist an einem so genannten BlackTrax-Beacon befestigt, welcher mit dem Controller kommuniziert.

Damit die LED exakt im Raum erfasst werden kann, muss sie vor der Nutzung kalibriert werden. Möglich ist auch, Orte festzulegen, in denen nicht getrackt wird sowie die Verwendung mehrerer Beacon-Marker an einem Objekt.Grundsätzlich unterscheidet man in der Motion-Capture-Technik zwischen zwei Methoden.

Daniel Cremers, Professor für Informatik und Mathematik an der Technischen Universität (TU) München, forscht auf den Gebieten der mathematischen Bildverarbeitung und Mustererkennung. Er erklärt: „Im klassischen Motion Capturing werden reflektierende Markerpunkte auf den zu trackenden Gliedmaßen eines Körpers oder im Gesicht des Schauspielers verteilt. Diese können dann in mehreren Videokameras über die Zeit verfolgt und in 3D rekonstruiert werden.“Die Forschung konzentriere sich allerdings zunehmend auf die zweite Methode, markerloses Motion Capture: „Hier geht es darum, abweichend vom klassischen Motion Capturing, das Objekt ohne reflektierende Markerpunkte möglichst robust und präzise zu verfolgen – entweder mit externen oder Onboard-Kameras“, ergänzt Cremers.

Dies sei schwieriger, weil die Farbverteilung des Objekts meist unbekannt ist, habe aber viele Vorteile: „Viele Hollywood-Schauspieler ziehen vor, sich vor den Aufnahmen nicht aufwändig mit Markerpunkten vollkleben zu lassen. Zudem lässt sich Markerless Motion Capture auf beliebige Objekte erweitern – beispielsweise Gymnasten, die man nur gefilmt, im Vorfeld aber nicht mit Markern ausgestattet hat.“

„Das ideale Werkzeug“

Am meisten verbreitet scheinen die Systeme mit Markern. Das Unternehmen Xsens bietet eines namens MVN an. Das Equipment passt in einen Rucksack; die zu trackenden Marker sind an einem Anzug auf den Körper verteilt. Remco Sikkema von Xsens sagt: „Es ist ein ideales Werkzeug für die Veranstaltungsbranche.“ In Echtzeit wird ein virtueller Charakter ausgegeben, der mit dem Publikum interagieren kann. Einsätze hatte das System bereits während Live-Sets des DJs Skrillex und bei dem Festival Cannes Lions. „Der Markt in der Veranstaltungsbranche arbeitet in Richtung Live-Visualisierung und wir spielen dabei eine große Rolle.“

Natürlich ist längst nicht jedes Unternehmen auf die Anforderungen von Events spezialisiert. Wieso auch? Viele animieren mit Motion Capture nach wie vor Filme oder Videospiele, entwickeln die Technik dahingehend weiter – ein funktionierendes Konzept, das sich immer noch hoher Zuschauerzahlen erfreut.

Das Potential und die Vielfalt der Möglichkeiten – auch für Live-Anwendungen – hat mittlerweile vor allem die Wissenschaft erkannt: Professor Cremers von der TU München etwa meint, er und sein Team „haben selbst Systeme entwickelt, die einen gestikulierenden Menschen in Echtzeit 3D rekonstruieren und live per Internet übertragen können. Für Live-Videokonferenz-Systeme sind solche Technologien durchaus realistisch.“ Noch eine Variante sei die Echtzeit-Variation von Blickwinkel und Abstand der Visuals: „Entsprechende Technologien werden oft als Free-Viewpoint-Television bezeichnet.

BlackTrax 2.0

Nach Angaben des Herstellers CAST ist sein BlackTrax-System in mehr als 2.000 Shows zum Einsatz gekommen. Nachdem sich das System etabliert hatte, hat es der Hersteller nun verbessert – auf Basis von Kunden-Feedback.

Marty Cochrane, BlackTrax Product Manager erklärte in einer Pressemeldung vom Juli 2016: „Bei BlackTrax Version 1 ging es in erster Linie um Funktionalität, das System sollte ein paar coole Dinge machen. Da wir jetzt den Meilenstein des weltweit stabilsten und am besten funktionierenden Tracking-Produkts erreicht haben“, konzentrierte sich CAST bei der Version 2.0 auf Benutzerfreundlichkeit, Einfachheit und Vereinheitlichung. Der nächste Schritt in eine neue Dimension.


Den Artikel finden Sie auch in der pma Ausgabe 7/2016

Fotos: CAST Group