Bericht zur EyesWeb Week 2010

The 3rd Tutorial on the EyesWeb Open Platform

von Yvonne K. Bahn

Die 3. EyesWeb - Woche fand vom 8. – 12. Februar 2010 im internationalen Forschungszentrum Casa Paganini – InfoMus Lab in Genua (Italien) statt. Teilnehmer aus unterschiedlichen europäischen Forschungseinrichtungen präsentierten Projekte, die die EyesWeb - Software in ihrer Arbeit nutzen, und es wurden Workshops zu neuen Anwendungsmöglichkeiten des EyesWeb - Programms angeboten.

Das EyesWeb - Projekt wurde im Jahr 1997 vom InfoMus Lab der DIST-Universität Genua im Rahmen des EU-Projekts MEGA gestartet und wird bis heute weiterentwickelt. Das Projekt ist einerseits auf die Erforschung von non-verbalen Gesten mittels multimodaler, interaktiver Systeme ausgerichtet, andererseits begründete es die „open software platform“, die die Entwicklung der interaktiven EyesWeb Echtzeit-Anwendungen unterstützt.
Der Schwerpunkt der EyesWeb - Gestenforschung des InfoMus liegt im Bereich der Musik und des Tanzes. Hier werden berechenbare Modelle für die expressive Gestenverarbeitung entwickelt und auf ihre Verwendbarkeit hin untersucht. Das interaktive EyesWeb - Programm wird in der Echtzeit-Analyse von nicht-verbaler Kommunikation, Ganzkörper-Interaktion, expressiven sowie musikalischen Gesten und von sozialem Verhalten angewandt. Dabei kommt der multimodalen Analyse von expressiven Gesten in der Ganzköperbewegung eine vorrangige Stellung zu. Folglich fokussiert die EyesWeb - Forschung auf das Extrahieren und Analysieren von expressiven Merkmalen der Ganzkörperbewegungen.

Im Rahmen der Tanzwissenschaft bietet das EyesWeb - Programm erste interessante Möglichkeiten für die Echtzeit-Analyse von expressiver Körperbewegung. Zum Zweck der Bewegungsanalyse wurden im Vorfeld mittels Mikrotanz-Videoaufnahmen (das sind kurze Bewegungssequenzen) Algorithmen entwickelt, die die Echtzeit-Analyse von Bewegungsparametern über ein multimodales Interface bzw. eine Kameraschnittstelle und/oder Sensoren ermöglichen. Dabei orientiert sich die EyesWeb - Bewegungsanalyse an der Laban Movement Analysis (LMA). Die LMA, von Laban entwickelt und von seinen SchülerInnen weitergeführt, bietet eine Möglichkeit, verschiedenste Formen von Bewegung zu beobachten, zu beschreiben und zu notieren. Sie beinhaltet die quantitative, aber auch qualitative Analyse von Bewegungsveränderungen in Raum und Zeit sowie die qualitative Analyse von dynamischen Elementen des Bewegungsausdrucks. Diese Analysemethode wird auch mit „BESS“ bezeichnet: nach den vier Kategorien Body, Effort, Shape, Space.
Im Rahmen dieser vier BESS - Komponenten kann das EyesWeb-Programm folgende Bewegungsinformationen im liefern:

Die Body- Komponente (Körper) wird durch folgende Patches analysiert: der Motion - Index gibt Informationen über die von der Kamera gemessene Bewegungsmenge, der Weighted Motion - Index berechnet die Initiation von verschiedenen Körperteilen, Centroids zeigt den Weg („trajectory“) von verschiedenen Körperpunkten an und das Barycenter (Körperzentrum) zeigt den Weg des Körperzentrums an.
Schwierigkeiten bestehen jedoch noch bei der Erfassung von Ganzkörperverbindungen (body connectivity), sowie bei der Erfassung von Bewegungsenergie im Sinne von Muskelspannung. Das letztere Problem kann mittels Sensoren zur Muskelspannungsmessung gelöst werden, die in Verbindung mit dem Kamerasystem zukünftig zur Erzielung von präziseren Ergebnissen eingesetzt werden sollen. Durch diese Kombination von Kamera-Interface und Sensoren erhofft man sich auch mehr Klarheit über die body connectivity.

Die Effort – Komponente (Bewegungsantrieb) bedarf in ihrer hohen Komplexität - sie setzt sich aus den Elementen Raum, Kraft, Zeit, Fluss zusammen - auch einer hohen Komplexität der algorithmischen Umsetzung, sowie einer Kombination technischer Mittel (Kamera, Sensoren). Diese Komponente wird in EyesWeb durch eine Kombination von Zeit- und Raum - Algorithmen berechnet:

• zeitliche Parameter sind 1. motion segmentation (Beginn/Ende einer Bewegung), 2. max. velocity (Beschleunigung, Impulsivität), 3. motion duration (Dauer einer Bewegung);

• räumliche Parameter sind: 1. directness index (Direktheit einer Bewegung), 2. contraction index (Ausdehnung bzw. Zusammenziehen der Kinesphäre).

Eine Schwierigkeit bei der Analyse des Effort - Faktors über ein Motion Capture - System wie EyesWeb ist die Erfassung von subtilen dynamischen Unterschieden wie z.B. Kraft/Druck in der Bewegung.

Die Space– Komponente (Raum) wird relativ gut über das EyesWeb - System erfasst: die Kinesphäre wird über den Contraction Index berechnet, die Beziehung Körper-Raum (Raumwege, Raummuster, geometrische Formen der Bewegung) über die Patches Occupational Rates, Motion Direction, Position Depending Potentials sowie die Trajectory - Patches und die Contour/Convex - Patches. Dabei ist zu beachten, dass subtile Veränderungen nur schwer von der Kamera erfassbar sind und präzise Ergebnisse erst durch eine Mehrzahl von Kameras in Verbindung mit Sensoren erzielt werden können. Dies bewirkt auch eine verbesserte Erfassung und Auswertung aller Komponenten der Bewegungsanalyse.

Die Shape – Komponente (Form) wird in EyesWeb durch die Programmierbausteine Contraction Index, Body Contours, Convex Hull und Ellipse analysiert. Auch hier ist es noch schwierig, subtile Veränderungen des Shape Change, d.h. Veränderungen des Körperumrisses, zu erfassen.

EyesWeb stellt ein interessantes - wenn auch noch nicht perfektioniertes - Werkzeug zur Bewegungsanalyse dar. Es ermöglicht die Analyse von quantitativen Aspekten der Bewegung (Body, Space, Shape) sowie von qualitativen, dynamischen Elementen des Bewegungsausdrucks (Effort) gemäß der Laban Movement Analysis. Dies geschieht, indem die ermittelten Daten der Bewegungsanalyse in der angelegten EyesWeb - Motion Analysis -Library (Datenbank zur Bewegungsanalyse) und der Expressive Gesture Processing - Library (Datenbank zu Gestenverarbeitung) in Bezug zu einem festgesetzten expressiven/emotionalen Gehalt gesetzt werden. Die elektronischen Datenbanken werden mit Hilfe der Machine Learning - Methode erstellt und basieren auf Modellen der Zuordnung von Bewegungsparametern zu bestimmten Emotionen. Um diese Modelle zu erstellen, wurde ein erfahrener Choreograph damit beauftragt, eine Choreographie zu erstellen, ohne dabei auf stereotype Positionen, Bewegungen und Gefühlsausdrücke zurückzugreifen. Diese Choreografie wurde dann von fünf Tänzern in den vier Emotionen Ärger, Angst, Schmerz und Freude performt und auf Video aufgezeichnet. Die Videoaufzeichnungen wurden Zuschauern gezeigt, die die gezeigte Emotion in eine Kategorie einordnen sowie auf einer Intensitätsskala bewerten sollten. Parallel dazu wurden vom InfoMus – Lab die Videos auf bestimmte Bewegungscharakteristika hin ausgewertet und extrahiert, um somit Modelle für die automatische Zuordnung von Tanzgesten zu den genannten Grundemotionen zu schaffen. Dementsprechend ist die Emotion Angst mit häufigen Tempoänderungen und langen Stops; mit Bewegungen, die sich nah am Körperzentrum halten und eine anhaltend hohe Spannung haben, klassifiziert.
Ausführlichere Informationen dazu finden sich in der Dissertation von Gualtiero Volpe: “Computational models of expressive gesture in multimedia systems” (University of Genova, Genova, Italy, April 22nd, 2003).

Zusammenfassend ist zu sagen, dass EyesWeb im Bereich der Bewegungsanalyse eine Erweiterung unseres Wissens und Verständnisses von Bewegung bietet sowie die Möglichkeit zur „Integration von Wort- und Bewegungsdenken“ (Laban) und darüber hinaus zur Integration von alphabetisch - numerischen Denken (Algorithmen) und Bewegungsdenken. In diesem Sinne steht die Kooperation von Ingenieuren, Mediendesigner und Tanzwissenschaftlern durch die Arbeit des InfoMus – Lab/Casa Paganini noch am Anfang.

Des Weiteren ermöglicht das EyesWeb - Programm auf künstlerischem Gebiet die Kreation von Echtzeit - Komposition in virtuellen, kybernetischen Klang – Bild - Räumen, in denen physische Ereignisse und Körperbewegungen algorithmisch in auditive und visuelle Ereignisse übersetzt werden. Physische Aktionen werden demgemäss in Echtzeit mit Klang - Bildprozessen gekoppelt und verschaffen somit die Möglichkeit, einen interaktiven, audiovisuellen Bühnenraum zu kreieren.

Copyright © 2007 Freie Universität Berlin.
Alle Rechte vorbehalten.