Gesten sind integraler Bestandteil der Kompositionen von Xiao Fu. Dabei geht es nicht »nur« um Tanz, sondern auch um die Interaktionen von Bewegung, Musik und Visuals. Schon 2012 arbeitete Fu in ihrem Stück Der Mond in Wogen für eine Tänzerin, Schlagzeug und Djster (2012) mit einer 3D-Kamera, die die Bewegungen der Tänzerin erfasste, sodass diese Tonhöhe, Rhythmus und Dynamik der Musik steuern konnte. Ein persönlicher Meilenstein, sagt Fu, als ich sie per Videocall in Hamburg erreiche. Hier hat sie auch ihren Master gemacht und im Fach multimediale Komposition promoviert.
Gerade ist Fu von einer dreimonatigen USA-Reise zurückgekehrt. Am CCRMA (Center for Computer Research in Music and Acoustics) der Stanford University hat sie an ihrem Forschungsprojekt Fluidity gearbeitet, das sich mit der Frage beschäftigt, wie KI-gestützte Technologien gehörlosen Performer:innen neue Zugänge zur Musik ermöglichen können. »Dabei habe ich unter anderem mit Tools wie ChAI und FluCoMa experimentiert, um musikalische Parameter wie Rhythmus, Klangfarbe oder Lautstärke in Licht, Farbe und Vibration zu übersetzen«, erklärt sie mir.
In ihrem im März 2025 uraufgeführten Stück wǒmen kam zwar noch keine KI zum Einsatz, doch auch hier spielen Gesten in Form von Gebärdenpoesie eine zentrale Rolle.
VAN: Was bedeutet Gebärdenpoesie für dich?
Xiao Fu: Gebärdenpoesie ist für mich eine eigenständige, kraftvolle Kunstform. Sie verbindet Sprache, Bewegung und Emotion auf eine Weise, die weit über reine Kommunikation hinausgeht – sie wird zu performativer Poesie. Besonders in der Zusammenarbeit mit dem Ensemble in transition, wo Kassandra Wedel als Gebärdensolistin auftritt, durfte ich erleben, wie intensiv und körperlich Gebärdensprache sein kann. Sie ist nicht Übersetzung, sondern Ausdruck, Rhythmus, Narration.
Wie komponierst du für Gebärdensolistin?
Ich habe sehr viel von Désirée Hall, der künstlerischen Leiterin von Ensemble in transition, gelernt. Ihre jahrelange Erfahrung mit inklusiven Formaten, Gebärdensprache und interdisziplinärer Arbeit war für mich unglaublich inspirierend. In der Zusammenarbeit mit Kassandra Wedel habe ich verstanden, dass Komposition in diesem Kontext nicht linear oder nur auditiv gedacht werden kann – sondern multisensorisch. Ich arbeite oft mit grafischer Notation, offenen Strukturen und Echtzeit-Systemen, die Musik, Gebärden und Bewegung miteinander verknüpfen.
Für wie zugänglich beziehungsweise barrierearm hältst du die Neue Musik Szene oder die ›typischen‹ Neue Musik Konzerte und Performances?
Ich glaube, dass die Neue Musik Szene großes Potenzial hat, inklusiver zu werden – gerade weil sie experimentell denkt. Aber viele Formate sind nach wie vor nicht barrierearm, weder physisch noch ästhetisch. Initiativen wie Ensemble in transition zeigen aber, dass es anders geht: Sie entwickeln performative Konzepte, die Vielfalt nicht nur mitdenken, sondern zum Ausgangspunkt machen.
Welche Erfahrungen im Zusammenspiel mit Gebärdenpoesie, Visuals und Musik habt ihr bei wǒmen gemacht?
wǒmen war für mich ein Projekt, das viele meiner Arbeitsfelder miteinander verbunden hat: Neue Musik, visuelle Medien, Gebärdensprache und performative Recherche.
Wie würdest du die Arbeit von Kassandra Wedel beschreiben?
Kassandra Wedel ist eine gehörlose Tänzerin und Schauspielerin, mit einer kraftvollen und gleichzeitig poetischen Körpersprache. Sie arbeitet interdisziplinär an der Schnittstelle von Tanz, Gebärdenpoesie und Performance. Ihre Bewegungen sind nicht nur choreografisch gedacht, sondern oft auch sprachlich – sie ›spricht‹ mit dem Körper.
Wie sah die Zusammenarbeit mit Kassandra Wedel aus?
Sie war sehr intensiv und dialogisch. Wir haben zusammen erforscht, wie sich musikalische Strukturen über andere Sinneskanäle als das Gehör vermitteln lassen – etwa durch Bewegung, Licht, Farbe, Vibration und Gebärdensprache. Von Anfang an war sie nicht nur Interpretin, sondern Mitgestalterin des Projekts. Viele kompositorische Entscheidungen wurden durch ihre Impulse maßgeblich beeinflusst.
Wie wurde bei wǒmen entschieden, wer wann Gebärdensprache einsetzt? Die Instrumentalistinnen machen das ja auch zum Teil.
Das entsteht meist prozessorientiert in der Probenphase. Gebärdensprache ist bei wǒmen nicht einfach Übersetzung, sondern Teil der musikalisch-szenischen Komposition. Manchmal übernehmen die Instrumentalistinnen kurze gebärdensprachliche Passagen, um musikalische Inhalte körperlich zu kommunizieren oder mit der Stimme zu verbinden. Wer wann gebärdet, ergibt sich innerhalb eines dramaturgischen Gesamtkonzepts, das inhaltlich von Kassandra getragen wird – hängt aber auch stark von der musikalischen Textur und den physischen Möglichkeiten im Spiel ab. Es ist ein kollektiver Entscheidungsprozess, bei dem alle ihre Perspektiven einbringen.
Welche Rückmeldungen habt ihr zu dem Projekt bekommen?
Viele Zuschauer:innen – hörend und gehörlos – haben gesagt, dass sie eine neue Form von Musiktheater erlebt haben. Gebärden wurden nicht als Hilfsmittel wahrgenommen, sondern als zentrales, poetisches Element. Die emotionale Resonanz war stark, und es gab auch großes Interesse an den Technologien und Prozessen hinter der Performance.
Habt ihr bei wǒmen auch schon KI eingesetzt?
Nein, bei wǒmen selbst haben wir noch keine Künstliche Intelligenz eingesetzt. Das Projekt war in erster Linie eine künstlerische und zwischenmenschliche Auseinandersetzung mit Gebärdenpoesie, Musik und visuellen Ebenen. Aber die Erfahrungen aus wǒmen haben mich stark geprägt und fließen jetzt in andere Projekte wie Fluidity ein, wo wir gezielt mit KI-basierten Tools arbeiten – etwa zur Musik- und Bewegungsanalyse oder zur Entwicklung multisensorischer Feedbacksysteme.
Wie funktioniert die Analyse von Musik und Bewegungen beziehungsweise Gebärdenpoesie durch KI?
In unseren Projekten – insbesondere im Rahmen von Fluidity – setzen wir KI-gestützte Tools ein, um Musik und Bewegung in Echtzeit zu analysieren und verschiedene Ausdrucksformen miteinander in Beziehung zu setzen. Dabei arbeiten wir hauptsächlich mit Max/MSP, einer visuellen Programmiersprache, die speziell für interaktive Musik- und Medienkunst entwickelt wurde. Sie ermöglicht es uns, komplexe Systeme für Echtzeit-Analyse, Datenverarbeitung und sensorisches Feedback individuell auf die jeweilige Performance zuzuschneiden.
Für die Musikanalyse verwenden wir das FluCoMa-Paket [Fluid Corpus Manipulation] innerhalb von Max/MSP. Damit lassen sich verschiedene akustische Eigenschaften in Echtzeit erfassen, wie zum Beispiel Lautstärkeverlauf, Spektrale Merkmale, rhythmische Impulse. Diese Daten nutzen wir, um zum Beispiel Lichtfarben zu steuern, Vibrationsmotoren anzusprechen oder visuelle Projektionen mit musikalischen Parametern zu synchronisieren. So wird Musik nicht nur hörbar, sondern auch sicht- und spürbar – etwa für gehörlose Performer:innen wie Kassandra Wedel.
Wie kann man sich das mit den Vibrationsmotoren vorstellen? Was vibriert da?
Wir arbeiten mit kleinen Excitern, die an den Körpern der Performerinnen angebracht sind – etwa an Handgelenken. Diese Motoren werden durch Musikdaten in Echtzeit gesteuert, zum Beispiel durch Rhythmus, Lautstärke oder spektrale Veränderungen. Wenn die Musik lauter oder rhythmisch komplexer wird, spürt man das als stärkere oder dichtere Vibration.
Musik ist natürlich immer auch als Vibration spürbar – jeder Klang versetzt die Luft in Schwingung, und diese Schwingungen treffen auf unseren Körper, nicht nur auf unser Trommelfell. Am deutlichsten nehmen wir dabei tiefe Frequenzen wahr – zum Beispiel über Subwoofer, die den Bass körperlich spürbar machen. Aber: Vibrationsmotoren ermöglichen eine gezielte, verstärkte und differenzierte taktile Wahrnehmung. Sie können direkt am Körper getragen oder aufgeklebt werden – etwa am Handgelenk, Rücken oder Brustkorb – und so bestimmte musikalische Impulse gezielt fühlbar machen.
Einige akustische Vibrationen – vor allem in leiser oder komplexer Musik – sind mit dem Körper nur schwer wahrnehmbar. Vibrationsmotoren können solche Signale verstärken oder gezielt ›übersetzen‹, zum Beispiel einen Beat deutlich spürbar machen, auch wenn er in der Musik kaum hörbar ist. Die Vibrationen sind nicht einfach Übersetzungen, sondern Teil der musikalischen Sprache.
Parallel dazu erfassen wir mit Computer Vision Tools wie FaceOSC oder MediaPipe die Bewegungen der Performenden. Die KI erkennt dabei in Echtzeit die Positionen und Bewegungen von Händen, Armen, Kopf und Oberkörper. Diese Bewegungsdaten werden ebenfalls in Max/MSP eingespeist und mit der Musikanalyse verknüpft. So entsteht ein wechselseitiges Zusammenspiel: Musik kann Bewegungen beeinflussen – zum Beispiel durch Licht- oder Vibrationssignale – und umgekehrt kann eine bestimmte Bewegung oder Gebärde einen musikalischen oder visuellen Impuls auslösen. Die KI fungiert in diesem Prozess als eine Art Vermittlerin, die verschiedene Sinne, Medien und Ausdrucksformen miteinander verbindet. Dadurch entstehen interaktive, inklusive Performances, in denen alle Beteiligten – unabhängig von sensorischen Voraussetzungen – auf Augenhöhe agieren können.
Entwickelt ihr mit Fluidity auch eine Art Tool für andere Ensembles, die mit dem Zusammenspiel von Musik und Gebärdenpoesie arbeiten?
Das ist tatsächlich mein großer Wunsch. Fluidity soll langfristig als ein offenes, modulares und interdisziplinär nutzbares Toolset entwickelt werden. Mein Ziel ist es, dass auch andere Ensembles – unabhängig von ihrer technischen Expertise – damit eigene Formate realisieren können, in denen Musik, Bewegung und Gebärdenpoesie auf neue, experimentelle Weise zusammenfinden.
Besonders wichtig ist mir dabei, dass das System niedrigschwellig und intuitiv bleibt – also auch für Künstler:innen zugänglich ist, die keine Programmiererfahrung haben.
Fluidity soll kreative Freiräume eröffnen, nicht neue Hürden schaffen. Konkret heißt das: Es ermöglicht beispielsweise, Musikdaten zu analysieren, Bewegungsdaten einzubinden und daraus Licht, Vibration oder visuelle Reaktionen zu generieren – und das alles innerhalb eines benutzerfreundlichen, flexiblen Rahmens.
Ich hoffe sehr, dass daraus ein Werkzeug entsteht, das nicht nur unsere eigene Arbeit bereichert, sondern inklusive, kollaborative Kunstformen insgesamt stärkt – als Beitrag zu einer vielfältigeren und zugänglicheren Musik- und Performancekultur.
Kommentare sind geschlossen.