Im Juni dieses Jahres erlebte ich im Berliner KM28 die Komponistin, Performerin, Improvisations- und Klangkünstlerin und Instrumentenbauerin Viola Yip zusammen mit dem Pianisten und Keyboarder Jacob Greenberg mit einer Improvisation auf Harmonium, Elektronik und Ballons. Im KM28 hingen ihre Klänge wie Zigarettenrauch in der Luft und waberten langsam umher.
Yips neues Projekt bindet Künstliche Intelligenz in diese Dynamik ein. Derzeit entwickelt sie ein interaktives KI-Instrument, das Gesten und Klänge generiert und mit dem sie improvisatorisch interagiert. Ich spreche mit ihr über das Zuhören bei Menschen und Maschinen.
VAN: Du hast ein aufblasbares und tragbares Instrument entwickelt, das mit Künstlicher Intelligenz arbeitet. Wie kann ich mir das vorstellen?
Viola Yip: Es ist, wie du sagst, ein Instrument, das ich trage und mit dessen robotergesteuerten Bewegungen ich interagieren kann. Die Idee dahinter ist, dass dieses aufblasbare Objekt meine Bewegungsdaten erfasst und interaktive Gesten erzeugt, die meine Bewegungen ergänzen.
So soll dieses Instrument dazu auffordern, Systemen zuzuhören, die auf KI-Algorithmen basieren. Der KI-Algorithmus wurde zwar für die Interaktion entwickelt, aber wie sich das Instrument verhält, wird auch von Umweltfaktoren wie Schwerkraft, Luftdruck und den Bewegungen meines Körpers beeinflusst.
Wie viel ›Kontrolle‹ hast du über die akustische Reaktion auf deine Bewegungen?
Dieses Instrument wurde entwickelt, um unsere Einstellung als Verbraucher:innen gegenüber KI zu hinterfragen und um eine ökologische Sicht anzuregen auf die Frage, wie Menschen, Maschinen und die Umwelt miteinander interagieren könnten.
Mein Instrument arbeitet in einem zweistufigen Prozess. Als erstes verwende ich einen KI-gestützten Sensor, Nicla Sense ME, um meine Bewegungen zu erfassen und zu digitalisieren. Anschließend wird das Signal analysiert und dann werden interaktive Bewegungen für den robotergesteuerten Arm erzeugt. Der Algorithmus ist dazu da, präzise Bewegungen zu messen und zu generieren, die mit meinen Bewegungen interagieren.
Im zweiten Schritt werden die KI-generierten Algorithmen an das aufblasbare Instrument aus flexiblen und leichten Materialien gesendet, wo sie entsprechend der Umgebung umgesetzt werden. Das ist der Moment, in dem ich mich als Instrumentenbauerin, Komponistin und Performerin eher in eine ›hörende‹ als in eine ›steuernde‹ Position begebe. Dieses Instrument hat Bewegungssensoren und diese Daten werden in Klang übersetzt. Das Publikum hört also den Kontrapunkt von Mensch, also mir als Performerin, und Maschine, meinem aufblasbaren, robotergesteuerten Instrument, in einem dynamischen System aus ›steuern‹ und ›zuhören‹.
ANZEIGE
In deiner Performance im KM28 hast du mit Jacob Greenberg improvisiert. Wie unterscheidet sich die Reaktion auf einen Menschen von der Reaktion auf dieses tragbare Instrument?
Menschen zuzuhören und Maschinen zuzuhören ist für mich anders und ähnlich zugleich. Egal ob ich alleine arbeite oder mit Freund:innen – ich lege immer einen starken Fokus darauf, dem System oder der Situation oder der Umgebung zuzuhören, die ich für die Performance eingerichtet habe – oder wir. Als ich mit Jacob gespielt habe, ging es zum Beispiel nicht nur darum, wie wir einander zuhören und welche Diskussionen wir in den Proben führen, sondern auch darum, wie wir den Materialitäten lauschen, die uns umgeben. Er hat auf seinem Harmonium gespielt, während ich ein Ballon-Feedback-Setup hatte. Ich glaube, wir haben auf die Gesamtheit der Dinge gehört, die diese bestimmte Situation ausgemacht haben. Dazu gehörten das Verhalten seines Harmoniums, jeder Ton, den er auf dem Harmonium spielt, wie schnell ich einen Ballon aufblase, was abhängig ist davon, wie dick sein Material ist, wie viel Ton ich auf einem Ballon erzeuge, wie das Feedback zwischen Mikrofon, Lautsprechern und Ballons in der besonderen Raumakustik von KM28 entsteht und unsere musikalischen Reaktionen mit unserer eigenen Empfindungen.
Wenn ich meine eigenen Instrumente baue und nur mit Maschinen und Materialien arbeite, sehe ich das ganz ähnlich, lege aber einen stärkeren Schwerpunkt darauf, wie die Maschine und der Mensch in einem System interagieren. Zum Beispiel, wie ein Algorithmus sich im Material artikuliert oder wie das Interface-Design den Mensch-Maschine-Algorithmus verändert. Und letztendlich, wie das die Art und Weise verändert, wie ich mir Musik vorstelle und wie ich sie mache.
Wie war das bisher bei der Arbeit mit dem neuen Instrument, gibt es da Überraschungen?
Ich glaube, ich bin immer auf Überraschungen vorbereitet. Diese Überraschungen unterstreichen die Dynamik jedes Systems und zeigen auch, wie ich als Schöpferin und Interpretin als Individuum musikalisch denke und handle. ¶
