Tanz der Sinne, Musik ohne Klang
Stephen Malinowski und die Music Animation Machine
Stephen Malinowski wuchs in einer musikalischen Familie in Santa Monica/Kalifornien auf, spielte Klavier, Geige, Gitarre, lernte zu komponieren, begann eine klassische musikalische Ausbildung. Zum Weltstar wurde er aber nicht auf den klassischen Bühnen, sondern auf Youtube: Sein Instrument ist die Music Animation Machine (MAM), ein Computerprogramm, das Musik visualisiert und animiert. Mit seinen bewegten grafischen Partituren hat er bisher ungefähr 100 Millionen Menschen erreicht. Der Schweizer Dirigent und Kulturmanager Etienne Abelin arbeitet seit Längeren mit ihm bei verschiedenen neuen Konzertformaten zusammen. Für VAN traf er ihn zum Interview.
Text Etienne Abelin · Übersetzung Tobias Ruderer · Fotos Wouter Van Vaerenbergh
Erzähl doch, wie deine Arbeit der Visualisierung von Musik angefangen hat?
Sie hat ihren Ursprung in den 1970er Jahren. Ich hatte LSD genommen und beschaute die Notenschrift eines Geigenstückes, während ich eine Aufnahme davon hörte. Da bewegten sich die Noten, so als ob sie sich selber spielen. Wenn es parallel laufende Intervallsprünge gab, dann war es so, als ob zwei Noten Hand in Hand miteinander tanzten; es passierte eine ganze Reihe von wundervollen und interessanten Visual Effects. Dann schaute ich auf eine kompliziertere Partitur für ein Orchester, es waren die Brandenburgischen Konzerte – da konnte ich nicht mehr folgen. Es waren so viele Noten, und ich musste meine Aufmerksamkeit sehr geübt von Ort zu Ort lenken, um dem Flow zu folgen; das konnte ich nicht.
Nach dem Trip fragte ich mich: Gibt es eine Notenschrift, die es erleichtern würde, solche Erfahrungen zu machen, mit der Komplexität einer Orchesterpartitur, aber ohne die Anforderungen, die eine traditionelle Partitur an den Lesenden stellt?
Ich experimentierte ein bisschen mit der traditionellen Notenschrift, aber die eignet sich einfach nicht dafür; ich ging zu Balkendiagrammen über, das kannst du dir vorstellen, wie eines meiner aktuellen Videos, nur ausgedruckt. Ich legte lange Papierrollen auf dem Boden aus und zeigte den Zuhörern mit dem Stift, an welcher Stelle der Aufnahme sie sich gerade befinden. Das war schon sehr interessant und machte Spaß. Aber irgendwann traf ich einen Hollywood-Trickfilmzeichner, der brachte mich auf die Idee, eine Animation daraus zu machen. Ich dachte dann über ein Modell mit vielen Holzblöcken nach: Ich wollte das Stück »bauen«, ein Block pro Achtelnote, und dann mit einer Mischung aus Stop-Motion-Animation und Kamerafahrt arbeiten … na ja, irgendwann ging ich dann zum Computer über.
Damals warst du Musiklehrer …
Ja, und Assistent bei Plattenaufnahmen, ich kopierte Notenmanuskripte. Davor hatte ich in Bands gespielt, alle möglichen musikalischen Sachen gemacht. Ich merkte am Computer schnell, dass ich dafür Talent habe, und über die Empfehlung eines Freundes bekam ich 1984 sogar einen Job als Programmierer. Den Job hatte ich übrigens bis 2010.
Wie ging es weiter mit der MAM?
Es gab eine frühe Version des Programms auf einem Atari Game-Computer, circa 1982, aber erst mit dem IBM PC konnte ich VHS-Videos machen, aber auch die Musik selbst bearbeiten und manipulieren. Ich probierte unterschiedliche Arten aus, Musik darzustellen: Farben für Harmonien, die Größe der Symbole für Lautstärke, dann doch Farben für Lautstärke usw.
Hinter dem Ganzen steckt das Prinzip der sensorischen Integration oder Verschmelzung. Wenn es eine Verbindung gibt, zwischen dem was man sieht und dem was man hört, dann nimmt man das als Einheit war. Wenn man jemanden sprechen sieht und hört, dann trennt man das nicht, obwohl es unterschiedliche »Kanäle« sind. Und darum geht es mir: ein visuelles Erlebnis zu schaffen, das diese Verschmelzung so vollständig wie möglich eingeht.
Lass uns über deinen Erfolg bei Youtube sprechen.
Ja, mit den Jahren habe ich mich natürlich gefragt, wie ich das unter die Leute bringen kann, und es war irgendwann klar, dass die digitale Distribution der Weg war. Doch noch lange war die Technik einfach nicht stark genug. So um 2004, 2005 herum ging das mit dem Internet-Streaming los. Ich habe erstmal verschiedene Plattformen ausprobiert, das Format 320 x 200 Pixel, das Youtube damals zur Verfügung stellte, war für die einfacheren Sachen ok. Und dann kam die positive Überraschung: Es schauten sich wirklich Leute meine Sachen an! Das hat mich ziemlich motiviert, das war eine neue Welt und ermöglichte mir eine neue, unkompliziertere Art zu arbeiten. Als man mich bei Youtube fragte, ob ich youtube partner werden wollte, war ich dabei, und begann sogar, damit Geld zu verdienen.
… und mit den Leuten in Kontakt zu treten! Du bist dort sehr involviert.
Ja, das finde ich auch super und nehme es ziemlich ernst, jetzt wo ich
in »Rente« bin. Es gibt einfach total unterschiedliche Reaktionen – auch Leute, die nichts damit anfangen können, die davon abgelenkt sind, die beim Musikhören lieber die Augen schließen, eigene Bilder auftauchen lassen oder die Musik rein körperlich und akustisch wahrnehmen. Aber viele finden es toll! Manche mögen den einen Stil der Animation, andere mögen ihn gar nicht, aber dafür einen anderen! I
ch versuche zu erklären, zu helfen, zu antworten.
Wir sprechen über unsere gemeinsame Arbeit. Das erste Video von Stephen, das meinen Geschmack total getroffen hat, war die Arabesque von Debussy (4.200.638 Aufrufe, 15. April 2015) Nachdem wir uns kennengelernt und erste Ideen entwickelt hatten, wollten wir irgendwann Live-Performances machen. Konzertorte zu bespielen war neu für Stephen; ich wiederum konnte mit seinen »Visuals« viele junge Leute begeistern. Bei der Eröffnung des Coworking-Spaces »The Hub« in Zürich versuchten wir, entlang des Tempos eines von Stephens Videos den Kanon von Pachelbel (Johann Pachelbel: Kanon und Gigue in D-Dur) zu spielen, das stellte sich als ziemlich schwierig heraus, trotz des einfachen Stückes. Wir fragten uns immer weiter: Wie können wir das besser synchronisieren?
Es war klar, dass wir deine Animationen irgendwie live steuerbar machen müssen.
Ja, genau. Ich hatte mich mit dem Conductor-Programm beschäftigt, das geisterte schon eine lange Zeit durch die Musiktechnikbranche. Die Idee dabei ist, dass das Stück – also Tonhöhen, Tondauern, die Klänge und Klangfarben – im Computer ist, aber man »dirigiert« es, du bist wie ein Dirigent verantwortlich für das Timing, den Ausdruck, die Artikulation, die Dynamik.
Ich hatte lange Zeit die Tastenanschläge auf einem MIDI-Keyboard für die Steuerung verwendet, aber da machte man ziemlich viele Fehler, die alles durcheinander brachten, vor allem für Musik mit längeren Noten ist es nicht geeignet. Dann kam ich darauf, dass man mit Kreisbewegungen der Arme sehr gut Positionen und Tempi darstellen könnte. Ein sogenannter optical shaft encoder (etwa: optischer Deichsel-Kodierer) liest und verarbeitet die Bewegungen, die ich beispielsweise mit dem Drehen einer Auto-Fensterkurbel mache, und steuert damit wieder einen Computer, der die Animationen ausspuckt. Eine Drehung ist dann eine definierte Takt- oder Schlaglänge.
Dieses Kurbeln ist, wenn Live-Musiker mit dabei sind, eine sehr befriedigende Erfahrung, man fühlt sich wie ein Teil des Ensembles.
Ja, die Musiker nehmen einen war, und die eigene Tätigkeit passt zur kontinuierlichen, physischen Bewegung der Streicher. Es ist wirklich eine musikalische Handlung, dieses Kurbeln: Ein Teil des Konzerterlebnisses ist es ja, die Musiker in Aktion zu sehen. Und auch die Zuschauer erleben das Kurbeln als musikalische Handlung, die man als Bewegung und Animation sieht. Als Person an der Kurbel kann man sehr musikalisch, sehr bewusst handeln.
Und man interagiert musikalisch, kann den Dirigenten und die Musiker beeinflussen.
Ja, klar, man könnte sogar das Kurbeln und die Animation selbst zum Dirigieren machen, wir haben ja die ersten Versuche damit gemacht, es ist total machbar.
Das erstaunliche an der du ist ja, dass sie Laien und Musikprofis gleichermaßen anspricht.
Eigentlich sind Kinder mein wichtigstes Publikum. Für die meisten Kinder ist doch Musik zwar hörbar, aber eben nicht physisch sicht- oder erfahrbar, sie kommt größtenteils aus Lautsprechern. Ich glaube, wenn man zum ersten Mal realisiert, dass es so etwas wie ein Stück, ein Werk überhaupt gibt, das unabhängig von einem temporären klingenden Ereignis existiert – das ändert dein Wesen als Hörer, als Hörerin. Diese Erkenntnis macht eine andere Art von Beschäftigung mit der Musik möglich, von Vertrautheit, du kannst in die Tiefe der Musik gehen, ihre zeitliche Ausdehnung erfassen.
Und ich finde es spannend, wenn man Kindern diesen Eindruck schon im Alter von, sagen wir, zwei Jahren vermitteln kann, wenn das Gehirn noch so aufnahmefähig und formbar ist. Ich kam in den frühen 1990ern darauf, als eine Frau mit ihrem Sohn bei mir war; wir hörten Musik, sahen die Animation dazu, er saß auf ihrem Schoß und schaute natürlich ziemlich aufmerksam zu. Bei einem Triller lachte er, das ist ja ein stimulierendes Klangereignis. Doch irgendwann zeigte er auf das Symbol, während der Klang noch gar nicht gekommen war, aufgeregt, voller Vorfreude; als dann der Triller kam, brachen Vergnügen und Lachen total aus ihm heraus. Er verstand die Notation, er antizipierte. Mir ist da klar geworden, dass das für alle Menschen funktionieren kann, egal wie musikalisch gebildet sie sind.
Du siehst die Vergangenheit und die Zukunft und vergleichst das, was du hörst, mit dem was du erwartet hast.
Klar, es ändert alles, wenn du siehst, was auf dich zukommt.
Reduziert die MAM Komplexität auf eine Weise, die Zugänge zu klassischer Musik schafft?
Ich würde es nicht Reduktion von Komplexität nennen, eher Erklärung von Komplexität. Und dann, wenn du es verstehst, wird es einfacher. Und dass hier Zugänge zu klassischer Musik entstehen, das kriege ich auf jeder Stufe musikalischer Bildung mit. Es gibt Leute, die klassische Musik nie mochten, aber dann plötzlich schon. Es gibt Leute, die Zugang zu einem bestimmten Stück finden, das sie bis dahin nicht mochten und auch solche, die sagen: ›Ich liebe dieses Stück schon immer, aber erst jetzt habe ich es so richtig verstanden‹. Auch Architekten und Grafiker finden so etwas oft ziemlich gut, als Übersetzung in ihre Wahrnehmungswelt.
»Wenn es Bestandteile in Musikstücken gibt, die man irgendwie über visuelle Darstellung erfassen kann, dann können meine ›Noten‹ dafür sorgen, dass man sie auch hört«
Glaubst du, die MAM kann sich dauerhaft durchsetzen auch als Lern- oder Übungsumgebung?
Ich habe keine Ahnung, wie weit die Reise gehen kann, ich kenne ja nicht mal die Richtung. Aber: Wenn es Bestandteile in Musikstücken gibt, die man irgendwie über visuelle Darstellung erfassen kann, dann können meine ›Noten‹ dafür sorgen, dass man sie auch hört, zum Beispiel manche Stimmen in kontrapunktischer Musik, subtile harmonische Übergänge, so etwas. Dafür kann man Menschen über das Visuelle sensibilisieren.
Es gibt inzwischen Musiklehrerinnen und -lehrer auf jedem Level, die das einsetzen, in der ganzen Welt.
Ja, aber weißt du, es ist nicht so, dass die MAM nicht auch irgendwie erlernt werden muss. Nur: Sie selbst bringt es dir bei. du lernst schnell, wie Formen und Klänge zusammenhängen. Insofern könnte man damit gewissermaßen »
;Stützräder« für die klassische Notenschrift bauen, indem man die Partitur um Feedback und um eher grafische Signale erweitert.
Wie sind deine Pläne?
Es sind eher Wünsche. Ich würde jetzt gerne mit Unternehmen zusammenarbeiten, zum Beispiel mit Computerspieleherstellern, die das einbauen könnten. Ich bin ja gewissermaßen ein Ein-Mann-Projekt, und fände es spannend, was man noch alles so machen kann. Persönlich bin ich daran interessiert, das visuelle Erlebnis noch … körperlicher, innerlicher zu machen. Kinder tanzen sofort zu Musik, aber es gab noch niemanden, der zu meinen Videos tanzt. Das könnte doch vielleicht möglich sein, wenn man es richtig designt. Damit beschäftige ich mich gerade sehr: Warum wird man durch Rhythmen ermuntert, den Körper zu bewegen?
Vielleicht liegt in dieser menschlichen Veranlagung aber auch irgendwo der Grund, dass du so viele verschiedene Reaktionen bekommst. Die Leute verarbeiten Informationen unterschiedlich; manche sind visuell orientiert, andere eher auditiv, und die können dann vielleicht weniger mit der MAM anfangen.
… und sind dann richtig ärgerlich, wenn sie das Gefühl haben, dass ich ihnen vorschreibe, was sie visualisieren sollen. Aber man muss auch sagen: Wir sind wirklich in der Steinzeit, was Musikvisualisierungen betrifft. Ich habe immer noch das Gefühl, erst an der Oberfläche zu kratzen, es gibt noch so viele Sachen, die ich nicht mache. Die Geschichte ist da ganz am Anfang, ich könnte mir vorstellen, dass Musikvisualisierung so etwas wie die Schnittstelle zwischen Musik und Malerei wird.
… eine neue synästhetische Kunst, die mehr ist als nur visuelle Verdoppelung.
Ja, Musik wird auf so viele Weisen eingesetzt, wir wissen dagegen eigentlich noch gar nicht, was das Potenzial von Musikvisualisierung ist. ¶