Wenn Musik & Kunst nervös werden. Mit dem Sonapticon wird Musik sprichwörtlich nervös: Ein ganzer Raum verwandelt sich in ein Netzwerk von interagierenden Tönen, die grundlegende Vorgänge in Nervenzellen widerspiegeln, die uns zu fühlenden und denkenden Wesen machen. Der begehbare, immersive Klangraum aus miteinander kommunizierenden Lautsprechern macht es nicht nur möglich, in die Netzwerkstruktur einzutauchen, sondern zugleich kann man mit dieser über Töne und Geräusche interagieren. Wenn man ein Gefühl für die Abläufe bekommen hat, dann lässt sich mit dem Sonapticon auf völlige neue Art und Weise musizieren – eine Musik, die eine Idee der kognitiven Prozesse gibt, die in ihrer Komplexität für uns nach wie vor ein Geheimnis bleiben.
Sonaptische Mobilmachung: Theatre of Memory Das Sonapticon wurde zum ersten Mal 2012 als Großinstallation mit 43 Lautsprechern im Kontext einer Residency im Klangdom des ZKM Karlsruhe realisiert. Die neuestes Version macht das System mobil und immersiver indem die sonderangefertigten Audioneuronen-Skulpturen flexibel über den ganzen Raum verteilt werden können. flexible and even more immersive creating custom made audio-neuron sculptures distributed over the whole space. Dabei greift Tim Otto Roth & sein Studioteam auf eigene Lautsprecherskulpturen zurück, die bereits für die Klanginstallation [aiskju:b] eingesetzt wurden, die in 360 Grad Töne emittieren. Die auf einem Mikroprozessor basierende Elektronik dieses bewährten Systems wird entsprechend durch Mikrophone erweitert. Das Peri-Sonapticon setzt sich somit wie ein Nervennetzwerk aus einzelnen autonomen Einheiten zusammen und reagiert so viel unmittelbarer auf den analogen Raum – ein wesentlicher Unterschied zur Studioversion. Zudem wird nun über die wechselnde farbige Illumination der Reizstatus eines Audioneurons angezeigt: Es wird somit deutlich, wie ein Audioneuron andere 'hört', bevor es selbst so weit gereizt wurde, damit es selbst einen Ton spielt.
Premiere @ TAT Berlin Das Theatre of Memory feiert Premiere mit einer Präsentation von 70 Audioneuronen im Tieranatomischen Theater im Herzen Berlins vom 12. Januar bis 3. Februar 2024.
Die Eröffnung findet am 11. Januar 2024 um 18:30 h statt mit Grußworten von Prof. Dr. Christoph Ploner (Charité) und Dr. Elke Lange (Max-Planck-Institut für empirische Ästhetik, Frankfurt). Der Direktor des Kunstmuseums Wolfsburg Dr. Andreas Beitin gibt eine Einführung.
Künstlergespräch Am 20. Januar 2024 um 16 Uhr findet ein Künstlergespräch im Tieranatomischen Theater statt. Tim Otto Roth gibt Einblicke in die Entstehung des Theatre of Memory und erläutert die Kompositionsprinzipien. Vertreter des Sonderforschungsbereich 1315 Mechanismen und Störungen der Gedächtniskonsolidierung: Von Synapsen zur Systemebene werden ebenfalls anwesend sein und für Fragen zur Verfügung stehen.
Symposium Am 26./27. Januar 2024 lädt ein begleitendes Symposium zum transdisziplinären Austausch ein. Es bringt Wissenschaftler:innen und Akteure/Akteurinnen aus den Natur- und Kulturwissenschaften, aber auch aus den Künsten zusammen, um gemeinsam im Dialog die neuro-theatralen Bretter, die im sprichwörtlichen Sinne die Welt bedeuten, zu erkunden. Als der große Unbekannte, der ‚Godot', fungiert hierbei das Gedächtnis. Wie auf den Ebenen von Zellen und Netzwerken kognitive Inhalte repräsentiert werden, bleibt nach wie vor ein großes Rätsel.
Der Eintritt ist frei. Eine Registrierung wird hier erbeten.
Mehr dazu auf der Symposiumsseite.
MPI-EA Frankfurt Das Theatre of Memory wird kofinanziert durch eine ReSilence Residency des STARTS Programms der Europäischen Kommission. Teil dieser Residency wird eine Folgepräsentation am Max-Planck-Institut für empirische Ästhetik in Frankfurt vom 15.-28. February 2024 sein.
Peri-Sonapticon Ein erstes Pilotprojekt mit 40 Audioneuronen wurde 2021 von der Beauftragten der Bundesregierung für Kultur und Medien im Rahmen von Neustart Kultur aus Projektmitteln des Bundesverbands Bildender Künstlerinnen und Künstler gefördert.
Aktuell erweitern wir das Netzwerk auf 70 Audioneuronen. Dieses Netzwerk feiert als Theatre of Memory am 11. Januar 2024 im Tieranatomischen Theater in Berlin Premiere und wird während der Öffnungszeiten bis zum 3. Februar zu erleben sein.
Die meisten Menschen kennen akustisches Feedback lediglich als einen kaskadeartig sich verstärkenden Effekt einer Kombination
von Mikrophon und Lautsprecher, wie ihn Jimmy Hendrix mit seiner Gitarre künstlerisch untersuchte. Das Sonapticon arbeitet mit
einer anderen Form der Rückkoppelung, die der Kommunikation von Nervenzellen entlehnt ist.
Den Kern des Sonapticons bilden ‚Audioneuronen': Kleine leuchtende kugelförmige Klangskulpturen, die mit Lautsprechern und Mikrophonen
versehen sind. Im Unterschied zu Nervenzellen sind diese nicht durch elektrisch leitende Fasern sondern mittels im Raum sich bewegender Töne
verbunden. Ein Audioneuron registriert ausgewählte Tonimpulse (spikes) in seiner Umgebung mittels eines Mikrophons und wird durch diese gereizt.
Wird eine Reizschwelle überschritten, "feuert" das Audioneuron einen eigenenImpuls über einen Lautsprecher. Der springende Punkt des Systems ist dabei,
dass jedes Neuron einen charakteristischen Sinuston mit einer individuellen Frequenz zugeordnet bekommt. Damit wird gleichsam die synaptische
Signalübertragung biologischer Neuronen in Klang (lateinisch: sonus) übertagen – es entsteht das "Sonapticon". Je nachdem wie die Frequenzen
zugeordnet und wie die Audioneuronen im Raum positioniert werden, lassen sich unterschiedliche dynamische Klangnetzwerke im Raum aufbauen.
Komplementär zum akustischen Geschehen können über LEDs im Inneren der durchscheinenden Skulpturen weitere Charakteristika wie z.B. der Reizstatus
farblich dargestellt werden.
In seinem englischsprachigen Konferenzbeitrag Sonapticon - space as an acoustic network erläutert Tim Otto Roth die technischen Hintergründe und gibt Einblicke in die Konzeption der Komposition für den Klangdom am ZKM Karlsruhe.
Nervenzellen sind miteinander durch organische leitende Fasern verbunden,
über die sie mit kurzen elektrischen Impulsen, so genannten Spikes kommunizieren. Links sehen Sie ein einfaches Schema, wie ein Neuron funktioniert: Die eintreffenden elektrischen
Impulse werden summiert und verändern entsprechend das Membranpotential des Neurons, das durch den gelben Kreis dargestellt wird. Es gibt zwei verschiedene Arten von
eintreffenden Spikes: Wenn der Spike das Membranpotetial ansteigen läßt, so wird das sendende Neuron exitorisch (anregend) genannt, wenn er aber dieses
absenkt, so wird der Sender als inhibitorisch (hemmend) eingestuft.
Treffen keine externen Impulse ein, so geht das Membranpotential auf ein Ruhepotential zurück (grüner Ring). Ein Neuron sendet selbst einen Spike aus
– es 'feuert' – wenn die eingehenden Impulse der anderen Neuronen das Potential über einen bestimmten Grenzwert steigen lassen (roter Ring).
Nachdem ein Neuron gefeuert hat, kann es über eine bestimmte Zeit nicht mehr angeregt werden und das Membranpotential geht auf das Ruhepotential zurück.
Dieses einfache Interaktionschema bildet die Basis jeglicher Nervenaktivität. Es bleibt bis heute ein Rätsel, wie diese elektrischen Rückkoppelungen so etwas formen wie einen einfachen Gedanken in unserem Gehirn. Mit den neuesten Mikroskopiermethoden lassen sich in kleinen Gewebeschnitten beobachten, wie sich die Spikes feuernder Nervenzellen selbst organisieren (siehe die Animation in der Videodokumentation). Ein Teil der Neuronen beginnt hierbei nach einer gewissen Zeit synchron zu feuern. Man vermutet, daß in diesen sich selbstorganisierenden Mustern das Geheimnis des Gedächtnisses liegt.
Die neuroakustische Musik kann die Art und Weise der Entstehung und die Robustheit der Selbstsynchronisation gezielt untersuchen, indem einzelne Parameter variiert werden oder das System durch die Interaktion von menschlichen Akteuren gar bewußt gestört wird. Durch die räumlich-akustische Präsentation schafft das Sonapticon auch für den Fachwissenschaftler einen völlig neuen Zugang zu neuronalen Prozessen.
Folglich stellt das Sonapticon ein System von verlangsamten
synthetischen Neuronen dar, welches in Echtzeit eine Interaktion mit neuronalen Dynamiken unter gleichzeitiger Kontrolle der biologischen Parameter erlaubt. Das
Sonapticon verbindet zwei grundlegende Komponenten:
- digitale in silico Methoden mit aktuellsten mathematischen biologischen Neuronenmodellen (z. B. das leitfähigkeitsbasierte Modell von
Alain Destexhe) und
- eine empirische Umgebung (der Klangdom), in der die Akustik als analoger Raum des Experimentierens und Interagierens dient.
Wenn man sich ein Klangspektrum ansieht, dann kann man beobachten, dass die meisten Klänge aus einem breiten Spektrum an Frequenzen zusammensetzen. Sinustöne hingegen schwingen auf einer einzigen Frequenz und zeigen deshalb bei entsprechender Stärke eine charakteristische Spitze im Spektrum. Auf diese Weise können ganz einfach die Audioneuronen miteinander verbunden werden: Jedes Audioneuron registriert ein spezifisches Set an Frequenzen, die anderen Neuronen zugeordnet sind. Diese Frequenzen sind im Spektrum als gelbe oder blaue Linien markiert. Wenn ein Audioneuron eine signifikant ansteigende Spitze mit deren Maximum an einer der Linien registriert, dann interpretiert es diese als einen Impuls eines verbundenen Neurons und die Linie blinkt in rot. Die Filmdokumentation zeigt ferner anhand des Wechsels des Audioneuronenpotentials, dass Spitzen bei den blauen Linien als exitorisch und Spitzen bei den gelben Linien als inhibitorisch interpretiert werden. Im unteren Teil des Audioneuronendisplays ist ein Plot zu sehen, der das wechselnde Potential aufzeichnet und so hilft, die Dynamik eines einzelnen Neurons besser zu verstehen.
Prinzipiell kann jede Rechnerarchitketur mit einem Mikrophon
und einem Lautsprecher als ein Audioneuron fungieren, sei es ein Laoptop, ein Tablett-PC oder ein Smartphone. Im August 2012 fand mit Laptops eine erste Performance
am Bernstein Centre for Computational Neuroscience auf dem Campus der Berliner Charite statt. Die Besucher installierten eine kleine Software und verwandelten
so ihren mit kleinen externen Lautsprechern versehene Laptop – sowohl PC also auch Mac – in akustische Neuronen. Schritt für Schritt entstand so ein Netzwerk
mit zwanzig akustischen Neuronen, deren Dynamik durch das sukzessive Hinzufügen von Neuronen erforscht werden konnte.
Bereits hier lud das Sonapticon zur Interaktion ein. Eine singende Säge, die ein recht klares Spektrum mit Sinustönen generiert, erwies
sich als ein perfektes Instrument, die Resonanzen des Laptopsystems zu erforschen.
Proof of Concept im Klangdom des ZKM Karlsruhe Das Funktionieren des Sonapticons hat Tim Otto Roth in Zusammenarbeit mit dem Neuromathematiker Dr. Benjamin Staude als Gastkünstler des ZKM Karlsruhe gezeigt. 2012 erfolgte die erfolgreiche Premiere im dortigen Klangdom mit 43 Studiolautsprechern unter Einbeziehung von drei Piccoloflötisten im Rahmen des IMATRONIC Festival und des Symposiums Neuroaesthetics.
Im Klangdom des ZKM erfolgt die Klanganalyse über ein Framework basierend auf MaxMsp, das von Holger Stenschke programmiert wurde. Die Adaption des Neuronenmodells sowie die Kompositionsumgebung hat Benjamin Staude in Python realisiert. Die Visualisierung wurde von Tim Otto Roth mit Gem in Kombination mit Puredata erstellt.
Bereits seit 2007 experimentiert Tim Otto Roth mit der akustischen Übersetzung von Selbstorganisationsprinzipien. In Zusammenarbeit mit der Gruppe Π'XL arbeitete er 2008
mit einem eigens geschaffenen Projektchor an der Umsetzung von sogenannten zellulären Automaten auf die Sänger des Chores. 2011 übertrug er das Konzept dieser
Music of Life auf Streicher im Rahmen eines Konzerts am ZKM Karlsruhe. Die Idee zum Sonapticon entstand aus einem
Gespräch heraus mit dem damals am Max-Planck-Institut für moklekulare Zellbiologie und Genetik (MPI-CBG) forschenden
Neurobiologen Eugenio Fava nach dem ersten Chorkonzert im Deutschen Hygienemuseum in Dresden. Auf Einladung von Ludger Brümmer, dem Leiter des Instituts für Musik und Akustik,
bekam Tim Otto Roth schließlich die Gelegenheit gemeinsam mit dem Biomathematiker Benjamin Staude und dem Tontechniker Holger Stenschke im Klangdom des ZKM, die Idee in die akustische Realität umzusetzen.
Von 2012 bis 2012 arbeitete das Team an der Umsetzung der Idee. In einem Blog ist die Entwicklung des Sonapticons dokumentiert.
Bislang war eine Aufführung an ein Großstudio wie den Klangdom gekoppelt, da die ganze Aktivität noch aufwendig von einem Zentralrechner gesteuert wurde. Das Peri-Sonapticon
macht das ganze System mobil und flexibel, indem jede Audioneuronskulptur selbst die klangliche Prozessierung auf einem Mikroprozessor ausführt.
Der Konzeptkünstler und Komponist Tim Otto Roth verbindet in seinem Werk Kunst und Naturwissenschaft auf neuartige Weise. Mit seinen raumgreifenden Klangskulpturen wie
dem aus 36 rotierenden Lautsprechern bestehenden Heaven's Carousel oder der Wasserorgel aura calculata gelingt es ihm, in der Auseinandersetzung mit aktueller
wissenschaftlicher Forschung neue ästhetische Erfahrungen zu ermöglichen und damit neue Wege in der Kunst eröffnen. In seiner kompositorischen Arbeit fokussiert er den Raum
als (additiven) Synthesizer, in dem sich Töne von im Raum verteilten Tonquellen zu ortspezifischen Klänge mischen. Neben seiner besonderen Methode zur Spatialisierung von
Klang fokussiert er in seinem Schaffen mikrotonale Skalen, deren "Harmonik" sich aus spezifischen physikalischen Prozessen ableiten lassen. Im Juni 2018 feierte seine
Klanginstallation SMART>SOS Premiere am IRCAM in Paris. Seit Sommer 2018 zeigt er die immersive Klangskulptur [aiskju:b], die aus 444 illuminierten
Lautsprechern besteht und mit Daten aus dem IceCube-Observatorium bespielt wird, in der Kulturkirche St. Elisabeth in Berlin-Mitte, in der Reaktorhalle München und am
Ludwig Forum für internationale Kunst in Aachen. Vom 5. Dezember 2023 bis 24. Februar 2024 ist [aiskju:b] mit 216 Einheiten im Musée des Arts et Métiers in Paris zu erleben.
www.imachination.net
Transdisziplinäres Symposium zur Neuronästhetik
Einen begleitenden transdisziplinären Brückenschlag zum Theatre of Memory unternimmt das Symposium am 26./27. Januar 2024 an der Humboldt-Universität zu Berlin, das Forscher:innen sowie Akteur:innen aus den Natur- und Kulturwissenschaften, aber auch aus der Musik zusammenbringt, um im Dialog die neuronalen Bretter, die im sprichwörtlichen Sinne für uns die Welt bedeuten, zu erkunden. Im Mittelpunkt steht hierbei die Idee einer Neuronästhetik, die anders als die Neuroästhetik nicht primär hirnübergreifende Interaktionsmuster thematisiert, sondern einen Paradigmenwechsel formuliert, der mit dem mikroskopischen Fokus auf die Single-Neuron-Forschung einhergeht.
Ein Schwerpunkt des Symposiums wird das Gedächtnis, der ‚Godot' unseres neuronalen Theaters, sein. Die immer wieder verwendeten Musikvergleiche in den Neurowissenschaften weisen auf die Bedeutung des räumlichen und zeitlichen Zusammenspiels von Neuronen hin: "Ähnlich wie eine Gruppe von Musikern in einem Orchester, die koordiniert werden müssen, um eine harmonische Sinfonie zu schaffen, muss die Aktivität neuronaler Ensembles genau synchronisiert sein, um ein intaktes Gedächtnis zu bilden." (Kol & Goshen 2021). Die Neuronen-Doktrin, die Neurone als Akteure des Gedächtnistheaters begreift, wird nicht nur von physiologischer Seite befragt werden, sondern auch wissenschaftshistorisch kontextualisiert und von philosophischer Seite reflektiert: Es wird gefragt, ob die für uns erfahrbare Weltenbühne und die zugrundeliegenden kognitiven Prozesse auf neurobiologische Prozesse reduziert werden können. Darüber hinaus wird die Interaktion von Musik mit neuronalen Netzwerken und die Konzeption von Musik als raumzeitliches Klangnetzwerk zur Sprache kommen. Die Tagung reagiert somit auch auf die aktuelle Diskussion um künstliche Intelligenz, indem sie die faszinierende symphonische Komplexität der lebenden Intelligenz herausarbeitet.
Konzeption: Prof. Dr. Christoph Ploner, Tim Otto Roth und Miriam Seidler in Zusammenarbeit mit Prof. Dr. Petra Ritter, Prof. Dr. Thomas Schnalke und Felix Sattler.
Der Eintritt ist frei. Eine Registrierung wird hier erbeten.
Programm
Freitag, 26. Januar 2024
13:30
Matthew Larkum, Berlin: Einführung
14:00
Panel 1
Livia de Hoz, Berlin: Making sense of sound up (and down) the auditory circuit hierarchy
Bernhard Seeber, München: From acoustic rooms to neurons and back
Moderation: Katja Naie
15:30
Panel 2
John-Dylan Haynes, Berlin: Wissenschaft, Kunst, Freiheit
Cornelius Borck, Lübeck: "What you see is what you get"
Moderation: Felix Sattler
KAFFEEPAUSE
17:30
Panel 3
Marina Mikhaylova, Berlin: Calcium Symphony: Conducting Neuronal Trafficking for Synaptic Plasticity
Beatrice de Gelder, Maastricht: NN
Moderation: Christoph Ploner
PAUSE mit Gelegenheit zu einem Ausstellungsbesuch im Tieranatomischen Theater
20:00
Abendpanel
Symphonische Komplexität. Tim Otto Roth im Gespräch mit Matthew Larkum und Jan St. Werner
Samstag, 27. Januar 2024
9:30 h
Panel 4
Petra Ritter: Was können digitale Gehirn-Zwillinge?
Sebastian Gießmann: Lebendige Netzwerke: Kulturtechniken, Medien, Wissen
Moderation: Miriam Seidler
11:00h
Panel 5
David Owald: Wie Netzwerkprinzipien Schlaf und Erinnerungen in der Fliege ermöglichen
Max Stadler: Zelle, Material, Moderne: Modellwelten nervöser Biophysik?
Moderation: Christoph Ploner
PAUSE mit Gelegenheit zu einem Ausstellungsbesuch im Tieranatomischen Theater
ABSCHLUSS
Ausstellungsrundgang mit den Kuratoren Thomas Schnalke und John-Dylan Haynes in der Ausstellung Das Gehirn in Wissenschaft und Kunst im Medizinhistorischen Museum der Charité
Dank
Das Symposium wird als Networking Event von der Stiftung Charité gefördert.
Veranstaltungsort:
Humboldt-Universität zu Berlin
Campus Nord, Haus 4
Philippstr. 13
10115 Berlin
-> direkt hinter dem Tieranatomischen Theater
.
Publikation Simulating, exploring and optimizing the spatial sound scene of the Sonapticon. Bernhard U.Seeber, Johannes Kurz, Tim Otto Roth, in: Proceedings of the 10th Convention of the European Acoustics Association Forum Acusticum 2023, January 2024, pages 4321-4325.
Save the date Am 11. Januar 2024 um 18.30 Uhr feiert das Sonapticon in neuem Gewand und mit deutlicher Erweiterung auf insgesamt 70 Audioneuronen als Theatre of Memory Permiere im Tieranatomischen Theater in Berlin.
Grußworte zur Eröffnung der Ausstellung sprechen Prof. Dr. Christoph Ploner (Stellvertretender Klinikdirektor der Klinik für Neurologie) und Dr. Elke Lange (Max-Planck-Institut für empirische Ästhetik, Frankfurt).
Die Einführung in das Werk Theatre of Memory übernimmt der Leiter des Kunstmuseums Wolfsburg Dr. Andreas Beitin.
Der Eintritt ist frei. Eine Registrierung wird hier erbeten.
Oktober 2021 Nach intensiven Monaten der Vorbereitung feierte am 3. Oktober 2021 das Peri-Sonapticon eine kleine Weltpremiere in den imachination labs in Oppenau im Rahmen einer private view mit Freunden des Studios. Special guest des Abends war der Straßburger Musiker Yérri-Gaspar Hummel, der mit seinem Altsaxophon die 41 Audioneuronen akustisch anregte.
September 2021 Das Herzstück des neuen Sonapticons ist in Produktionen gegangen: die Platinen für die Audio-Neuronen, die eine Mikroelektronik mit Mikrophon, LED-Licht und Tonausgabe umfassen.
Besonderen Dank an: Benjamin Piltz (Elektronik und Bestückung), Manuel Prugel (Programmierung) und Miriam Seidler (Film).
April 2021 Gefördert durch das Programm Neustart Kultur entsteht aktuell eine mobile Version des Sonapticons.
Vernetzt wie Nervenzellen, von Rainer Braxmaier, Offenburger Tageblatt, 27. Oktober 2021
September 2019, Soundart herausgegeben von Peter Weibel zeigt auf drei Doppelseiten das Heaven's Carousel, das Sonapticon und die Wasserorgel aura calculata, MIT Press 2019.
April 2016, Seizing Attention: Devices and Desires, von Barbara Maria Stafford, Art History, Volume 39, Issue 2, pp. 422–427.
October 2015 Aura Calculata – die Klang- und Lichtkunst von Tim Otto Roth siedeln an der Schnittstelle von Kunst und Wissenschaft, von Helga de la Motte-Haber, Neue Zeitschrift für Musik 05/2015, S. 34-37
Artist collaborates with neuroscientist to build 'audio-neurons', Interview von Robert Barry, wired.co.uk, 10. Dezember 2012.
Hören, wie Nervenfasern sprechen, Acher-Rench-Zeitung 21. November 2012