Moritz Fehr

Idee:

Ausgangspunkt dieser Installation war das Interesse, einen Flusslauf als räumliche Bewegung zu analysieren und zu versuchen, diesen klanglich neu zu konstruieren.

Beginnend mit einem kleinen Rinnsal an der Quelle, über rauschende Stromschnellen bis zum tosenden Wasserfall führt der Fluss unterschiedliche Qualitäten der Materie, die er bewegt, vor. Blendet man den visuellen Eindruck aus, wird deutlich, dass diese Bewegung akustisch nicht stattfindet. Das Wasser ist immer nur statisch an den Stellen, wo es beispielsweise um im Wasser liegende Steine und Äste herum fließt oder einen Wasserfall herunterstürzt, zu hören. Die Zahl dieser Stellen, an denen der Lauf des Wassers gebrochen wird, ist theoretisch unendlich, jedoch nehmen wir durch unsere eigene räumliche Position immer nur einen Teil der Klangquellen, die den gesamten Charakter des Flusses ausmachen, wahr.

Die Annahme, dass über die Wiedergabe dieser Einschnittspunkte ein Fluss als zusammenhängende Klangbewegung konstruiert werden kann, wurde in zwei Installationen überprüft.
Die erste Realisation entstand im realen Raum, wobei der Flusslauf mehrkanalig elektroakustisch wiedergegeben wurde. Die Installation der Lautsprecher und die Geräusche wurden dabei auf den vorhandenen Raum abgestimmt.
Die zweite Realisation griff dieselbe Idee auf, wurde aber im künstlich erzeugten (virtuellen) Raum mittels Wellenfeldsynthese – Arrays abgespielt. Der Hörer konnte dabei die Position der Geräusche im Raum interaktiv über ein grafisches Eingabesystem steuern und damit den Fluss selbst konstruieren.

Konstruktion im realen Raum:

Bei dieser Installation wurde der Flusslauf über acht Mono - Audiokanäle wiedergegeben. Jeder der Lautsprecher spielte einen der oben erwähnten Einschnittspunkte ab, dabei waren die Geräusche so angeordnet, dass diese den Fluss von der Quelle zum rauschenden Wasserfall abbildeten. In dieser Form in der Natur nicht wahrnehmbar, war der Flusslauf dabei räumlich komprimiert. Ergänzend wurden der Flussinstallation künstlich erzeugtes Rauschen, das sich über die Lautsprecher bewegte, um den tatsächlich konstruierten Raum nachzuzeichnen, hinzugefügt. Auch Geräusche, die für eine Flusslandschaft typisch sind, also auch einen Teil des Gesamtcharakters ausmachen, darunter verschiedene Aufnahmen von Tieren und Naturereignissen, waren Teil dieser. Auf die Lautsprecher wurden Zylinder verschiedener Größen gestellt, um den Klang zu fokussieren.
Als interaktiver Part dieser Installation funktionierte eine Vertonung der Schritte der Besucher auf dem Boden des Raums, wodurch der Eindruck, man bewege sich auf nassem Grund am Flussufer, entstand. Im Zusammenklang mit dem Raum sollte der Fluss als zusammenhängendes Geräuschereignis wahrzu-nehmen sein. Die Collage hatte eine Dauer von 25 Minuten und wurde als Loop abgespielt.

Konstruktion im virtuellen Raum:

In der zweiten Variante der Installation wurde die Idee im virtuellen Raum umgesetzt. Dieser Raum wurde über ein interaktives audio-visuelles System definiert, das sich aus einem stereoskopischen Multi-Viewer-System zur Darstellung und einem Wellenfeldsynthesesystem zur Audiowiedergabe zusammensetzte.

Der Benutzer hatte dabei die Möglichkeit, den Flusslauf über ein grafisches 3D – Eingabesystem zu steuern. Sechs Steine, die die klanglichen Ein-schnittspunkte markierten, waren mit verschiedenen Wassergeräuschen verknüpft. Diese konnten vom Benutzer in einer virtuellen Landschaft bewegt und platziert werden. Dabei war es möglich, die Geräusche einzeln ein- oder auszuschalten.
Bewegungen waren in der Breite sowie in der Tiefe des Raumes ausführbar. Die Wasseraufnahmen waren so gewählt, dass sie sich bei Überlagerung nicht oder nur minimal maskierten.

Die virtuelle Installation wurde technisch vom Lehrstuhl der Virtuellen Realität, Prof. Bernd Fröhlich und Mitarbeitern (Mediensysteme) in Zusammenarbeit mit dem Fraunhofer Institut für Digitale Medientechnologie im Projekt „Interactive 3D/AV“ umgesetzt.

English short description:

This project shows an interactive audio-visual system that consists of a stereoscopic multi-viewer system for displaying images and a wave field synthesis audio system. Audio-visual objects are rendered for each user in high quality. Using 3D input devices users are able to interact with virtual objects as well as changing their auditive properties, thereby creating and experiencing an audio-visual environment.

Using spatial sound systems in combination with virtual environments (VE) has a long tradition. For projection-based environments the visual and the audio display supports only a single tracked user with a spatially correct audio-visual feedback. Recently multi-viewer stereo displays (MVSD) are becoming feasible for a small number of users. One of the questions is how spatial audio can be added to such a system. The head positions of all users are known to produce perspective correct images. Thus headphones could be used to supply them with the appropriate binaural signals. Unfortunately head phones limit the possibility for natural communication between the users, which is a much appreciated and used feature of projection-based systems.

Our idea is to combine wave field synthesis (WFS) with projection-based multi-viewer stereo displays. WFS delivers listener-position independent spatial audio reconstruction of high quality, which makes it the ideal choice for a consistent multi-user audio-visual environment. We have implemented such a system for two tracked users to evaluate the usability and the limitations of this approach.

Participants: Robert Dünger, Moritz Fehr, Jan Hanak, Markus Hartleb, Martin Scheffler, Anita Schilling, Christoph Sladezcek, Jörg Wolfermann

Tutor(s): Prof. Dr. Bernd Fröhlich, Dipl.-Ing. Frank Melchior (Fraunhofer IDMT), Dipl-Inf. (FH) Jan Hochstrate, Dipl.-Inf. Jan P. Springer

Download PDF (german only)


Gegenüberstellung / Ergebnis:

Im Vergleich brachte die erste Installation im Bezug auf die Darstellung des Flusslaufes als räumliche Bewegung ein viel stärkeres Ergebnis.

Bei dieser war der Raum ein Bestandteil des Klangeindrucks und tatsächlich als ein solcher wahrzunehmen. Obwohl die die Lautsprecher deutlich als (Punkt-)Klangquellen zu erkennen waren, verschmolzen die verschiedenen Wasseraufnahmen, auch bei Änderung der eigenen Position im Raum und ließen ein ganzheitliches Geräuschereignis entstehen.

Die Koppelung zum visuellen Eindruck war in der zweiten Installation eher hinderlich und nahm dem Hörer die Möglichkeit, den Raum über das Ohr wahrzunehmen; beide Sinne waren ständig damit beschäftigt, die Proportionen zwischen Gesehenem und Gehörten abzugleichen. Der Einsatz von Wellenfeldsynthese schien bei der Interaktion mit den Geräuschen durch den Hörer kaum Vorteile gegenüber eines Stereo- oder Mehrkanal – Systems zu haben, da das Gehör diesen eher inhaltlich-analytisch zu folgen versuchte, als diese im Gesamteindruck aufzunehmen, durch den eine Orientierung im Raum erst möglich wird.

Betreuung:

SeaM / Hochschule für Musik Franz Liszt:
Prof. Robin Minard

Bauhaus Universität Weimar / Lehrstuhl Virtuelle Realität:
Prof. Dr. Bernd Fröhlich
Frank Melchior (Fraunhofer-Institut für Digitale Medientechnologie, Ilmenau)
Dr. Dieter Kemter
Dipl.-Inf. Jan P. Springer
Dipl.-Inf. (FH) Jan Hochstrate

Technische Umsetzung:
Installation 1:
Acht – Kanal – Audiosystem mit Lautsprechern
Mac G3 / Digi 001 / Pro Tools / Meloncillo für die Klangbewegungen

Vertonung der Schritte der Besucher, umgesetzt von Jan Strehlow:
PC / Max/Msp
USB - Midi Box
Atmel Mega 8 Mikrokontroller
Verstärkerbaustein 1 Watt
Linearer Tiefpassfilter
Piezo Kondensator Mikrofon

Installation 2:
Iosono – Wellenfeldsynthese – System mit vier Lautsprecherarrays (32 Lautsprecher)

Projektion / Interaktive Steuerung:
Stereoskopisches Multiuser 3D Displaysystem
Shutterbrillen und getracktes Eingabegerät
3D – Szene gestaltet von Tom Freitag