Gespräch zwischen Sebastian Marwecki und Philipp Reinfeld, geführt per Videomeeting zwischen Berlin und Neapel am 29.11.2021.
Sebastian Marwecki ist Spieleentwickler und hat am Human Computer Interaction Lab des Hasso Plattner Instituts in Potsdam promoviert. Hier hat er ein System für Virtual Reality Anwendungen entwickelt, das darauf abzielt, physischen Raum zu virtualisieren, wodurch die Umsetzung von VR-Anwendungen nicht mehr auf freie Flächen angewiesen ist. In begrenzten räumlichen Umgebungen werden Dinge wie Möbelstücke automatisiert zu haptisch erfahrbaren Entsprechungen von Elementen im virtuellen Spielerlebnis. Auch die zeitgleiche Nutzung desselben Raums durch mehrere Nutzer:innen wird durch das System ermöglicht.
***
Reinfeld: Herr Marwecki, der Titel Ihrer PhD-Arbeit „Virtualizing Physical Space“ klingt für jemanden wie mich, der sich seit mehreren Jahren mit der Frage beschäftigt, welche Potenziale die Verschränkung und Erweiterung des physischen Raums mit bzw. um virtuelle Anteile für die Architektur bereithalten könnten, äußerst vielversprechend. In einer Zeit zunehmender Hybridisierung von virtuellem und realem Raum würden wir gerne mehr erfahren über Ihre Ansätze einer systematischen Erweiterung von Orten und Objekten durch virtuelle Anteile. Zur Erläuterung des Prinzips der von Ihnen entwickelten Anwendungen erklären Sie die Systematik der Virtualisierung von Raum mit einer, wie ich finde, überraschenden Referenz, nämlich mit der Einführung der Virtualisierung von Speicherhardware in der Computertechnik zu Beginn der 1960er Jahre.
Marwecki: Es macht oftmals Sinn in Analogien zu denken, wenn ein Problem in einer Varianz schon vorher gelöst worden ist. Vielleicht kann man Teile der Lösungsansätze kopieren und mehr oder weniger direkt anwenden. Für die hier angesprochene Analogie muss ich ein bisschen ausholen. Das Problem, das ich in Bezug auf die Nutzung von physischem Raum im Zusammenhang von Virtual Reality versuche zu beschreiben, besteht darin, dass wir gerade in den heutigen Anwendungen voraussetzen, dass physischer und virtueller Raum zusammenpassen. Die natürlichste und damit direkteste Art, virtuellen Raum zu erleben entsteht, wenn die Laufbewegung durch einen physischen Raum eins zu eins in den virtuellen Raum übersetzt wird. Es gibt zwar auch viele andere Bewegungsmethoden, die nicht auf dieses Eins-zu-eins-Mapping bauen, sie funktionieren aber weniger gut. Das Problem liegt darin, dass oft nicht genug Platz vorhanden ist, um ein solches Eins-zu-eins-Mapping umzusetzen. Circa siebzig Prozent der Menschen, die VR nutzen, haben privat keinen freien Raum von mehr als ein mal zwei Metern zur Verfügung, und nur unter ein Prozent haben Platz für den typischen vier mal vier Meter Trackingbereich einer VR-Anlage. Der im Wohnumfeld zur Verfügung stehende Raum für ein VR-Erlebnis im Eins-zu-eins-Mapping ist also oft schlicht zu klein. Man kann dieses Problem nun auf ein anderes, ähnliches Problem beziehen, das schon einmal zu Beginn der Computertechnik auftauchte und seinerzeit gelöst wurde: Bei den ersten lochkartenbetriebenen Computersystemen waren Soft- und Hardware direkt aufeinander abgestimmt. Die auf den Lochkarten gespeicherten Befehle waren maschinengebunden. Ein Programm konnte nur von einer einzigen speziellen Rechenmaschine gelesen und ausgeführt werden. Diese feste Bindung zwischen Hard- und Software, die mit dem Eins-zu-eins-Mapping zwischen physischem und virtuellem Raum verglichen werden kann, wurde mit den Betriebssystemen und mit Multiprogramming-Methoden etwa in den 1960er Jahren aufgelöst. Die folgenden, höherwertigen Programmiersprachen wie C und Visual Basic wurden dann zunehmend abstrakter. Diese Form von Software-Abstraktion im Sinne einer Hardware-Virtualisierung versuchen wir nun auf dedizierten, also gewidmeten Raum, der zur Durchführung einer VR-Anwendung zur Verfügung steht, zu übertragen. Wir wollen eine VR-Anwendung nicht nur für einen ganz spezifischen räumlichen Kontext programmieren, der mit keiner anderen Raumkonfiguration kompatibel ist, sondern wir wollen die Anwendung so abstrakt formulieren, dass sie in unterschiedlichen räumlichen Umgebungen lauffähig ist. So können, äquivalent zu einem Computer, bei dem mehrere Programme gleichzeitig auf denselben Arbeitsspeicher zugreifen, mehrere Anwender:innen in VR parallel denselben physischen Raum nutzen. Das bringt auch ganz pragmatische Vorteile, wie die Tatsache, dass man eine Applikation programmieren kann, die auch auf anderen Arten von Hardware überlebensfähig ist, was die Evolution von Anwendungen unheimlich beschleunigt.
Reinfeld: Es ist also eine sprachliche Abstraktion als Zwischenebene notwendig, mit der zunächst eine Entfernung vom konkreten Raum einhergeht, um dann wiederum mehr räumliche Flexibilität zu erlangen – das ist sehr spannend.
Marwecki: Ja, das stimmt, das ist eine allgemein gültige Methodik der Informatik: Abstraktionsebenen einführen, um Lösungsmethoden mehrfach anwendbar zu machen. Im Vergleich mit der Architektur könnte man vielleicht Normen als ähnliche Art von Abstraktionen bezeichnen. Türen z.B. haben einheitliche Maße, was sie sehr viel flexibler und mehrfach einsetzbar macht. Bei digitalen Anwendungen ist der vergleichbare Vorteil, dass sie auf unterschiedlicher Hardware ‚überleben‘ können, nicht nur auf einer einzigen, für die sie programmiert wurden. Wie Türen, die fast überall eingebaut werden können. Das bedeutet nicht automatisch, dass der Raum auch besser genutzt wird, aber die viele Arbeit, die etwa in die Programmierung eines VR-Spiels einfließt, kann hierdurch an vielen unterschiedlichen Orten angewandt werden. Also in Ihrem Wohnzimmer wie in meinem, in einer Küche oder sogar draußen im Park. Und das Erlebnis beschränkt sich nicht nur auf Augen und Ohren, sondern es ist physisch, mit dem ganzen Körper zu empfinden.
Reinfeld: Bei bildschirmbasierten Computeranwendungen ist die Hardware der Mensch-Maschine-Schnittstelle sehr viel weniger variantenreich. Computerspiele werden beispielsweise immer über Monitore vermittelt. Diese haben vielleicht unterschiedliche Auflösungen oder das Spiel soll zusätzlich auf unterschiedlichen Spielekonsolen lauffähig sein. Bei VR-Anwendungen aber, die mit haptischem Feedback in einem vorhandenen Raum durchgeführt werden, wird der Ort selbst zum zentralen Medium der Vermittlung. Und diese dreidimensionale Hardware-Schnittstelle ist eben sehr vielfältig, so sie nicht von einer leeren Fläche von mehreren Quadratmetern ausgeht.
Marwecki: Physischer Raum ist zu variantenreich, um für jede denkbare Konstellation eine eigene Anwendungs-Emulation zu schreiben. Daher kommt der Kompromiss, dass heute verfügbare VR-Anwendungen meistens für die Durchführung in einem nur zwei Quadratmeter großen Leerraum konzipiert sind. Es wird davon ausgegangen, dass jede:r diesen Platz durch Wegrücken einiger Möbel auch im privaten Umfeld freiräumen kann. Das ist schade, weil dadurch die Anwendungen entsprechend eingeschränkt sind. Selbst wenn mit Hilfe adaptiver Programme z.B. eine real vorhandene Wand automatisch in die virtuelle Funktionalität einer Anwendung eingebunden wird, eröffnet das nicht die Möglichkeit einer komplexen erzählerischen Einbindung des Feedbacks des physischen Raums. Unser Anspruch ist es, das Erzählen komplexer Geschichten innerhalb von physischer Raumhardware mit viel Varianz zu ermöglichen.
Reinfeld: Und hierbei ist die wichtigste Interaktionsmöglichkeit das natürliche Gehen, das durch räumliche Limitationen besonders eingeschränkt ist?
Marwecki: Genau, natürliches Gehen ist die beste Art der Bewegung im virtuellen Raum. Alle anderen Bewegungsmethoden machen entweder weniger Spaß oder werden als unnatürlicher empfunden und haben weitere Nachteile. Es ist auch eine Ressourcenfrage. Entweder es ist viel freier Raum zur Bewegung vorhanden oder das Laufen wird mittels aufwendiger und kostenintensiver Hardware wie Treadmills (Laufbänder) ermöglicht. Die Optionen auf der virtuellen Seite, wie Teleportation oder die bewusste Beschränkung der Bewegungsfreiheit im virtuellen Raum der Anwendung, verringern die Natürlichkeit des Erlebnisses. Limitierungen im physischen Raum stehen in direktem Zusammenhang mit der Ausdrucksstärke der Anwendung. Eine der beiden Seiten muss normalerweise nachgeben. Entweder wir passen den physischen Raum auf die Anwendung an, wie beispielsweise bei den VR-Arcades The Void umgesetzt, oder wir machen die Anwendung selbst adaptiv. Wenn wir die Anwendung aber flexibler formulieren, was ihre möglichen Raumanwendungen angeht, dann sind Abstriche in der Komplexität der Anwendung notwendig.
Reinfeld: Das Problem der Ungleichheit zwischen physischem Bewegungsraum und virtuellem Erlebnisraum ist ja nicht neu. Es wurden verschiedene Methoden entwickelt, um trotz vorhandener Limitationen des physischen Raums natürliches Gehen in VR zu ermöglichen. Dabei existieren Ansätze, die sich auf eine unmerkliche Manipulation des Verhältnisses zwischen realer und virtueller Gehbewegung beziehen, wie auch solche, bei denen der Raum selbst für den oder die VR-Nutzer:in unmerklich flexibel wird und in der Realität unmögliche Zustände annimmt. Können Sie uns diese beiden Ansätze kurz erläutern?
Marwecki: Hierunter fallen Interaktionstechniken, mit denen ein Eins-zu-eins-Mapping simuliert wird, ohne dass der Nachteil registriert wird, dass der hierfür notwendige Raum nicht verfügbar ist. Das funktioniert nur, wenn die Manipulation so gering ist, dass sie unterhalb der Wahrnehmungsebene bleibt. Wenn man im Realen einen Meter und im virtuellen einen Meter und zwanzig Zentimeter geht, dann wird das nicht bemerkt. Die damit ermöglichte Platzersparnis ist also nicht so groß, dass sie die Probleme lösen würde. Das gleiche gilt für Verfahren, bei denen die Richtungsorientierung zwischen realen und virtuellen Bewegungen manipuliert wird. Die Sensorik des Menschen ist bis zu einem gewissen Grad nicht darauf ausgelegt, diese leichten Abweichungen zu registrieren, weil wir uns so stark visuell orientieren. Dennoch setzen diese Ansätze alle voraus, dass ein ziemlich großer leerer Raum vorhanden ist. Und genau das ist normalerweise im privaten Umfeld nicht gegeben. Es gibt auch Ansätze, bei denen virtuelle Räume unmerklich überlagert werden. Man nennt das „Impossible Spaces“. Zwei von einem Flur abgehende Räume können sich hier im realen Raum unmerklich überlagern, ohne dass es den Nutzer:inen auffällt (Abb. 8.1). Aber auch hierbei werden nur ein paar Quadratmeter aus dem Raum herausgeschummelt. Das grundsätzliche Raumproblem können sie nicht lösen. Diese ‚magischen Ansätze der Verwirrung‘, wie ich es nenne, sind nur Techniken, es sind keine systematischen Formen der Problemlösung.
Zeichnerische Darstellung des Prinzips der VR Interaktionstechnik „Impossible Spaces“.
Reinfeld: Hier setzen Ihre Entwicklungen an. Mit ihrem System soll es gelingen, reale Orte des privaten Umfelds für verschiedene virtuelle Anwendungen zu nutzen, ohne dass dafür besonders viel leerer Raum vorhanden sein muss. In der Anwendung Overloading Physical Space z.B. können mehrere Personen gleichzeitig einen Raum für ganz unterschiedliche Anwendungen in VR parallel nutzen (Abb. 8.2a–c). Lassen Sie uns aber über eine andere Anwendung sprechen, in der das Missverhältnis zwischen einer räumlich weiten VR-Erfahrung und sehr spezifischen, mitunter begrenzten physischen Platzverhältnissen im privaten Anwendungsumfeld gelöst werden soll.
Still aus Projektvideo Overloading Physical Space.
Zeichnerische Darstellung des physischen Trackingbereichs mit vier sich zeitgleich virtuell überlagernden Anwendungen.
Perspektivische Darstellung der sich virtuell überlagernden Anwendungen.
Marwecki: Es handelt sich hierbei um Scenograph. Das System nutzt die Technik von „Impossible Spaces“1, also die unmerklichen Überlagerungen von Räumen und Welten. Ziel ist es, eine möglichst komplexe Geschichte in VR zu erzählen, die in sehr unterschiedlichen realen räumlichen Umgebungen stattfinden kann. Unsere prototypische Umsetzung basiert auf einem Märchen (Goldlöckchen und die drei Bären). Die Geschichte spielt an unterschiedlichen Orten: Ein Wald entspricht Welt A, der Wohnraum eines Hauses entspricht Welt B, das Schlafzimmer im Obergeschoss des Hauses entspricht Welt C. Zusätzlich gibt es verschiedene Gegenstände, die für den Fortgang der Geschichte eine wichtige Rolle spielen. Zusammengenommen ergeben diese Gegenstände mit den ihnen zugeordneten Handlungen neun unterschiedliche Interaktionen. Hinzu kommen die Transitionen zwischen den Welten A bis C. Es ergibt sich eine logische Reihenfolge, nach der die Welt und die darin befindlichen Objekte zusammengehören. Aus diesen Zusammenhängen können komplexe Regeln abgeleitet werden, die sich zudem über die Zeit verändern. Die Beschreibung der Zusammenhänge erfolgt in unserem Fall ganz klassisch in einer Art Zustandsmaschine (State Machine), mit der Progression beschrieben werden kann: „Wo befinde ich mich, welche Handlungsobjekte stehen zur Verfügung, und was darf ich hier mit ihnen tun?“ In der Programmierung sind das logische Knoten und räumliche Knoten, die verbunden sind mit den vorkommenden virtuellen Objekten (Abb. 8.3). Das ist eine gängige Methode, wenn man derartig komplex zusammenhängende Geschichten programmiert. In unserem Fall aber bezieht das System diese Logik zusätzlich auf den jeweils zur Verfügung stehenden physischen Raum, in dem das VR-Erlebnis angewendet wird. Man bezeichnet diese Form des Verweises zu realen Objekten im Raum als Spatial Computing. Ziel ist es, Softwareentwicklern die Möglichkeit zu geben, komplexe Anwendungen zunächst klassisch zu formulieren. Durch eine automatische Anpassung, die unser System leistet, laufen die Programme dann in unterschiedlichen physischen Umgebungen.
Petri-Netz Darstellung von Scenograph mit räumlichen und logischen Knoten sowie Objekten, die Szenenwechsel auslösen um die Anwendung Goldlöckchen auf einen L-förmigen, acht Quadratmeter großen Raum abzubilden. Unter Beibehaltung der narrativen Struktur werden die drei Schauplätze der Geschichte in sechs kleinere aufgeteilt, die jeweils in das Trackingvolumen hineinpassen. Sebastian Marwecki, Patrick Baudisch, Hasso Plattner Institut Potsdam.
Reinfeld: Bedeutet dies, dass der Ablauf der Geschichte bei der automatischen Anpassung auch leicht verändert wird, je nach den räumlichen Voraussetzungen?
Marwecki: Ja, das wäre eine Möglichkeit. Aber auch ohne eine solche Anpassung der Geschichte versucht das System anhand der physischen räumlichen Voraussetzungen, die z.B. durch einen photogrammetrischen Scan digitalisiert werden, zunächst vorhandene Raumelemente zu finden, die in den Dienst der Geschichte gestellt werden können (Abb. 8.4). Das System sucht nach Objekten im physischen Raum, die als haptisch wirksame Erweiterungen der virtuellen Elemente nutzbar gemacht werden können. Ein Küchentisch kann im VR-Erlebnis als Ablagemöglichkeit für in der Story vorkommende Elemente dienen. Mit Hilfe dieses Systems ist es möglich, die Anwendung auf einer Minimalfläche von nur ein mal ein Meter physischem Raum spielbar zu machen.
Stills aus Projektvideo Stuff-Haptics: Stories with Passive Haptics for Limited, Uncurated Sets of Physical Props. Sebastian Marwecki mit Moritz Loos, Hasso Plattner Institut Potsdam, Computer Science und Human-Computer Interaction, 2017–2019. Linke Seite: In VR sichtbare, automatisch angepasste Spielszene, rechte Seite: Reale, in VR adaptierte Umgebung zur haptischen Rückkoppelung.
Reinfeld: Ich sehe in Ihrem Ansatz etwas allgemeiner betrachtet eine Form von programmatischer Verdichtung von vorhandenem Raum. Dabei habe ich sofort ein für die Architekturgeschichte ikonisches Projekt des niederländischen Architekturbüros Office for Metropolitan Architecture (OMA) vor Augen. Rem Koolhaas und seine Kolleg:innen schlugen 1991/92 in einem Masterplan für die Neugestaltung eines bis dato nur in den frühen Morgenstunden von einem Fischgroßmarkt genutzten stillgelegten Piers in der Bucht von Yokohama die Ansiedelung verschiedener, über den Tag verteilter Aktivitäten vor, wodurch die Ausnutzung des Areals extrem maximiert wurde. Ebenso wie die räumlichen Lücken wurden auch alle zeitlichen Lücken des Ortes bzw. seiner Nutzung mit Programm aufgefüllt. Es entstand nicht nur eine räumliche, sondern vor allem eine zeitlich-programmatische Verdichtung des Ortes. Ein Vorschlag, der damals in dieser Radikalität neu war und in der Folge den Blick auf Architektur und Stadtplanung deutlich erweitert hat. Besonders eine Grafik, die auf diagrammatische Weise diese Verdichtung sehr augenfällig widerspiegelt, ist für das Projekt bezeichnend. In ihr wird die funktionale Anreicherung des Gebiets zeitlich verteilt über die 24 Stunden eines Tages verdeutlicht (Abb. 8.5). Auch wenn sich Ihre Ansätze auf einen denkbar kleineren Maßstab beziehen, erinnert mich diese Form einer zeiträumlichen und programmatischen Verdichtung in gewisser Weise an diesen Masterplan für Yokohama.
Office for Metropolitan Architecture (OMA), Yokohama Masterplan, Wettbewerbszeichnung 1991.
Marwecki: Ich kann den Zusammenhang nachvollziehen. Die mehrfache Nutzung von Raum ist primär eine ökonomische Frage. Nach dem Zweiten Weltkrieg wurden z.B. Betten von Schichtarbeitern mehrfach untervermietet und damit durchgehend genutzt. Das könnte man auch als zeitlich-programmatische Verdichtung bezeichnen.
Reinfeld: Das stimmt. Im Gegensatz zur damals bestehenden Leere im Hafen von Yokohama sind die heutigen Platzverhältnisse, gerade was städtischen Wohnraum angeht, um ein Vielfaches beengter und auch umkämpft. Ausgangspunkt und Grundlage Ihrer Überlegungen ist ja auch eine Kostenfrage. Was ist, im Kontext einer VR-Anwendung, Ihrer Ansicht nach das eigentlich kostbare Gut?
Marwecki: Als VR vor etwa einem halben Jahrhundert entwickelt wurde, war die Technik noch exorbitant teuer und in ihren Ausmaßen raumfüllend. Es waren entsprechend große Investitionen notwendig, um eine VR-Erfahrung erleben zu können. Heute ist es möglich, für circa 500 Euro eine voll funktionsfähige VR-Anlage zu erwerben. Diese Summe ist klein im Vergleich zu den Kosten für den Platz, der zur Nutzung von VR eigentlich benötigt wird. Die Mietkosten würden ein Vielfaches dessen ausmachen, was die VR-Hardware kostet. Die VR-Systeme werden laufend günstiger, das ist gut, aber wenn eine VR-Anlage anstelle von 900 Euro nur noch 400 Euro kostet, dann sind solche Einsparungen im Vergleich zu den (monatlichen) Raumkosten, die eine großflächige VR-Nutzung nach sich zieht, fast vernachlässigbar. Es ist günstiger unser VR-System zu verwenden, mit dem ein VR-Erlebnis auch in sehr engen privaten Umfeldern funktioniert, anstatt zur Nutzung von VR teure, leere Studios anzumieten. Ebenso ist es kostenintensiver, wenn Spieleentwickler ihre Anwendungen immer neu programmieren müssen, damit sie in unterschiedlichen räumlichen Gegebenheiten lauffähig sind.
Reinfeld: Bei dem Yokohama Entwurf ging es um die Aktivierung ungenutzten Raums, der weitgehend brachlag und zum Leben erweckt werden sollte, während es in Ihrer Arbeit um die Kosten innerstädtischen Wohn- und Arbeitsraums geht. Gleichwohl treffen sich beide Ansätze in der Idee, Orte zeitlich und inhaltlich parallel nutzbar zu machen. Die Flexibilisierung von Wohnraum ist ein zentrales Thema der Moderne. Dabei können, verkürzt gesagt, zwei grundlegende Denkrichtungen unterschieden werden: Ein Konzept setzt auf weitgehend neutrale und unspezifische Raumkonstellationen, die inhaltlich möglichst ungewidmet sind, um für viele Funktionen offen zu sein. Das wäre auf VR bezogen also das leergeräumte, fünf mal fünf Meter große Lab (in Ihrer Anwendung Overloading Physical Space). Ein anderes Konzept setzt eher auf räumliche Flexibilität durch bauliche Maßnahmen wie verschiebbare Wände, multifunktionale Möbel und verschaltbare Räume. Das entspräche Ihrem Ansatz der Virtualisierung von Raum in Scenograph. In diesem Kontext frage ich mich nach weiteren Anwendungsmöglichkeiten mit Blick auf die Virtualisierung von Begegnungen durch Videomeetings während der COVID-19-Pandemie. Dabei wurden vielerorts private Wohn- oder sogar Schlafbereiche plötzlich zu (halb-)öffentlichen Büroräumen umfunktioniert. Das ist ein enormer Druck zur Flexibilisierung. Und wir stellen fest, dass die videobasierte Kommunikation, die über die zweidimensionale Vermittlungsebene des Monitors erfolgt, aufgrund dieser Beschränktheit auch große Defizite in der Kommunikation mit sich bringt. Diese Defizite sollen mit Hilfe heute schon angebotener VR-Meetingräume überwunden werden. Könnten bei solchen Treffen in virtuellen Umgebungen die von Ihnen entwickelten Systeme zur Virtualisierung von Raum möglicherweise ebenfalls gewinnbringend angewendet werden, im Hinblick auf die (zumindest teilweise) Integration der jeweils individuellen Raumsituation der Beteiligten?
Marwecki: Bei der gemeinsamen virtuellen Kommunikation aus verschiedenen physischen Räumen hätte man ein Constraint Setup A (also eine Randbedingung A) mit Nutzer:in A mit dem physischen Raum A und ein Constraint Setup B mit Nutzer:in B mit dem physischen Raum B, plus die Anforderungen C des virtuellen Gemeinschaftsraums. Es gälte also drei Constraint Setups miteinander zu verbinden. Das macht die Anzahl der möglichen Lösungen des Problems sehr viel kleiner und bedeutet, dass es entweder weniger gemeinschaftliche Räumlichkeit gibt oder die Anwendung weniger komplex auszugestalten ist. Je mehr Randbedingungen formuliert werden, die sich widersprechen, desto weniger Möglichkeiten bestehen, eine Lösung zu finden. Wie bei einem Gleichungssystem: irgendwann kann es sein, dass keine Lösung mehr möglich ist.
Reinfeld: Das bedeutet im Falle eines VR-Zusammentreffens, dass die Setzung, wie der gemeinsame virtuelle Raum beschaffen ist, weicher zu formulieren ist, damit die unterschiedlichen Randbedingungen zu einer passenden Lösung verbunden werden können?
Marwecki: Genau. Und wenn wir viele Leute zusammenschalten, kommen wir am Ende mitunter wieder bei den zwei leeren Quadratmetern physischen Raums als einzige Lösung an.
Reinfeld: Auch im Kontext der kürzlich formulierten Zukunftsvorstellungen eines der weltgrößten Anbieter sogenannter Sozialer-Medien-Plattformen sind diese Fragen von großer Aktualität. Ich meine die von Facebook-Gründer Marc Zuckerberg jüngst veröffentlichten Planungen für ein in Teilen virtuell erweitertes Zusammenleben unter dem Stichwort Metaverse. Ich finde, dass hierbei die Frage, wie wirkliche und virtuelle Welt in ihrer je unterschiedlichen Konstitution überhaupt sinnvoll miteinander interagieren können, noch stark unterbelichtet ist. Die von Ihnen entwickelten Strategien einer systematischen und flexiblen, wenn man so will sprachlich basierten Verknüpfung dieser beiden Welten könnte hierfür doch eine prototypische Grundlage darstellen. Oder winken Sie da ab, weil die Anzahl der Randbedingungen im Sinne des eben Gesagten viel zu groß ist?
Marwecki: Wir sind alle fasziniert von Snow Crash und ähnlicher Science-Fiction und den damit verbundenen Vorstellungen von fantastischem virtualisiertem Zusammenleben. Auch wenn die Wege, dies zu erreichen, im Einzelnen divergieren, haben wir da alle so eine gewisse Phantasie im Kopf. Ein schöner Gedanke und auch eine gute Stoßrichtung. Aber ob wir das erreichen? Ich kann nur sagen, was ich erreichen möchte, und das ist eine neue Art von Storytelling. Schon dieses Ziel finde ich für meine Person anmaßend genug. Die zentrale Erkenntnis hierbei besteht darin, dass wir mit dem physischen Raum und seiner virtuellen Erweiterung noch etwas über Text, Bild und Video Hinausgehendes zur Verfügung haben, womit wir uns gegenseitig Geschichten erzählen können. Es geht darum, unsere körperlichen Erfahrungen im Raum in diese neuen Welten miteinzubeziehen. Dafür müssen wir respektieren, dass es relevant ist, in welchem Raum sich unserer Körper aufhält. Auch weil es am naheliegendsten und, nicht zuletzt ökonomisch betrachtet, am realistischsten ist, vom Faktum unseres körperlichen Existierens im physischen Raum auszugehen.
Reinfeld: Das sehe ich genauso. Aber Sie hatten die Probleme bei zu vielen unterschiedlichen physischen Wirklichkeiten und einem gemeinsamen virtuellen Treffpunkt bereits genannt. Wie bekommen wir die vielen Randbedingungen in einem beide Welten berücksichtigenden, ich nenne ihn mal ‚dritten Raum‘, zusammengebunden?
Marwecki: Die historische Lösung hierfür war immer Abstraktion und der Einsatz von höherwertiger (Programmier-)Sprache. Also warum nicht jetzt die gleiche Strategie anwenden? Es geht beim kommunikativen Zusammenkommen in Virtual Reality natürlich um etwas anderes als um Storytelling und VR. Am Ende ist das Problem der unterschiedlichen physischen Realitäten nicht eindeutig lösbar, sondern es muss eine elegante Form der Fehlertoleranz (graceful degradation) in der Applikation geben. Die Anzahl der unterschiedlichen Räume oder der virtuellen Objekte im Raum oder die Komplexität der Geschichte können begrenzt werden. Vergleichbar mit einer Applikation, die auf gewisser Hardware flüssig zum Laufen gebracht werden kann, z.B. durch besonders rechenstarke Grafikkarten, aber eben auch auf anderen Maschinen. Wenn die Ansprüche der Anwendung zu hoch sind, muss es Abstriche bei den Räumen geben, indem sie kleiner oder mit weniger Differenz ausgestattet werden.
Reinfeld: Sie skizzieren hier eine Herangehensweise, die für mich eine andere und neue Art des Umgangs mit Raum andeutet. Eine regelbasierte und damit abstrakte Form der Beschreibung von räumlichen Konstellationen virtueller und physischer Zusammenhänge. Darin liegt das Potenzial einer fundamentalen Erweiterung des architektonischen Verständnisses und perspektivisch auch des entwurflichen Umgangs mit diesen hybriden Raumformen.
Marwecki: Diese Beschreibungsmodelle sind auch nachhaltiger. Verglichen mit den eingangs genannten Lochkarten-Algorithmen, die nur auf einer Hardware verwendet werden konnten und schon kurze Zeit später völlig zwecklos waren, sind höherwertige Programmiersprachen universeller und nachhaltiger anwendbar, weil sie einen größeren Grad von Abstraktion formulieren. Dadurch werden flexiblere Verbindungen zwischen Erlebnissen in VR und ihrer haptisch-körperlichen Erfahrung in quantitativ und qualitativ ganz unterschiedlich konfigurierten realen Umgebungen umsetzbar.
Reinfeld: Herzlichen Dank für diesen interessanten Einblick in Ihre Forschungsarbeit. Für mich ergeben sich hierdurch neue und spannende Aspekte in Hinblick auf die Frage einer architektonischen Hybridisierung von virtuellem und realem Raum.
Bildnachweise
Abb. 8.1: Zeichnung Sibylle Gütter.
Abb. 8.2a: Video-Still: https://www.dropbox.com/s/q7v2n3h5n2ft2l7/V12.mp4?dl=0 [05.03.2022]
Abb. 8.2b–c: Zeichnungen Sibylle Gütter.
Abb. 8.3: Aus der Dissertationsschrift von Sebastian Lennard Marwecki, „Virtualizing Physical Space“, Hasso Plattner Institute, Department of Digital Engineering, University of Potsdam, 2021, S. 16, fig. 1b.
Abb. 8.4: Video-Still: https://www.dropbox.com/s/raa8xvbaziqavqq/Stuff%20Haptics%20V14.mp4?dl=0 [05.03.2022]
Abb. 8.5: © OMA. Team: Rem Koolhaas, Gro Bonesmo, Fuminori Hoshino, Kyoko Hoshino, Winy Maas, Ron Steiner, Yushi Uehara, https://www.oma.com/projects/yokohama-masterplan [15.06.2022].
Siehe Evan A. Suma, Zachary Lipps, Samantha Finkelstein u.a., „Impossible Spaces. Maximizing Natural Walking in Virtual Environments with Self Overlapping Architecture“, in: IEEE Transactions on Visualization and Computer Graphics 18/4, 2012, S. 555–564.