Amazon

Gemeinsam mit dem Team habe ich mehrere MR-Headsets getestet: Oculus Quest 2, HoloLens 2 und NReal. Die HoloLens 2 war die klare Wahl. Nur sie konnte virtuelle Inhalte so überzeugend in einen realen Raum einblenden, dass es für eine Konferenzsituation genügte.

Um das Bild jeder Person für den Stream aufzunehmen, habe ich mich für drei Webcams pro Person entschieden. Mit drei Kameras sehen die anderen Teilnehmenden die sprechende Person aus dem richtigen Blickwinkel, egal wo sie am virtuellen Tisch sitzen. Die Software entfernt den Hintergrund aus jedem Bild automatisch.

Die Kameras brauchten eine präzise Halterung. Ich habe einen eigenen Kunststoffständer entworfen und in 3D modelliert, das Team hat einen Prototyp gedruckt. Die erste Version funktionierte.

Das Produkt bestand aus zwei Teilen: einer Web-App, in der Gastgeber Sitzungen anlegen und verwalten, und einer HoloLens-2-Anwendung für die Teilnehmenden. Die Web-App war eine pragmatische Abkürzung für die MVP-Phase. In einer vollständigen Version sollte das Anlegen von Sitzungen ganz ins Headset wandern.

Ich habe User Stories für beide Rollen geschrieben, Gastgeber und Teilnehmende, und anschließend die zentralen Abläufe skizziert. Nach einigen Abstimmungsrunden mit dem Team von Amazon stand der Ansatz für die erste Version fest: minimal halten, schnell testbar machen.

Mit den fertigen User Stories habe ich den gesamten Ablauf für beide Produkte abgebildet. Die wichtigste Bedingung: Beide Seiten mussten synchron bleiben. Ein in der Web-App gewählter Platz musste dem Platz im Headset entsprechen, sonst wären die Kamerawinkel für die anderen Teilnehmenden falsch dargestellt worden. Diese Logik vor den Wireframes zu klären, ersparte später viel Hin und Her.

Bevor ich einzelne Screens gestaltet habe, habe ich ein Design-Kit aufgebaut, das während des gesamten Projekts um neue Komponenten ergänzt wurde.

Im Web-Ablauf hat der Gastgeber zwei Einstiege: einen neuen Raum anlegen oder einem bestehenden beitreten. Im Raum aktiviert er drei Webcams, und die Software entfernt den Hintergrund aus jedem Stream. Im letzten Schritt wählt er einen Platz und verbindet sich mit der Sitzung.

Im Headset geben Teilnehmende eine Raumnummer ein oder scannen einen QR-Code aus der Web-App, um sofort beizutreten. Danach wählen sie ihren Platz am virtuellen Tisch. Diese Wahl muss mit der in der Web-App übereinstimmen, damit die Kamerabilder für alle im Raum aus der richtigen Perspektive erscheinen.

In der Sitzung können Teilnehmende Höhe und Größe des virtuellen Tisches anpassen, andere Personen im Raum umplatzieren und markieren, wo ihr Laptop steht, damit Hologramme nicht den Bildschirm verdecken.

Auf dem Whiteboard zeichnen Teilnehmende auf einem Tablet, und ihre Striche erscheinen in Echtzeit auf einer gemeinsamen Fläche im MR-Raum. Alle in der Sitzung sehen dasselbe Whiteboard, im Headset wie auf dem eigenen Tablet. Diese Funktion trug wesentlich dazu bei, dass sich das Erlebnis nach echter Zusammenarbeit anfühlte und nicht nur nach einem besseren Videocall.

Ohne physischen Controller hängt jede Interaktion im Headset davon ab, dass Handgesten natürlich wirken und schnell erlernbar sind. Ich habe die Standard-Gestenbibliothek der HoloLens 2 durchgesehen und drei ausgewählt: Greifen mit Daumen und Zeigefinger zum Verschieben von Elementen, Antippen mit dem Finger zum Drücken von Buttons und die offene Handfläche für das Handmenü.

Ich war während der gesamten Entwicklung an den Tests beteiligt, habe Sessions mit Teammitgliedern durchgeführt und Probleme dokumentiert. Weil ich bei den Tests dabei war, fielen Probleme bei der Gestenerkennung und im räumlichen UI auf, die in den Designdateien allein nicht sichtbar waren.

Das Team von Amazon hat das Konzept bestätigt. Das MVP bewies, dass ein funktionierendes Mixed-Reality-Konferenzerlebnis mit aktueller Hardware machbar ist, und die zentralen Interaktionen schnitten bei internen Tests gut ab. Das Produkt wurde mit der Empfehlung übergeben, es in die vollständige Entwicklung zu überführen.