Tracking

Damit die realen Bewegungen eines Nutzers in die virtuelle Umgebung übertragen werden können, braucht es Sensoren, deren Aufgabe das Tracking ist. Sie kommen vor allem bei fully-immersive VR-Systemen zum Einsatz – z.B. bei CAVE-Systemen oder VR-Headsets. Dabei unterscheiden sich nicht selten die verwendeten Sensoren oder gar die Funktionsweise des Trackings – auch wenn das Ziel das gleiche ist.

Bei CAVE Systemen stecken meist Sensoren in den Seitenwänden, damit die sich darin befindende Person genau lokalisiert werden kann. Das Tracking kann dann z.B. über optische oder akustische Signale ablaufen. Meist trägt der Nutzer sogenannte Marker, die es eben den Sensoren erlauben, seine Position und ggf. auch die Bewegungen nachzuverfolgen.

Dabei wird zwischen passiven und aktiven Markern unterschieden. Passive Marker sind im Prinzip Reflektoren, deren zurückgeworfenes Licht durch spezielle Kameras erfasst werden, das ursprüngliche Licht kommt dabei aus der Nähe der Kameras. Aktive Marker hingegen strahlen das Licht selber über LEDs aus, teilweise abwechslungsweise und blitzschnell, teilweise strahlen mehrere auf einmal.

Die Marker können dabei auf diversen Arten angebracht sein: an Gegenständen, die der Nutzer hält, an seiner Kleidung, an einem Ganzkörperanzug, oder auch am Kopf, was dann Head-Tracking ermöglicht. Die Möglichkeiten von Head-Tracking in einem CAVE-System zeigt dieses Video auf:


Bei den VR-Headsets ist ein Teil der Sensoren im Headset selber integriert, für den anderen Teil braucht es externe Komponenten. Da der Anwender das VR-Headset auf dem Kopf trägt, sind die Sensoren hauptsächlich für das Tracking seiner Kopfbewegungen zuständig (Head­-Tracking). Im Prinzip sollen sämtliche Bewegungen des Kopfes im dreidimensionalen Raum erfasst werden (Kopfrotation & lineare Kopfbewegungen), damit das Erlebnis in der virtuellen Welt möglichst realistisch wirkt.

Die möglichen Kopfbewegungen, dargestellt im dreidimensionalen Raum mit den x, y und z-Achsen.

Dazu besitzen VR-Headsets eine Kombination aus Sensoren: Beschleunigungssensor, Gyroskop/Gyrometer sowie Sensoren zur Positionsermittlung: Letztere sind bei der HTC Vive Photosensoren, bei der Oculus Rift Infrarot-LED’s. Die ersten Prototypen, z.B. der Oculus Rift konnten die Kopfneigung nicht erfassen (lineare Kopfbewegungen), oder man konnte sich aufgrund des beschränkten Trackings nicht vollständig umdrehen.

Damit die Positionsermittlung nun funktioniert, braucht es als Gegenstück mehrere externe Komponenten, die in der realen Umgebung, wo der Nutzer mit der virtuellen Realität interagieren wird, positioniert sind.

Im Fall der Oculus sind das die sogenannten Constellation sensors, die das ausgestrahlte Infrarotlicht vom Headset (oder auch den Touch Controllern) erfassen und normalerweise vorne links und rechts platziert werden. Sie kommunizieren mit dem Computer über USB.

Ein Constellation Sensor von Oculus.

Bei der HTC Vive sind es die sogenannten Basisstationen, die den aktiven Teil übernehmen und spezielle Infrarot-Laser aussenden, welche durch die Sensoren im Headset erfasst werden. Diese sollten für bestmögliche Resultate in den entgegengesetzten Ecken des Raums platziert sein und brauchen im Gegensatz zu den Oculus-Sensoren nur Strom.

Eine montierte Base Station vom Lighthouse Tracking-System der HTC Vive.

Natürlich muss auch beim Tracking die Latenz möglichst klein gehalten werden, damit es sich für den Nutzer natürlich anfühlt – dafür muss die Wiederholfrequenz sehr hoch sein (Prototyp Oculus: 1000 Hz).