Was ist EyeSight beim Vision Pro Headset von Apple? Wie funktioniert es?

Die bahnbrechende EyeSight-Funktion von Apple Vision Pro haben wir noch nie bei einem AR/VR-Headset gesehen. Hier finden Sie alles, was Sie darüber wissen müssen.

Das 3.499 US-Dollar teure Vision Pro-Headset von Apple verfügt über eine bahnbrechende Funktion namens EyeSight. EyeSight ist in visionOS integriert und reduziert das Gefühl der Isolation beim Tragen des Headsets.

Mit Vision Pro haben Sie das Gefühl, dass Menschen in Ihrer Nähe Teil Ihres Augmented Reality (AR)-Erlebnisses sind. Es zeigt auch anderen um Sie herum an, ob Sie sie sehen können oder in AR eintauchen, indem es visuelle Hinweise darauf gibt, worauf Sie sich konzentrieren.

Folgen Sie uns, um alles über EyeSight zu erfahren, einschließlich seiner Funktionsweise, der verschiedenen unterstützten Immersionsmodi und mehr.

Als Zusammenspiel von Hardware und Software ist EyeSight eine der besten Funktionen des Vision Pro-Headsets. Sein Hauptzweck besteht darin, anderen eine digitale Version Ihrer blinkenden Augen zu zeigen.

„Ihre Augen sind ein entscheidender Indikator für Verbindung und Emotionen, daher zeigt Vision Pro Ihre Augen an, wenn sich jemand in der Nähe befindet“, sagte Apple während der Keynote zur WWDC 2023. Der Effekt lässt das Gerät transparent erscheinen. Darüber hinaus kann EyeSight verschiedene Bewegungshintergründe rendern, um Menschen in der realen Welt darüber zu informieren, worauf Sie sich gerade konzentrieren.

In einem Beitrag im Apple Newsroom nennt Apple die Funktion „eine außergewöhnliche Innovation, die Benutzern hilft, mit ihren Mitmenschen in Verbindung zu bleiben.“ Natürlich gibt es bei anderen AR/VR-Headsets nichts Vergleichbares wie EyeSight.

Ein nach außen gerichtetes OLED-Panel auf der Vorderseite des Headsets verwendet eine Linsenlinse, die laut Apple „jeder Person, die Sie ansieht, die richtige Perspektive Ihrer Augen projiziert“.

Wenn Vision Pro erkennt, dass Sie Medien konsumieren oder eine App verwenden, rendert es entsprechende Grafiken auf dem EyeSight-Display, um visuelle Hinweise zu geben. Wenn sich Ihnen jedoch jemand nähert, zeigt der Vision Pro stattdessen Ihre Augen.

Um Ihre Augen realistisch darzustellen, nutzt EyeSight Daten von internen Infrarotkameras, zwei pro Auge, um Ihre Augenbewegungen und Gesichtsausdrücke zu erfassen. Diese Daten werden einem maschinellen Lernalgorithmus zugeführt, der sie mit Ihrer digitalen Persona kombiniert, die beim Einrichten des Geräts mithilfe der nach vorne gerichteten TrueDepth-Kamera erstellt wird.

Was andere sehen, ist eine natürliche Darstellung der Umgebung Ihrer Augen und nicht Ihrer tatsächlichen Augen.

EyeSight unterstützt mehrere visuelle Hinweise, um anderen mitzuteilen, was Sie in AR tun, z. B. wenn Sie vollständig in AR eintauchen, Bilder aufnehmen usw. EyeSight wechselt automatisch den Modus, je nachdem, was Sie gerade tun. Daher ist die EyeSight-Funktion eine der coolsten Anwendungen der AR-Technologie im Alltag, die wir bisher gesehen haben.

In diesem Modus können Sie die andere Person sehen und ihr Ihre Augen zeigen. Wenn die Sensoren des Headsets eine Person erkennen, die sich Ihnen nähert, lässt EyeSight sie vorübergehend in Ihre AR/VR-Welt „einbrechen“, damit Sie wissen, dass sie in der Nähe ist.

Gleichzeitig zeigt die Funktion der Person vor Ihnen Ihre Augen an, damit sie weiß, dass sie Ihre Aufmerksamkeit hat. Wenn sich niemand im Raum befindet, schaltet sich EyeSight ab und zeigt weder Ihre Augen noch einen benutzerdefinierten Hintergrund an.

Wenn EyeSight vollständig in AR oder VR eingehüllt ist, animiert es ein buntes Muster auf dem nach außen gerichteten Display. Der Effekt ähnelt in gewisser Weise der Siri-Kugelanimation, und die Menschen um Sie herum wissen, dass Sie mit Aktivitäten beschäftigt sind. Abhängig vom Grad der Immersion kann EyeSight Ihre Augen auch halbtransparent machen, wenn Sie eine App verwenden.

EyeSight wechselt in diesen Modus, wenn mit dem Headset räumliche Fotos und Videos aufgenommen werden. Ein optischer Indikator für den Medienaufnahmemodus ist ein weißes, nebelartiges Muster, das beim Aufnehmen animiert oder beim Aufnehmen eines Bildes blinkt.

Der visuelle Indikator dient den Menschen in Ihrer Umgebung als wichtiger Hinweis darauf, dass Sie sie aufnehmen, ähnlich dem Kameraauslöserton auf Ihrem iPhone.

Was wie ein verrücktes Gerücht klang, hat sich als wahr herausgestellt. Als einzigartige Funktion des Vision Pro ist EyeSight einer der größten Vorteile von Apple gegenüber konkurrierenden AR/VR-Headsets. Wenn es darum geht, das Tragen eines Gesichtscomputers etwas menschlicher zu gestalten, ist EyeSight genau das Richtige.

Allerdings bleibt abzuwarten, ob wir uns daran gewöhnen werden, dass Menschen in einem öffentlichen Umfeld Vision Pro-Headsets tragen – deren digitale Augen auf seltsame Weise aus der Vorderseite des Geräts hervorschauen.

Christian kam 2021 als technischer Redakteur zu MakeUseOf und konzentrierte sich hauptsächlich auf die Plattformen von Apple. Außerdem deckt er gerne Windows, Android, Unterhaltung, Streaming sowie beliebte Geräte und Apps ab. Er bloggt seit 2008 online bei Plattformen wie Tom's Guide, 9to5Mac und iDownloadBlog, obwohl seine journalistische Erfahrung mehr als 20 Jahre umfasst. In den 1990er Jahren, als das Internet geboren wurde, studierte Chris Informationswissenschaft mit den Schwerpunkten Expertensysteme und Managementinformationssysteme. In seinem Abschlussjahr verfasste er einen Beitrag für ein wöchentliches Magazin über Unternehmen und startete ein Fakultäts-E-Magazin, das auf Disketten auf dem Campus verteilt wurde. Es entfachte eine so starke lebenslange Liebe zum Schreiben, dass er das Studium abbrach und einen Vertrauenssprung in den Journalismus wagte. In den frühen 2000er Jahren arbeitete sich Chris zum Chefredakteur eines Gaming-Magazins hoch. Außerdem gründete er drei IT-Zeitschriften zu den Themen Windows-PCs, Konsolen und Verbrauchertechnologie. Ein Jahrzehnt im Printjournalismus hat seine Schreib- und Redaktionsfähigkeiten verfeinert und gleichzeitig dazu beigetragen, Führungserfahrung zu sammeln. Außerdem gründete und leitete er fünf Jahre lang eine Marketing-/PR-Agentur, die sich auf digitale Kreativdienstleistungen spezialisierte.