Comment les casques de réalité virtuelle intègrent-ils la réalité extérieure ?

Dans un précédent article, j’ai présenté les casques de réalité virtuelle comme nous coupant du monde extérieur pour mieux nous immerger dans une réalité artificielle. En grande partie, c’est bien le cas, évidemment (1). Mais si on y regarde de plus près, le monde extérieur n’est jamais complètement absent de ce type d’expérience virtuelle. Mieux même, on constate actuellement chez les fabricants une évolution qui consiste à intégrer de plus en plus, et de multiples manières, la prise en compte du monde extérieur pour améliorer ou enrichir l’expérience virtuelle. Quelles approches constate-t-on en la matière ? En voici un panorama.

Il y a selon moi deux grandes manières d’envisager l’intégration ou la prise en compte du monde extérieur dans l’usage des casques de réalité virtuelle :

• La première repose sur les moyens d’interactions avec l’univers virtuel représenté dans le casque. Ces moyens relèvent bien évidemment du « monde extérieur ». Et ils se révèlent de plus en plus divers au gré de l’imagination des designers et des développeurs, comme on le verra dans cet article.
• La seconde repose sur le contenu affiché dans le casque, qui peut être plus ou moins en relation avec l’environnement extérieur.

Commençons la visite…

1. Prise en compte des mouvements de la tête de l’utilisateur

C’est l’une des fonctionnalités de base des casques de réalité virtuelle. Plus qu’un moyen d’interaction, c’est un mode de fonctionnement : je tourne la tête à droite, la vue virtuelle se décale d’autant dans l’autre sens pour me donner l’impression que je suis réellement immergé dans l’image. Pour réaliser cela, la plupart des casques sont dotés de capteurs qui prennent en compte les mouvements de la tête pour déterminer les mouvements de l’image de manière coordonnée (gyroscope, accéléromètre, boussole…). C’est le cas notamment des Samsung Gear VR, Oculus Rift, Valve VR, Totem Vrvana, etc. La deuxième version de l’Oculus Rift, par exemple, “reconnaît désormais les mouvements de la tête dans l’espace, soit sur trois axes.” (source). Il dépend ensuite du programme joué que celui-ci plonge dans un univers à 360° ou moins.

Pour être plus précis, on peut distinguer trois catégories d’appareils dans ce domaine :

• La plupart des casques avec écran intégré sont reliés à un PC et possèdent des capteurs de mouvement intégrés. C’est le cas de l’Oculus Rift, du Totem VR ou du HTC Revive.
• La plupart des casques qui intègrent un smartphone utilisent quant à eux les capteurs de mouvements du smartphone. C’est le cas du Google Cardboard ou du Zeiss VR One.
• Certains casques qui intègrent un smartphone utilisent malgré tout des capteurs de mouvement intégrés au casque. C’est le cas du Samsung Gear VR et du Visus VR (source).

Petite précision : les casques qui utilisent des câbles offrent évidemment moins de liberté que ceux qui n’en ont pas, notamment pour les mouvements à 360° !

On peut aussi signaler qu’il existe des variantes d’utilisation des mouvements de tête de l’utilisateur : selon que la vue est subjective ou à la 3ème personne, pour bouger l’image virtuelle ou pour naviguer dans l’interface, etc. On trouvera un exemple de vue à la 3ème personne dans le gameplay mis au point par la société Ozwe Games, co-fondée notamment par Frédéric Kaplan, un designer-chercheur-entrepreneur que j’admire beaucoup, et Stéphane Intissar, qui est à l’origine de ce gameplay innovant développé pour Oculus Rift et Samsung Gear VR. Le principe est le suivant : on voit devant soi l’objet ou le personnage que l’on pilote. Lorsque l’on tourne la tête, l’environnement suit en temps-réel, comme pour n’importe quel casque de réalité virtuelle, tandis que le personnage ou l’objet suit quant à lui avec un léger retard. Ce qui permet d’anticiper les actions dans le cadre du jeu. Le dispositif a également une autre particularité très intéressante sur laquelle je reviendrai à la fin de l’article.

2. Prise en compte de la position des mains de l’utilisateur

Nous abordons là un réel moyen d’interaction avec le casque. Il s’agit d’identifier la position des mains et des doigts de l’utilisateur pour visualiser leur avatar dans l’image virtuelle et permettre ainsi à l’utilisateur de jouer “physiquement” avec les mains les mouvements requis dans l’image virtuelle. Le Sulon Cortex et le HTC Valve permettent cela via l’intégration d’un contrôleur.

A propos du Sulon Cortex, le blog Tom’s guide indique par exemple : “Et puisque sans manette, il est impossible de jouer, Sulon ajoute des capteurs infrarouges à son casque afin d’identifier la position des doigts de l’utilisateur, à la manière de Kinect.”

Le casque Sulon Cortex peut interpréter les mouvements des mains de l’utilisateur.

Cette interprétation des mouvements des mains comme élément d’interaction avec un ordinateur, c’est la spécialité de Leap motion. Or, justement, la marque s’est associée à Oculus pour proposer un dispositif Oculus Rift + Leap motion, qui permet d’utiliser le mouvement des mains pour interagir.

oculus + leap

La vidéo ci-dessous dévoile bien les possibilités de cet assemblage :

Depuis, Leap motion a d’ailleurs développé une branche de son activité dédiée aux casques de réalité virtuelle.

Grand bien lui en a pris dans la mesure où, entre temps, Oculus Rift, de son côté, a acheté Nimble VR, une société qui a développé un système concurrent de Leap motion :

Oculus Rift + Nimble VR = expérience virtuelle enrichie par la reconnaissance des mouvements des mains de l’utilisateur.

3. Utilisation de périphériques tenus en mains

Plusieurs casques utilisent des périphériques que l’utilisateur saisit dans les mains et qui sont reconnus par le casque afin de créer une interactivité.

La fonctionnalité de base dans ce registre est évidemment la prise en compte de la souris et du clavier pour les casques reliés à un PC, comme c’est le cas de l’Oculus Rift.

Utilisation du clavier avec un casque Oculus Rift

Mais les choses deviennent plus intéressantes lorsque les périphériques sont portables et manipulables ! C’est le cas du casque d’ANTVR (en cours de financement sur Kickstarter) qui est fournit avec un fusil-jouet reconnu par le casque et intégré au jeu (l’ensemble s’appelle ANTVR Kit).

Des joueurs ANTVR en pleine action !

Pour un tout autre usage, c’est le cas également du projet Pinch VR (ou Pinc VR) qui permet à l’utilisateur de naviguer grâce à deux bagues portées sur chaque index.

Les deux bagues du Pinch VR

Ce dispositif est conçu pour manipuler des interfaces applicatives plus que des univers virtuels :

Le pinc VR est conçu pour naviguer dans des interfaces applicatives.

Pour mieux vous rendre compte de ce que cela pourrait donner, je vous invite à regarder la vidéo disponible dans cet article : Pinc VR headset turns your iPhone 6 into a Minority Report-style interface.

Signalons enfin que le Samsung Gear VR permet quant à lui l’usage de périphériques extérieurs connectés par Bluetooth.

4. Permettre à l’utilisateur de voir l’environnement extérieur

Quittons un instant les moyens d’interaction pour aborder l’une des manières les plus directes de « reconnecter » l’utilisateur à son environnement extérieur, à savoir : lui permettre de voir directement cet environnement extérieur !

C’est ce que permet le casque Totem Vrvana qui “intègre une caméra afin de permettre à son porteur de voir le monde réel à tout moment et ainsi de ne pas tâtonner sur son clavier » (source). La fonctionnalité s’appelle Real World View.

Même chose sur le Samsung Gear VR qui permet d’utiliser la caméra du smartphone Galaxy Note 4 pour quitter l’image virtuelle et voir le monde réel.

De son côté, le casque ANTVR Kit a quant à lui “une petite trappe escamotable sur sa partie basse afin d’autoriser un rapide coup d’oeil au monde réel” (source).

On peut aussi évoquer à ce sujet l’étonnante fonctionnalité Quick Switch de Leap motion sur Oculus Rift :

La fonctionnalité Quick Switch de Leap motion, permet de passer en un geste de la réalité virtuelle à l’environnement réel

5. Proposer des solutions d’interactivité intégrées au casque

Ce domaine regroupe deux grandes catégories d’interfaces :

• Des solutions plutôt matérielles, accessibles à l’extérieur du casque. Ce sont notamment des boutons, des molettes, des touchpad…
• Des solutions plutôt « logicielles », qui permettent une interactivité depuis « l’intérieur du casque ». C’est le cas par exemple de l’eye tracking.

a) Les solutions matérielles à l’extérieur du casque

C’est le cas sur le Google Cardboard, qui dispose d’un bouton d’action magnétique. Quand on tire et qu’on lâche l’aimant, le capteur magnétique du smartphone détecte un changement de champ magnétique et transmet l’information aux applications afin d’effectuer une action. (source)

Le bouton magnétique du Google Cardboard

Le XG Virtual Reality Headset dispose quant à lui d’un “bluetooth clicker. Cet accessoire additionnel remplace le bouton magnétique du Cardboard, bouton qui simule un clic sur l’écran par une distorsion du champ magnétique qui le parcoure” (source).

Sur le casque pour smartphone Vrizzmo, “deux boutons physiques situés de part et d’autre du casque permettent d’interagir avec les applications compatibles, remplaçant ainsi les boutons magnétiques du Google Cardboard.” (source)

Enfin, de multiples boutons équipent le Samsung Gear VR pour effectuer les réglages avant usage (netteté…) ou pour interagir sur les contenus. Il est également équipé d’un touchpad pour naviguer dans les contenus et applications !

b) Les solutions plutôt « logicielles », qui permettent une interactivité depuis « l’intérieur du casque ».

Je veux parler des casques qui utilisent l’eye tracking. C’est le cas du Fove VR : il est “équipé d’une technologie de suivi du regard. Il détecte précisément la zone de l’écran où se porte votre regard. (…) Encore plus fort, Fove peut suivre l’état émotionnel de l’utilisateur en mesurant la dilatation de ses pupilles. Ce casque ne s’intéresse donc pas qu’à l’environnement comme l’Oculus Rift, mais aussi au champ de vision direct de l’utilisateur et aux interactions qu’il peut avoir avec.” (source).

Cette technologie permet des choses étonnantes comme on peut le voir sur cette émouvante vidéo d’un enfant malade jouant du piano grâce au casque Fove :

6. Détection de l’environnement pour l’intégrer dans l’univers représenté

Nous abordons là la seconde catégorie décrite au début de l’article : celle qui consiste à intégrer le monde extérieur dans le contenu de l’univers virtuel. Elle repose sur la capacité de certains dispositifs à « filmer » ou à « capter » l’environnement extérieur pour l’intégrer dans l’image virtuelle. C’est une voie d’autant plus enthousiasmante qu’elle est pleine de possibilités très variées.

On peut en effet distinguer au moins trois alternatives d’intégration :

• suivant que l’image est filmée et restituée comme telle (vidéo) ou qu’elle est scannée et restituée en 3D
• suivant que l’image captée ou filmée se trouve autour de l’utilisateur ou à distance
• suivant que la restitution de l’image se fait en temps réel ou de manière différée

a) Commençons par la restitution en différé d’une image filmée ailleurs. C’est le cas le plus simple à gérer (si l’on peut dire). Il a déjà été utilisé à de multiple reprises par des marques. L’image vidéo est filmée par des systèmes de prise de vue vidéo en 360°. L’une des dernières expériences en la matière est celle imaginée récemment par Digitas LBi pour Dior avec des casques fabriqués sur mesure ! J’avais également évoqué de nombreux autres cas dans cet article.

On pourrait même y ajouter les dispositifs de visionnage de photos, et non de vidéos, comme les applications de visionnage de Google Street View sur Google Cardboard par exemple.

Signalons enfin que Samsung va proposer un catalogue de vidéos 360° appelé Milk VR.

Tout aussi intéressants soient-ils en termes d’immersion, ces dispositifs de téléprésence sont cependant limités en termes d’interactivité dans la mesure où l’image est filmée à l’avance. L’utilisateur ne peut donc se déplacer que dans un univers fini, prédéterminé. Ce sont des expériences d’exploration, qui permettent de s’immerger dans des univers réels mais lointains, inaccessibles sur l’instant. Nous sommes dans des images qui représentent le monde réel (photos, vidéos) et non dans des mondes virtuels imaginaires.

b) On peut également imaginer des dispositifs qui nous plongent dans une image filmée à distance et restituée en temps réel. C’est ce qu’évoque ce billet du blog de Leap Motion, mais je ne connais pas d’exemple réalisé d’une telle expérience. N’hésitez pas à m’en signaler si vous en connaissez.

c) On peut aussi avoir des dispositifs qui nous plongent dans une image scannée (à distance ou à proximité) et restituée en 3D, partiellement ou intégralement, fidèlement ou déformée, en temps réel ou en différé. Il semble que les fabricants s’arrachent les startups qui développent ce genre de technologie. C’est notamment le cas d’Oculus, qui a racheté coup sur coup 13thlab et Surreal Vision (How Oculus Could Extend Into The Real World, Thanks To Surreal Vision).

La vidéo ci-dessous de 13thlab est très impressionnante, même si elle concerne des smartphones plutôt que des casques de réalité virtuelle (mais on imagine la transposition) :

d) Autre cas de figure : l’image est filmée autour de l’utilisateur et restituée en vidéo temps réel. Vous allez me dire : mais dans ce cas quel intérêt ? L’intérêt réside dans le fait qu’on puisse alors mixer ces éléments de l’environnement réel de l’utilisateur avec des éléments virtuels !

Cette capacité est propice à un véritable mix entre réalité augmentée et réalité virtuelle. Lorsque l’environnement est issu du monde extérieur et que les objets sont en 3D, on est quasiment plus proche d’un dispositif de réalité augmentée que d’un dispositif de réalité virtuelle. C’est un dispositif de réalité augmentée en 3D. C’est exactement ce que permettent le casque Hololens de Microsoft, qui parle d’ailleurs à ce sujet d’hologramme, la technologie de Magic Leap ou encore le casque Sulon Cortex.

Commençons par ce dernier. Le Sulon cortex dispose “de deux caméras sur sa face avant. Celles-ci peuvent filmer en permanence le champ visuel de l’utilisateur et le retransmettre en instantané sur l’écran qu’il a devant les yeux. De quoi mêler joyeusement des objets 3D en réalité augmentée dans un décor réel. “ (source)

C’est aussi ce que propose Magic Leap, tel qu’on peut le voir à travers la vidéo ci-dessous, très proche de celle de Sulon Cortex :

C’est enfin ce que proposent également les lunettes Hololens de Microsoft :

7. Interaction sonore

Je ne connais pas d’exemples d’interaction sonore soit avec la voix de l’utilisateur (commande vocale) soit avec l’environnement, mais je pense que ce sera une voie dans laquelle les constructeurs et développeurs ne manqueront pas de s’engager. N’hésitez pas à me faire part des exemples que vous connaîtriez déjà en la matière !

8. Interaction avec les autres utilisateurs

Enfin, dernier élément à prendre en compte, mais non des moindres : l’interaction sociale. A ce jour, elle passe principalement par l’intégration dans les casques de jeux ou d’applications utilisant des interactions sociales. Le jeu Anshar War, créé par Ozwe Games, dont j’ai parlé au début de cet article, est apparemment le premier jeu multi-joueurs disponible sur Samsung Gear VR. La technologie de 13thlab présentée dans la vidéo précédente montre aussi une expérience multi-joueurs. Cet axe sera certainement l’un de ceux qui se développeront le plus dans les années à venir, n’en doutons pas.