Réalité virtuelle, réalité augmentée et réalité mixte

1. Définitions

Réalité virtuelle

La réalité virtuelle est une simulation informatique immersive d’environnements réels ou imaginaires. Elle cherche à être immersive en intégrant les différentes dimensions de l’expérience humaine : interactive, visuelle, sonore, haptique….

La réalité virtuelle vise à permettre aux utilisateurs d’exercer une activité sensori-motrice et cognitive dans ces environnements, comme l’activité qu’ils exercent dans le monde réel.

La réalité virtuelle peut proposer des représentations d’environnements réels ou imaginaires.

Le mode de représentation de ces environnements (qu’ils se veuillent réels ou imaginaires) peut lui-même être réaliste ou fantaisiste. Pour l’aspect visuel par exemple, la réalité virtuelle peut utiliser n’importe quel mode de représentation visuelle : photographie, vidéo, dessin, dessin animé, illustration, environnement 3D dessiné, monde virtuel calculé, etc.

Pendant longtemps, la réalité virtuelle a été associée aux “images de synthèse” : images 3D dessinées ou univers virtuels calculés. Mais aujourd’hui, tous les types de représentations visuelles sont exploités par la réalité virtuelle. Cette dernière se caractérise donc plutôt par les technologies immersives qu’elle utilise que par ses modes de représentation visuelle.

La réalité virtuelle connaît aujourd’hui un engouement sans précédent avec le développement des casques de réalité virtuelle et le fait que les Géants du Web se soient emparés de cette technologie pour en faire un axe de développement du numérique dans les années à venir.

D’un point de vue historique, le premier dispositif de « réalité virtuelle » serait le Sensorama fabriqué en 1962 par Morton Heilig.

Réalité augmentée

Si j’en crois Wikipediala réalité augmentée désigne les systèmes informatiques qui rendent possible la superposition d’un modèle virtuel 3D ou 2D à la perception que nous avons naturellement de la réalité et ceci en temps réel. Elle désigne les différentes méthodes qui permettent d’incruster de façon réaliste des objets virtuels dans une séquence d’images. Elle s’applique aussi bien à la perception visuelle (superposition d’images virtuelles aux images réelles) qu’aux perceptions proprioceptives comme les perceptions tactiles ou auditives. Ces applications sont multiples et touchent de plus en plus de domaines, tels que les jeux vidéo, l’éducation par le jeu, les chasses au trésor virtuelles, le cinéma et la télévision (post-production, studios virtuels, retransmissions sportives…), les industries (conception, design, maintenance, assemblage, pilotage, robotique et télérobotique, implantation, étude d’impact…etc.) ou le médical.”

D’un point de vue historique, le premier dispositif de « réalité augmenté » serait les lunettes EyeTap inventées dans les années 80 par Steve Mann, un chercheur du MIT. Ces lunettes sont les ancètres des Google Glass.

Réalité mixte

La réalité mixte est la plus récente de ces 3 technologies. Elle représente une sorte de combinaison des deux précédentes puisqu’elle consiste en un affichage d’éléments virtuels dans l’environnement réel d’un utilisateur, de telle sorte que ces éléments virtuels donne l’impression d’une présence réelle et presque naturelle dans l’environnement. Avec cette technologie, nous ne sommes plus très loin de la notion d’hologramme.

Cette technologie est notamment représentée depuis quelques mois (même pas quelques années !) par le casque Hololens de Microsoft.

2. Articulation des 3 technologies et modes de représentations

Plusieurs auteurs ont théorisé l’articulation entre ces trois technologies.

En 1994, dans un article intitulé A taxonomy of mixed reality visual displays, les chercheurs Milgram and Kishino ont défini le concept de « continuum réalité-virtualité » des interfaces numériques, décrit par le schéma ci-dessous :

Virtuality_Continuum_2

La traduction de ce concept en termes d’interfaces numériques et de technologies de représentation est représentée par le schéma ci-dessous (source) :

Adapted_milgrams_VR-AR_continuum

On peut constater que la « réalité mixte » telle que je l’ai décrite ci-avant, correspond plutôt, dans cette représentation, au concept de « virtualité augmentée » (« Augmented virtuality », AV), tandis que la « réalité mixte » correspond ici à tout le continuum.

Bon, je ne rentrerai pas dans ce débat. Je me contente de reprendre l’appellation qui commence à s’imposer dans le grand public pour désigner le type de technologie proposée par exemple par Microsoft avec Hololens. D’ailleurs, Mcrosoft lui-même, utilise ce terme de « réalité mixte ».

Pour approfondir cette distinction entre réalité virtuelle, réalité augmentée et réalité mixte, vous pouvez consulter les articles suivants :

Pour terminer sur cette question, je citerai la « matrice de réalité » de Digi-Capital, que je trouve très intéressante pour distinguer les différents types de technologies, de casques ou lunettes associées et d’expériences proposées aux utilisateurs. La voici :

La "matrice de réalité" de Digi-Capital.

La « matrice de réalité » de Digi-Capital.

Voici comment Digi-Capital explique cette matrice :

La matrice comprend 4 dimensions de réalité :

  • Virtuelle : Le monde réel est caché, l’utilisateur ne peut voir que le monde virtuel et des objets virtuels. On utilise des casques.
  • Augmentée : Le monde réel n’est pas caché, l’utilisateur peut voir le monde réel et des objets virtuels. On utilise des lunettes.
  • Immersive : Les composants hardware et software du système se combinent pour tromper le cerveau de l’utilisateur et le faire réagir comme s’il vivait une vraie expérience.
  • Ambiante : Un ou plusieurs composants ne fournit pas le même niveau d’expérience que dans la réalité Immersive (Note: ceci peut être souhaitable, en particulier pour certaines applications de réalité augmentée)

En combinant ces dimensions, la matrice de réalité de Digi-Capital identifie 4 types de dispositifs :

  • Réalité virtuelle immersive : Elle plonge complètement les utilisateurs dans le monde virtuel (ex. :  HTC Vive, Oculus Rift)
  • Réalité virtuelle : Elle fournit une très bonne expérience de réalité virtuelle, mais pas aussi immersive en raison de facteurs clés comme le suivi de position (par exemple Samsung Gear VR)
  • Réalité Augmentée : Elle donne à voir aux utilisateurs l’équivalent d’un affichage tête haute, voire holographique, d’objets virtuels qui apparaissent transparents dans le monde réel à la lumière du jour (ex. : Meta).
  • Réalité Mixte : Elle donne à voir aux utilisateurs des objets virtuels qui apparaissent solides dans le monde réel à la lumière du jour (ex. : Microsoft HoloLens, Magic Leap). Elle permet parfois de switcher facilement entre AR et VR (par exemple ODG)

3. Réalité virtuelle

4. Réalité augmentée

  • Les lunettes (à venir)
  • Les contenus (à venir)

5. Réalité mixte