Quand nos désirs d’ubiquité et de téléportation guident nos envies de technologie

Il est étonnant de constater à quel point nos désirs d’ubiquité et de téléportation ― ces deux pouvoirs dont la nature ne nous a pas doté (ou pas encore ?), et que nous rêvons donc comme des super-pouvoirs que nous attribuons à défaut à des super-héros de fiction ― nous hantent à travers nos envies de technologies et nos innovations en la matière.

Cet imaginaire est particulièrement visible dans la séduction qu’exercent (et l’effervescence que créent) depuis peu les technologies de téléprésence. On peut regrouper sous cette appellation les robots de téléprésence (dont j’ai déjà parlé à plusieurs reprises), les services de streaming vidéo en temps-réel (Periscope, Meerkat, etc.), certaines technologies de visioconference et bien-entendu les casques de réalité virtuelle, notamment lorsqu’ils permettent de visualiser des vidéos immersives à 360°, et encore plus lorsque ces vidéos sont diffusées en live.

Casques de réalité virtuelle + vidéo 360° en temps réel = téléportation ?

Une illustration flagrante en a été faite lors de la Facebook F8 Developers Conference qui s’est déroulée les 25 et 26 mars 2015 à San Francisco. Lors de cet événement, Mark Zuckerberg a annoncé que de nouvelles fonctionnalités de visionnage de vidéos 360° seraient bientôt disponibles dans Facebook et pour le casque Oculus Rift. Et pour faire la démonstration de ces services, la firme avait installé sur scène ce qu’elle a appelé une “cabine de téléportation” : dans cet espace, des spectateurs étaient invités à utiliser le casque de réalité virtuelle pour “visiter” à distance et en direct le siège social de Facebook. Ils visionnaient en réalité une vidéo 360° diffusée en direct (je ne sais pas qu’elle était la technologie de captation de la vidéo, mais je serais curieux de savoir). Ce que certains ont appelé une “live 360 VR video”.

La "station de téléportation" de la Conférence F8 de Facebook.

La « station de téléportation » de la Conférence F8 de Facebook.

Lors de cet événement, Facebook a donc réuni dans un même mouvement imaginaire les concepts d’ubiquité et de téléportation !

Et le public a suivi ! Dans cet article, le journaliste Dean Takahashi parle même de “l’application de téléportation” de Facebook. Il raconte son expérience : « La démo m’a projeté dans une vidéo en direct de la place centrale à l’intérieur du siège de Facebook à Menlo Park, en Californie. (…) C’était effectivement comme si j’avais été téléporté sur le campus. Les images de la vidéo étaient floues, mais elles étaient assez claires cependant pour que je sois en mesure de voir les gens et de reconnaître les visages « .

Identifier le lieu où l’on est projeté, ainsi que les personnes que l’on voit, tels sont deux éléments clés du sentiment de téléprésence.

Côté technologies, Dean Takahashi associe celle du live streaming video à celle de la réalité virtuelle comme produisant l’une et l’autre (ou encore mieux : lorsqu’elles sont associées) cet effet de téléportation : « Je n’irai pas jusqu’à dire que Zuckerberg a déjà rentabilisé son acquisition d’Oculus VR pour 2 milliards de dollars. Cette démo donne juste un aperçu de ce que pourra donner la réalité virtuelle ― ainsi que la vidéo en livestreaming – à l’avenir. C’est bien parti en tout cas. « 

Vidéo = illusion de téléportation  vs  Univers 3D = sensation d’immersion

La précision de Dean Takahashi est importante car les utilisateurs ne font pas autant référence à la téléportation lorsque les casques de réalité virtuelle les plongent dans un univers virtuel en 3D, tel que celui des jeux, plutôt que dans une représentation vidéo 360°.

La notion de téléportation implique le déplacement dans l’univers réel et non dans un univers imaginaire. La question n’est d’ailleurs pas tant (ou pas seulement) celle du réalisme de la représentation qui serait suposée plus forte dans la photo et la vidéo que dans les univers virtuels que celle de la représentation de lieux réels, qui existent réellement sur notre planète (ou pourquoi pas ailleurs ?) et surtout de la représentation de ce qui s’y passe en réalité, avec des gens réels qui se trouvent réellement sur place. Dans ce contexte, une vidéo à 360° est plus efficace pour restituer cela qu’une photo sphérique. Une vidéo 360° diffusée en live l’est encore plus. Et peut-être qu’une vidéo 360° live en relief le sera encore plus (Il en est question  + Voir un exemple ici) !

A l’inverse, lorsqu’ils sont plongés dans des univers 3D, j’ai l’impression que les utilisateurs parlent plutôt de sensation d’immersion. Et celle-ci est d’autant plus forte que le dispositif donne l’illusion que cet univers est non pas réel mais réaliste, et qu’il réagit en totale adéquation avec les actions de l’utilisateur. C’est ce qu’on peut lire dans cet article d’un blogueur testant le HTC Vive :

  • Adéquation des mouvements réels et des mouvements virtuels : « Ici, tout semble simple puisqu’il suffit de marcher dans une direction du monde réel pour que le personnage du monde virtuel suive cette direction. La sensation d’immersion est alors totale puisqu’on a l’impression d’être cette personne virtuelle. »
  • Réalisme de la représentation : « Les premières impressions (…) sont bonnes. Mais l’expérience n’était pas parfaite. (…) La définition de l’affichage empêche de se sentir en totale immersion lorsqu’on s’approche des objets puisque ceux-ci manquent de détails. (…) C’est problématique pour les jeux, mais également dans les applications professionnelles de réalité virtuelle qui se basent sur du photoréalisme pour donner l’impression d’immersion. Si la scène est dégradée, on aura du mal à se sentir vraiment présent. »

Finalement, on a les correspondances suivantes :

EnjeuAdhesionVR&video360

On retrouve cette distinction dans les témoignages des journalistes et blogueurs qui restituent leur expérience des casques de réalité virtuelle. Le terme de téléportation est beaucoup moins utilisé par ceux qui ont testé le HTC Vive avec les univers virtuels de Valve, que par ceux qui ont expérimenté des vidéos 360° via l’Oculus Rift. Et c’est l’inverse pour le terme d’immersion.

Dans l’article Hands on: Attempting teleportation with Google Jump Panoramic VR Videos, le journaliste pointe les défauts de la solution de Google à créer l’illusion de la téléprésence ou de l’ubiquité. Ce faisant, il montre bien que la création de cette illusion est l’effet recherché.

L’utilisation du concept de téléportation par les marques 

L’imaginaire est ce qui fait le lien entre les technologies et leur exploitation marketing par les marques, car ce que les marques utilisent à travers les technologies, c’est non seulement leur utilité, mais également les aspirations humaines que ces technologies mobilisent chez leurs utilisateurs.

Or, les technologies de téléprésence mobilisent notre désir d’ubiquité ou de téléportation.

Aussi, les hôtels Marriott ont-ils imaginé une campagne intitulée The teleporter, dans laquelle ils « téléportaient » des passants dans des univers lointains (voir la vidéo de promotion).

Lors du salon du bourget 2015, la marque ATR a utilisé quasiment le même dispositif avec la même accroche.

On trouve ainsi des usages similaires dans le tourisme, le marketing, le jeu, l’apprentissage, etc. :

Le live streaming video nous transporte ailleurs par l’urgence de l’instant

On retrouve aussi l’imaginaire de la téléportation et de l’ubiquité dans le discours autour des services de streaming vidéo en temps réel (live streaming video) tels que Periscope, Meerkat ou Younow. Il suffit par exemple de citer la page de présentation de Périscope, sur le site web du service :

“Il y a un peu plus d’un an, nous avons commencé à nous intéresser de très près à l’idée de découvrir le monde à travers le regard des autres. Et si vous pouviez littéralement voir ce que voit un manifestant en Ukraine ? Ou regarder le lever du soleil depuis une montgolfière en Cappadoce ? Cela peut sembler être une idée folle, mais nous voulions nous rapprocher au maximum de la téléportation. S’il existe de nombreuses autres façons de découvrir des événements et des lieux, nous avons constaté que la vidéo en direct est actuellement le meilleur moyen de le faire. Une photo vaut mille mots, mais la vidéo en direct peut littéralement vous transporter quelque part, comme si vous y étiez.” (C’est moi qui souligne)

Certains évoquent à ce sujet « l’ère de l’immersion mobile en temps réel ».

Un même événement filmé par deux utilisateurs de Periscope.

Cet incendie à New York a été filmé par plusieurs utilisateurs de Periscope le jour même de la sortie de l’app. Vu par de nombreuses personnes, il a été l’un des événements fondateurs du service.

Là aussi, les marques se sont emparées de cette technologie pour jouer sur ce registre. C’est le cas par exemple de Turkish Airlines, qui a retransmis en direct un vol Istanbul-New-York.

Les caméras 3D pourraient révolutionner les visioconférences

Le marketing n’est pas le seul domaine dans lequel les entreprises utilisent l’imaginaire de la téléportation ou de l’ubiquité. C’est également le cas pour certaines situations de travail, notamment les réunions et la communication à distance : “Si mes salariés pouvaient se téléporter, que d’économies de transports d’avion ou de train je ferais !”

Or, des fournisseurs de solutions d’entreprises construisent justement leur offre et leur marketing autour de ce concept. C’est le cas de Personify, dont le site web décrit ainsi la solution : “Video Conversation, With a Hint of Teleportation. Step out of the video box and into a shared virtual space.”

Personify utilise la technologie de caméra 3D développée par Intel, Intel RealSense, qui est disponible également sur son ordinateur révolutionaire Sprout. Comme l’explique cet article, “les caméras RealSense disposent de trois lentilles, une caméra 2D standard pour la photo et la vidéo, mais aussi une caméra infrarouge et un projecteur laser infrarouge. Les parties infrarouges permettent à RealSense de calculer la distance entre les objets, mais aussi de séparer des objets sur différents plans. Elles servent également à la reconnaissance faciale ainsi que celle des gestes. (…) Techniquement, RealSense est un appareil photographique plénoptique. Comprenez : un appareil photographique numérique qui utilise une matrice de micro-objectifs qui permettent d’enregistrer les informations 4D d’un flux lumineux. Ce qui permet en particulier de faire (…) du filtrage (…). En effet, RealSense saisit de multiples couches, vous pouvez ensuite appliquer un filtre noir et blanc ou une saturation lourde à chaque tranche de la trame.”

A elle toute seule, cette technologie permet de réunir une multitude d’usages et de fonctionnalités que je ne connaissais jusqu’à présent qu’à travers des appareils distincts :

    • Reconnaissance des gestes pouvant être utilisée pour le contrôle d’une interface classique, à la manière de Leap Motion ou de Kinect, ou d’une interface de réalité virtuelle, comme un contrôleur associé à un casque de réalité virtuelle.
    • Changement de mise au point d’une image après la prise de vue, à la manière de Lytro ou des applications FocusTwist ou Appareil Photo Google.
    • Application de filtres à une image, comme Instagram.
    • Mesurer des distances ou des objets présents dans une image ou devant soi.
    • Scann d’un objet ou d’une personne en 3D pour en faire un modèle ou une image 3D.
    • Reconnaissance faciale, via le scann 3D évoqué ci-dessus.
    • Aide à la conduite autonome de drones ou robots.
    • Etc. Etc.

Autant de fonctionnalités et d’usages possibles réunis dans une seule caméra intégrée à votre appareil, c’est bluffant ! (liste des appareils sur lesquels le système est implanté)

Encore mieux : j’en ai laissé une autre de côté exprès, celle utilisée par Personify ! Il s’agit d’utiliser la capacité qu’a la caméra d’Intel à identifier les niveaux de profondeur de chaque élément dans une image pour détacher un objet ou une personne située au premier plan, du fond de l’image situé au second plan, un peu comme dans la technique du tournage sur fond vert. Dans le cas de Personify, la caméra de l’ordinateur découpe donc en temps-réel l’image de son utilisateur. Elle l’affiche à l’écran de manière détourée. Le fond de l’écran peut alors être remplacé par n’importe qu’elle image, notamment une interface logicielle, par exemple PowerPoint si vous voulez faire une conférence à distance. Personify permet alors de réunir de la même manière tous les participants à la conférence. Ils s’affichent côte à côte à l’écran, détourés sur l’image de fond. On peut alors faire une réunion autour d’un même écran partagé, en ayant l’impression d’être tous côte-à-côte.

J’avoue qu’ici la comparaison avec la téléportation me paraît être plus dans le concept que dans le ressenti. C’est une sorte de téléportation par collage d’image. On est sans doute plus dans l’ubiquité. Mais c’est franchement original. Et encore une fois, la technologie Intel RealSense est franchement bluffante.

Personify réunit plusieurs personnes dans un même écran.

Personify réunit plusieurs personnes dans un même écran.

Je noterai pour terminer sur ce point, qu’Intel n’et pas le seul à travailler sur les caméras 3D. Apple a racheté la société PrimeSense en 2013. PrimeSense a notamment fourni la technologie de la première Kinect de Microsoft. Ce dernier a depuis développé sa propre technologie avec la Kinect XBox One. Enfin, Google travaille également en ce sens avec son Projet Tango. Les applications et technologies de téléprésence semblent avoir de beaux jours devant elles.

Robots de téléprésence

J’ai déjà consacré plusieurs articles aux robots de téléprésence (listés dans ce dernier article notamment). Je vous invite évidemment à les (re)lire. La comparaison avec la téléportation est évoquée par de nombreux utilisateurs, journalistes ou fabricants.

Dans le cas des robots de téléprésence « classiques », l’effet repose sur plusieurs éléments :

  • vous voyez ce qui se passe ailleurs, via la caméra sur le robot et l’écran sur votre ordinateur.
  • les personnes présentes sur le lieu voient votre image via l’écran sur le robot qui diffuse ce que filme la webcam de votre ordinateur.
  • vous pouvez interagir avec eux, par la voix notamment, via un système micros/enceintes à chaque bout de la chaîne
  • vous pouvez vous déplacer dans le lieu en commandant le robot à distance.

Pour les gens sur place, l’image de votre visage au sommet du robot donne encore plus l’impression d’un humain. D’ailleurs certains utilisateurs habillent les robots de téléprésence !

Un robot de téléprésence habillé : on se laisserais prendre au jeu !

Un robot de téléprésence habillé. Et hop, plus vrai que nature !

Finalement, dans ce cas de figure, l’impression de téléprésence est presque aussi (voire plus) fortement ressentie par les personnes sur place que par l’utilisateur à distance !

C’est peut-être pour changer cet équilibre qu’est né le projet DORA. C’était justement le sujet du dernier article que j’ai consacré aux robots de téléprésence. Ce projet explore une autre voie. Le robot ne possède pas d’écran mais une sorte de tête avec deux caméras qui font comme deux yeux. Elles permettent à l’utilisateur à distance de visualiser l’image filmée par les caméras via un casque de réalité virtuelle. Le dispositif repose également sur la synchronisation des mouvements de la tête de l’utilisateur avec ceux du robot, ce qui produit une impression très forte de téléportation pour ce dernier plutôt que pour les gens présents sur place qui ne voient pas son image, contrairement aux robots classiques.

Le robot DORA et un utilisateur

Le robot DORA et un utilisateur

Dans un article intitulé The Future of Remote Work Feels Like Teleportation, le Wall Street Journal explique que la sensation va au-delà de la téléportation pour correspondre à la sensation de se retrouver dans la peau d’un autre, ici le robot !

“DORA is a system that accomplishes a near-perfect version of a phenomenon neuroscientist Henrik Ehrsson calls the “body-swap illusion.” As I use DORA, I find myself thinking I’m inhabiting the robot’s body. As I turn around to look at my actual body, sitting at a desk and wearing a VR headset, I think “who is that guy?” Already, systems like the Beam “smart presence system” put a screen and camera on top of a simple, remote-controlled stand, creating something like a Skype robot with wheels. DORA is a natural evolution of this concept.”

Dans un autre article, le journaliste évoque “une expérience de téléprésence immersive, qui évoque la téléportation” et il cite Emre Tanirgan, l’un des porteurs du projet DORA, interviewé par le site Engadget : « [Avec DORA], vous avez l’impression d’être transporté quelque part dans le monde réel et non dans un environnement simulé. Vous voyez les gens interagir avec vous comme si vous étiez réellement sur place. Il est difficile de recréer ce type d’expérience dans un environnement virtuel pour le moment ».

C’est exactement ce que je soulignais un peu plus haut dans cet article.

Concernant l’illusion d’être dans le corps d’un autre, il faut noter que certains médecins ont essayé d’analyser ce qui se passe dans le cerveau des gens à qui ont fait subir ce genre d’expérience.

Avatars virtuels synchronisés

L’article du Wall Street Journal m’a également fait découvrir une autre technologie que l’on peut aussi associer à cette tendance. Le système développé par la société Altspace VR consiste à faire se rencontrer dans un monde virtuel les avatars 3D de plusieurs utilisateurs. Dit comme ça, le système a un petit côté réchauffé tant il fait penser à Second Life et autres mondes virtuels. C’est en grande partie vraie, mais la mise en oeuvre est ici plus élaborée puisqu’elle repose sur l’utilisation d’un casque de réalité virtuelle, comme pour DORA. La différence est qu’ici, point de robot mais des avatars dans un monde virtuel.

Comme je l’ai dit plus haut, le fait qu’il s’agisse d’un environnement virtuel me paraît moins créateur d’une illusion de téléportation. Toutefois, ce qui est intéressant ici, c’est la fonctionnalité de restitution en temps-réel sur l’avatar du mouvement des yeux des utilisateurs via un système d’eye-tracking installé dans le casque de réalité virtuelle. Le journaliste du Wall Street Journal restitue son expérience :

“One of the avatars started talking to me, and while it lacked facial expressions, I discovered something remarkable—just by virtue of our both having bodies in a virtual space, I could tell whom he was addressing, and I could even read his body language, as his robot avatar’s head tracked every movement of his actual head, even though it was thousands of miles away and, like mine, wearing a VR headset. (…) There was no question that, wherever my body was, my mind was in the made-up room and the made-up body AltspaceVR presented to my eyes and ears. Even the three-dimensional sound contributed to the illusion.”

Les yeux des avatars dans Altspace VR bougent selon l'eye-tracking des yeux des utilisateurs.

Les yeux des avatars dans Altspace VR bougent selon l’eye-tracking des yeux des utilisateurs.

Pour conclure, le journaliste fait la synthèse des technologies de téléprésence qu’il a pu tester :

“Technologies like Oblong, Personify, AltspaceVR and, in the far future, DORA all do the same thing: Create or capture some part of the illusion that you are in the same place as someone else. Inflection, body language, facial expressions, interpersonal distance and all the information that we can’t convey with current communication mediums come through loud and clear. Given how geographically diffuse our Internet-centric tools have already made many companies, it is hard to see how these technologies won’t someday transform how we work just as thoroughly as email and the telephone did.” 

Les relations sociales sont le défi ubiquitaire des mondes virtuels

Si la fonctionnalité d’eye-tracking n’est pas encore présente sur tous les casques de réalité virtuelle, elle le deviendra peut-être prochainement. Certains acteurs de poids tels que Facebook et Oculus Rift s’intéressent même à la reconnaissance des expressions du visage pour la retranscrire dans les mondes virtuels et les rendre ainsi plus réalistes du point de vue des interactions humaines. Car l’axe par lequel les mondes virtuels (à l’opposé de la vidéo 360°) semblent vouloir et pouvoir créer une illusion efficace de téléportation semble être celui de la restitution la plus réaliste possible des comportements humains. L’illusion d’ubiquité des mondes virtuels passera sans doute par leur capacité à permettre des relations sociales.

«Quand les gens se réunissent dans l'espace virtuel de High Fidelity, comme ce club, leurs avatars peuvent refléter leurs expressions faciales de la vie réelle.

« Quand les gens se réunissent dans l’espace virtuel de High Fidelity, leurs avatars peuvent refléter les expressions faciales qu’ils ont au même moment dans la vie réelle. »

C’est aussi ce sur quoi travaille actuellement Philip Rosedale, le créateur de Second Life, à travers sa nouvelle société, High Fidelity. « [Dans cet univers virtuel], explique-t-il, nous voulons que vous interagissiez avec d’autres personnes de manière émotionnellement normale ». Selon Jeremy Bailenson, responsable du Stanford University’s Virtual Human Interaction lab, « les avatars de Second Life avaient des visages assez réalistes, mais les utilisateurs n’avaient pas de moyen de les contrôler. High Fidelity a résolu ce problème. Quand j’ai récemment essayé cette technologie, ce que j’ai ressenti, c’est : « Cela donne vraiment l’impression qu’il y a une autre personne ici ».

 

Pour David Nahon, responsable du laboratoire d’immersion virtuelle (iV) de Dassault Systèmes, cela passe par 3 facteurs très bien expliqués dans la vidéo ci-dessous :

  • voir et percevoir son propre corps
  • percevoir le monde réel autour de soi tout en continuant à être dans le monde virtuel (permettre une prise en compte ou une restitution du monde réel dans le monde virtuel)
  • et enfin avoir des interactions sociales avec d’autres personnes réelles via leur avatar ou leur image

Dans cette vidéo, on voit que se mêlent en permanence des images de type univers virtuel avec des images de type vidéo, de la même manière qu’alternent des vues à la 1ère personne avec des vues à la troisième personne. Ce mix me paraît très intéressant par rapport à la création ou non d’une illusion d’ubiquité ou de téléportation.

 

Pourquoi les casques de réalité virtuelle fascinent-ils ?

Les casques de réalité virtuelle séduisent parce qu’ils combinent les réponses à plusieurs aspirations :

  • L’immersion, c’est-à-dire le fait d’être plongé au coeur d’un environnement visuel et sensible qui se substitue à l’environnement réel ou contextuel, ce qui nous permet d’oublier ce dernier l’espace d’un instant…
  • L’ubiquité, c’est-à-dire le fait d’être présent dans deux lieux à la fois, ici et ailleurs, à se transporter ailleurs sans bouger (illusion de téléportation). L’impression d’ubiquité est d’ailleurs parfois créée par des techniques d’immersion.
  • Le jeu et l’interaction que permet un univers virtuel interactif.
  • La fascination pour les représentations réalistes, qu’elles soient virtuelles ou vidéo (“c’est plus vrai que nature, on s’y croirait, c’est bluffant !”).

Ces aspirations provoquent l’adhésion et la captation des utilisateurs de casques de réalité virtuelle.

Les marques et les organisations peuvent alors utiliser et mettre à profit ces aspirations pour proposer à leurs publics des expériences… :

  • d’apprentissage
  • de jeu
  • de publicité, d’influence
  • de prévention, de prise de conscience
  • de fiction
  • etc.

J’en ai déjà présenté plusieurs dans de précédents articles.

Dans ce contexte, les casques de réalité virtuelle se distinguent des dispositifs environnementaux de type CAVE de la manière suivante : ils proposent une expérience individuelle, autonome, mobile, qui repose sur l’équipement corporel, tandis que les dispositifs environnementaux proposent une expérience statique, installée dans un lieu, mais qui laisse le corps libre de tout appareillage. 

Quand n’importe quelle surface devient une interface. Episode 1 : « L’environnement cliquable ».

Dans les films de prospective que certaines marques consacrent à l’avenir des interfaces, on est frappé de voir à quel point elles s’acharnent à vouloir rendre n’importe quelle surface interactive, c’est-à-dire à vouloir transformer n’importe quelle surface en interface, aussi bien d’affichage que de commande.

Dans le dernier article que j’ai consacré à ces films, j’insistais surtout sur les surfaces transparentes. J’ai ensuite consacré toute une série d’articles aux surfaces transparentes utilisées comme interfaces. Dans la série d’articles qu’inaugure ce billet, j’aimerai cette fois ci parler de toutes les surfaces, même opaques. Au-delà des surfaces transparentes, dont j’ai déjà montré le rôle central, il me semble en effet qu’un mouvement a été enclenché qui voudrait qu’à l’avenir n’importe quelle surface puisse être rendue interactive, et donc transformée en interface.

C’est ce que décrit très bien ce reportage, où sont interviewés Jean-Louis Fréchin et Joël de Rosnay :

Jean-Louis Fréchin y explique donc que nous assistons à “la disparition des écrans » au sens spécifique d’aujourd’hui dans la mesure où toute surface pourra être écran demain, c’est-à-dire une surface pouvant afficher de l’information. C’est ce que Joël de Rosnay appelle “l’environnement cliquable”, dont il précise qu’il n’est pas seulement une interface d’affichage, mais aussi, potentiellement, une interface de commande et un capteur de données, qu’il restitue ensuite. Pour Joël de Rosnay, “on va donc être fliqué en permanence dans cet environnement puisqu’il a des yeux et des oreilles”.

Plusieurs exemples existent de concepts ou de prototypes qui prolongent cette vision d’un environnement quasi intégralement “cliquable”.

C’est le cas de cet appartement, baptisé Openarch, qui propose à ses habitants un environnement digital immersif impressionnant :

Pour en savoir plus sur ce projet conçu par l’agence de design espagnole Think Big Factory, vous pouvez vous rendre sur le site web de l’agence ou lire cet article : Walls that really CAN talk (and tweet): The interactive ‘iPad house’ where every surface is a touchscreen.

C’est le cas également de ce concept d’hôtel, ITH Xperience Room, imaginé par l’agence (espagnole encore !) Serrano Brothers :

Celle-ci s’y est notamment appliquée à dresser l’inventaire de toutes les technologies et matériaux existants sur lesquels repose leur projet, pour bien montrer à quel point il n’est pas irréalisable mais ancré dans les technologies d’aujourd’hui.

Plus d’infos sur ce projet dans cet article d’Influencia : ITH Xperience Room : bienvenue dans l’hôtel du futur !

Évidemment, bien des questions se posent à la découverte d’un tel projet : est-ce bien pertinent ou utile ? utilisable ? psychologiquement supportable ? les choix de conception présentés sont-ils les bons ? etc.

Je ne rentrerai pas dans cette discussion aujourd’hui. Mais dans les prochains articles de cette série, à l’image de ces deux projets, je voudrai par contre essayer de lister de quelle manière n’importe quelle surface peut devenir une interface, que ce soit d’affichage ou de commande. Nous sommes donc ici au-delà des écrans au sens habituel, c’est-à-dire des supports dont la raison d’être est d’afficher des informations, nous allons étudier les surfaces qui ont une raison d’être initiale autre que l’affichage d’informations, mais que l’on transforme ainsi ensuite.

Quand les images superposent différents moments du temps – Episode 3/3 : l’ubiquité temporelle dans la réalité augmentée.

Dans le premier billet de cette série, je vous parlais de vidéos qui représentent selon moi des variations sur l’ubiquité temporelle via leur usage de la superposition de deux moments dans une même image. Dans le second billet, j’évoquais la mise en oeuvre de mécanismes similaires dans le domaine photographique. Dans le présent billet, je vais aborder la question dans le champ du numérique et plus particulièrement de la réalité augmentée, technologie ubiquitaire par excellence.

L’un des principaux mécanismes de la réalité augmentée consiste justement à superposer des images ou des informations à une vue contemporaine de la réalité. Dans certains cas, on peut superposer des images anciennes à la vue contemporaine (réalité augmentée tournée vers le passé), dans d’autres cas, on superpose des images prospectives à la vue contemporaine (réalité augmentée tournée vers le futur). Dans les deux cas, la réalité augmentée crée des situation d’ubiquité temporelle en superposant deux moments dans une même image.

Il existe évidemment plein d’autres usages de la réalité augmentée (superposition d’informations à la vue contemporaine, superposition d’images imaginaires, ludiques, créatives, etc.). Je ne les aborderai pas ici car ce serait trop long et ce n’est pas exactement notre sujet.

Superposition tournée vers le passé

Le premier exemple que je vous propose est une série d’applications pour smartphones intitulée Ma ville avant. Créées, pour la première, en 2011, ces applications permettent de comparer des photos anciennes d’une ville à des photos contemporaines. Elles proposent plusieurs modalités d’affichage de ces reconductions photographiques : juxtaposition des images (à gauche dans l’illustration ci-dessous) ou superposition (à droite) avec un système de transition dans l’esprit de celui proposé dans l’article du blog Le voyage de Seth et Lise, cité dans le deuxième billet de cette série (sauf qu’ici c’est un effet de fondu enchainé et dans l’autre un effet de volet).

Ma ville avant

L’application Ma ville avant propose plusieurs modalités d’affichage des reconductions photographiques : juxtaposition des images (à gauche) ou superposition (à droite).

 

D’ici quelque temps, l’application devrait également proposer des « photomix » (mixage de l’image ancienne et de l’image contemporaine), à l’image de ceux présentés dans le précédent article.

Disponibles pour 7 villes à ce jour (Paris, Nantes, Metz, Barcelone, Vancouver, Montréal et Toronto), ces applications sont conçues par le biais d’un partenariat entre l’éditeur de l’application et des détenteurs de photos anciennes. Si vous le souhaitez, vous pouvez ainsi prolonger l’expérience de l’application sur des sites tels que :

Je suis tenté de citer ici aussi les dispositifs de réalité augmentée de l’abbaye de Cluny ou du chateau de Cherbourg (voir vidéos ci-dessous). Pourtant, s’ils permettent bien de superposer des images reconstituant l’abbaye telle qu’elle existait auparavant à ce qu’il en subsiste aujourd’hui, la superposition se fait non pas entre deux images, mais entre l’image de synthèse qui représente le passé et la vue réelle que vous avez de vos propres yeux (et non à travers votre smartphone ou votre tablette). A la vue des vidéos ci-dessous, vous conviendrez cependant que l’effet est très proche et tout aussi saisissant.

 


Superposition tournée vers le futur

Si elle sert parfois à superposer le passé au présent, la réalité augmentée peut aussi permettre de superposer le futur au présent. C’est que propose par exemple la société Artefacto, avec son logiciel Urbasee, qui permet de superposer la maquette 3D d’un projet immobilier à la vue en temps réel de votre environnement à travers un smartphone ou une tablette.

L'application Urbasee d'Artefacto

L’application Urbasee d’Artefacto

 

Même chose pour les meubles avec des solutions telles que celles des sociétés françaises Augment ou AchatDesign qui permettent chacune de simuler la présence d’un meuble ou d’un objet 3D dans la pièce où l’on se trouve. Ces solutions peuvent être utilisées par des sites e-commerce ou des professionnels de l’aménagement.

Augment

Avec Augment vous pouvez vérifier si la table de salon vers laquelle vous lorgnez sera effectivement du plus bel effet dans votre salon.

 

De la même manière, les dispositifs d’essayage virtuel de Zugara, les mannequins virtuels de Fits.me ou la solution d’essayage virtuel de lunettes de Fitting Box nous projettent dans le futur du moment où nous posséderions réellement le vêtement que l’on est en train d’essayer virtuellement via ces solutions.

Zugara

Grâce à Zugara, je peux vous le dire : elle vous va bien cette robe mademoiselle. Si si.

 

Voilà. Notre voyage dans les méandres du “temps mélangé sur images » se termine… J’espère que ça vous aura plu ! N’hésitez pas à poster en commentaire vos propres trouvailles dans le domaine…

Quand les images superposent différents moments du temps – Episode 2/3 : des photos ubiquitaires.

Dans le premier billet de cette série, je vous parlais de vidéos qui représentent selon moi des variations sur l’ubiquité temporelle. Dans le présent billet, je voudrais m’attarder sur la mise en oeuvre de mécanismes similaires dans le domaine photographique.

En photographie, il existe une pratique que l’on appelle la reconduction photographique. Elle consiste à réaliser une prise de vue sur le lieu et dans les mêmes conditions (angle de prise de vue, cadrage, focale, éclairage, distance au sujet…) qu’une image plus ancienne, qui sert de référence. On peut ensuite juxtaposer les deux images afin de voir l’évolution du lieu en question.

Reconduction photographique #1 : juxtaposition d’images

A titre d’exemple, les clichés ci-dessous on été pris à Fontenay-le-Comte (Vendée) (source).

Reconduction photographique - Fontenay-Le-Comte (Vendée)

Reconduction photographique – Fontenay-Le-Comte (Vendée)

Dans ce contexte, le lieu est le même et le moment différent. Mais les images ne sont que juxtaposées.

Dans leur blog, Le voyage de Seth et Lise, les deux auteurs ont consacré un article à des reconductions d’images qu’ils ont eu la bonne idée de présenter avec un dispositif interactif tout simple mais intéressant : un volet qui dévoile à la souris soit la photo du passé, soit celle du présent.

Sethetlise

Reconduction photographique #2 : superposition d’images

Une autre pratique, variante de la reconduction, consiste à utiliser une vue ancienne, à se rendre sur le lieu de sa prise de vue et à prendre un nouveau cliché qui intègre la prise de vue ancienne. Cela crée une incrustation dans l’image avec une superposition du passé sur le présent.

C’est à partir d’images de ce type que Taylor Jones, un jeune américain de 22 ans, a commencé le blog Dear Photograph en mai 2011. L’originalité de son projet réside dans son aspect collaboratif : les internautes sont invités à envoyer leur propres superpositions accompagnées d’un court texte descriptif. Les photos sont publiées dans le blog accompagnées d’une lettre commençant toujours par “Dear Photograph”. Le site est un vrai succès aux Etats-Unis et a donné lieu à l’édition d’un livre.

dearphotograph1

Une photo du site Dear Photograph.

dearphotograph2

Une autre photo du site Dear Photograph.

Autre projet similaire, la série Looking into the past, de Jason Powell, visible sur Flickr.

Looking into the past - Jason Powwel

Une photo de la série Looking into the past, de Jason Powell

Suite au succès de sa série, Jason Powell a créé un groupe Flickr qui rassemble plus de 2000 clichés similaires aujourd’hui.

Pour l’anecdote la série de Powell a été inspirée de celle de Michael Hughes, dont je parlerai peut-être un jour dans un prochain billet (suspens !).

Quoi qu’il en soit, faire ainsi ressurgir le passé au coeur du présent, il était normal qu’un tel projet photographique soit choisi pour faire la couverture de l’album d’un groupe nommé… Balbec… (y’a comme un goût de madeleine dans tout ça, non ?)

Pochette de l'album de Balbec

Pochette d’album de Balbec

 

Reconduction photographique #1 et #2 bis : retrouver le film dans la réalité

Les deux pratiques ci-dessus peuvent également être mises en oeuvre pour comparer non pas explicitement le passé et le présent, mais une oeuvre de fiction (par exemple un film) avec le lieu réel où il a été tourné.

C’est ce que certains se sont amusés à faire avec Edouard aux mains d’argent dans la série Edward Scissorhands Filming Locations en utilisant ici la juxtaposition pour présenter les photos.

Une photo de la série Edward Scissorhands Filming Locations

Une photo de la série Edward Scissorhands Filming Locations.

Toujours en mode juxtaposition, mais beaucoup plus ambitieux, et merveilleusement réalisé, le blog Movie Mimic pousse le soin jusqu’à localiser sur une carte chaque reconduction photographique.

Une reconduction photographique du film Midnight in Paris, sur le site Movie Mimic.

Une reconduction photographique du film Midnight in Paris, sur le site Movie Mimic.

Aussi ambitieux et très bien réalisé, le blog FILMography s’amuse quant à lui à superposer aux lieux réels les photos issues d’un film.

Une superposition film-photographie sur le blog FILMography

Une superposition film-photographie sur le blog FILMography

Reconduction photographique #3 : mixage et recomposition d’images

Après la juxtaposition et la superposition, je voudrai évoquer une troisième pratique qui consiste à réaliser un montage ou un mixage d’un cliché ancien et d’un cliché contemporain.

C’est ce que réalise de manière saisissante (comme on peut le voir sur l’image ci-dessous) la néerlandaise Jo Hedwig Teeuwisse dans sa série Ghosts of history (visible aussi sur Flickr et Facebook)

Un montage de la série Ghosts of history, de Jo Hedwig Teeuwisse

Un montage de la série Ghosts of history, de Jo Hedwig Teeuwisse

Même démarche chez le photographe russe Sergey Larenkov qui fait revivre les fantômes de la seconde guerre mondiale dans plusieurs villes d’Europe.

Georgy Zhukov, commandant de l'Armée Rouge, sur les marches du Reichstag à Berlin, en 1945, & aujourd'hui un musée.

Soldats de l’Armée Rouge, en 1945, sur les marches du Reichstag à Berlin, aujourd’hui un musée.

On retrouve également beaucoup d’images de ce type sur le blog Photimages… d’hier et aujourd’hui, par ailleurs dédié à la reconduction photographique en général. Le(s) auteur(s) du blog ont également un Scoop.it sur le même thème.

Pour que ces montages très saisissants soient réussis, cela impose de prendre le cliché contemporain dans les conditions absolument similaires au cliché ancien. C’est donc un tour de force. Mais si c’est le cas, l’impression que procure l’image finale est souvent particulièrement forte en raison justement de cette imbrication très étroite des deux clichés, donc des deux moments du temps, sur une même image. Ce dispositif est l’exacte traduction dans le domaine de la photographie du film de Philipp Stockton dont je vous parlais dans le premier article de cette série. Et l’impression produite par les images est ici assez similaire à celle que j’avais décrite dans le premier billet à propos de la vidéo de Stockton.

Superposition créative

Pour finir, je m’écarte un peu de mon sujet, mais le détour en vaut la peine. Dans les exemples ci-dessus, en effet, la superposition est celle de deux moments du temps. Mais il existe aussi une pratique qui consiste à superposer une image créative sur une image réaliste. C’est ce que propose, avec beaucoup d’humour et de poésie Ben Heine dans une série intitulée “Pencil vs Camera”.

Une image de la série Pencil vs Camera, de Ben Heine.

Une image de la série Pencil vs Camera, de Ben Heine.

 

Pour le plaisir, une autre image de la série Pencil vs Camera, de Ben Heine.

Pour le plaisir, une autre image de la série Pencil vs Camera, de Ben Heine.

Voilà. J’espère que ça vous a plu ! Dans le prochain billet, je vous parlerai de dispositifs interactifs similaires à travers ceux que permet la réalité augmentée !

Quand les images superposent différents moments du temps – Episode 1/3 : des vidéos ubiquitaires.

J’ai découvert récemment la vidéo ci-dessous, de Philip Stockton. Elle m’a tout de suite fasciné.

 

Je trouve fascinant ce film qui superpose sur chaque plan des portions d’images filmées à différents moments. Les différences d’éclairage entre les portions d’une même image, ainsi que l’effet de silhouette provoqué par le découpage des zones, produisent un effet presque surnaturel. Elle fait penser parfois à un collage surréaliste qui serait en mouvement.

Si on analyse la chose, je pense que la vidéo est saisissante parce qu’elle déclenche un double mouvement psychologique à chaque plan :

  • d’une part, on essaie d’identifier les différentes zones de l’image qui correspondent à différents moments, c’est-à-dire à des portions “naturelles” ou “réalistes” d’image,
  • d’autre part, on essaie de suivre, de comprendre ou d’apprécier la scène globale, artificielle, recomposée, dont on cherche l’hypothétique signification, et qui produit en tout cas une impression d’ensemble assez étonnante à chaque fois.

Bref, c’est un film qu’on peut voir et revoir un nombre incalculable de fois, en y découvrant à chaque fois des choses nouvelles ou en ressentant à chaque fois des choses différentes.

Pour l’impression qu’il procure chez moi, ce film me rappelle le clip incroyable de Michel Gondry pour la chanson Come into my world de Kilie Minogue (2001 – oui, ça nous rajeunit pas…) :

 

La technique n’est pas la même (il s’agit ici d’une boucle temporelle) mais le résultat est assez proche : sur un même plan (ici, un panoramique 360°), des images qui correspondent à différents moments se superposent. Ce qui est fascinant chez Gondry c’est la continuité du plan. Le clip est composé d’un seul et unique plan, mais comme la caméra tourne sur elle-même, le décor se répète. Et tout l’art de Gondry consiste alors à jouer sur les personnages et les scènes, qui eux, non seulement se répètent, mais en plus continuent à évoluer et donc se superposent ou se multiplient. L’effet est saisissant…

De tels dispositifs font évidemment penser à la technique de l’incrustation très souvent utilisée dans les trucages de films de fiction. Mais deux choses sont ici différentes :

  1. d’une part, aucune image n’est construite, ou artificielle, ou de synthèse : ce ne sont que des images filmées, certes découpées et recomposées, mais le matériau utilisé n’est constitué que d’images filmées.
  2. et d’autre part, on ne distingue pas un élément particulier qui serait incrusté dans un décor plus global : les différents éléments de l’image (décors et personnages) se mêlent au point qu’on ne distingue aucun élément qui soit explicitement un décor ni aucun élément qui soit explicitement incrusté : tous les éléments sont intimement imbriqués ensemble, et c’est ce qui constitue l’impression étrange et fascinante.

C’est fort bien, me direz-vous, mais pourquoi nous parler de tout cela dans ce blog dédié au digital ? Bon, d’une certaine manière, ce que je viens de dire aurait suffit à justifier que j’en parle dans les rubriques “contenus numériques” et “ça m’intéresse aussi !”. Mais il y a encore une raison supplémentaire, dont je ne me suis pas rendu compte immédiatement, mais qui me paraît désormais évidente : ces deux vidéos ne sont-elles pas, chacune à leur manière, une formidable illustration de l’ubiquité ? Ou plutôt qu’une illustration : la mise en oeuvre dans une vidéo du principe d’ubiquité, l’incarnation ou la réalisation vidéographique de l’ubiquité ?

A moins qu’il ne s’agisse, pour être encore plus précis, de variations sur l’ubiquité ? Car si on définit l’ubiquité comme la capacité à être présent à deux endroits en même temps, la vidéo de Stockton montre plutôt comment deux moments différents peuvent être présents au même endroit, tandit que le clip de Gondry cumule les deux et montre à la fois comment une même personne peut être présente à deux endroits en même temps et comment deux moments différents peuvent être présents au même endroit. Je ne sais pas si vous m’avez suivi, mais ne vous inquiétez pas parce que, en ce qui me concerne, je ne suis même pas sûr d’avoir tout compris au clip de Gondry : il faudrait le regarder en boucle, ce clip qui est lui-même une boucle, jusqu’à en avoir le tournis ! En tout cas, personnellement, je ne sais pas s’il existe un mot pour désigner ces situations d’ubiquités temporelles qui me paraissent borgésiennes ! Si vous le savez, n’hésitez pas à l’indiquer dans les commentaires…

En attendant, puisque le sujet vous intéresse (si vous avez continué à lire c’est qu’il vous intéresse, non ? ;-)) ), j’aimerai évoquer une troisième vidéo qui, par certains aspects, se rapproche de celles dont je viens de parler. Il s’agit du dernier clip de Walk Off the Earth, ce groupe tellement étonnant, adepte des tours de forces musicaux et vidéographiques :

 

Comme les deux précédentes, cette vidéo se joue du temps et de l’image. Que se passe-t-il ici ? Le clip a été tourné en une seule prise, un seul plan, qui enchaîne des séquences qui ne se succèdent pas dans la version finale que l’on regarde. La version finale résulte en effet d’allers et retours dans le plan filmé, où les séquences étaient mélangées par rapport à l’ordre final. Bref, dans la vidéo que l’on regarde l’image ne cesse donc de faire des allers et retours dans le temps de son enregistrement alors même que la bande son se déroule, elle, de manière parfaitement linéaire. Un vrai casse-tête pour les neurones… et un vrai défi à réaliser là encore pour les membres du groupe.

Pour expliquer le tournage, ces derniers ont d’ailleurs diffusé la séquence telle qu’elle a été tournée (à voir sur cette page) : on voit ainsi comment le plan filmé enchaîne différentes séquences du clip final dans le désordre. ça permet de mieux comprendre comment a été construit le clip final. Mais après avoir vu ce “making-off”, on ne regarde plus la version finale avec autant de fascination : la magie n’opère plus de la même manière puisque le secret a été révélé !

Il existe sans doute bien d’autres films ou vidéos qui pourraient se rapprocher de ces trois là, et illustrer à leur manière une autre facette de l’ubiquité. Si vous en connaissez, n’hésitez pas à les signaler via les commentaires.

Dans le prochain billet de cette série, je quitterai l’univers du film pour celui de la photographie, qui propose elle aussi des dispositifs similaires.

Enfin, le troisième et dernier billet de la série sera consacré aux dispositifs de réalité augmentée : l’ubiquité telle qu’on en parle le plus dans ce blog. A bientôt donc !