Quand n’importe quelle surface devient une interface. Episode 3 : Les surfaces réactives à des actions ou à des gestes de l’utilisateur.

Après avoir parlé des surfaces réactives à des stimulis, j’aimerai évoquer dans ce billet une autre catégorie : les surfaces réactives à des actions ou à des gestes de l’utilisateur. Dans ce cas de figure, à l’opposé de la première catégorie, l’utilisateur interagit avec la surface, qui réagit aux actions et gestes de l’utilisateur.

C’est le cas du Moodwall, un mur de 24 m de long situé à Amsterdam dans un passage piétonnier souterrain. Le mur comporte environ 2 500 LEDs recouvertes par une surface translucide. Grâce à un système de détection des mouvements (j’imagine), le mur réagit au passage des piétons en modifiant l’affichage lumineux. L’objectif de l’installation est de modifier positivement l’environnement sinon un tantinet austère ou angoissant d’un tel passage piétonnier souterrain.

Le Moodwall a été réalisé le collectif Urban Alliance qui rassemblait pour l’occasion les sociétés Illuminate Outdoor Media, Studio Klink et Cube.

Par certains aspects, ce mur est très proche du dispositif de la Tour Rogier/Dexia. La notion de “surface” est en effet également ténue (c’est un mur de LEDs) et tient à la vision d’ensemble que l’on peut avoir du dispositif. Elle me paraît cependant bien réelle du point de vue de la perception que peuvent en avoir les passants.

Le principe consistant à recouvrir une surface de LEDs reliées à des détecteurs de mouvements ou de toucher peut ainsi être appliqué à de nombreux supports et surfaces : murs, sols, vitres, plafonds… Voici une liste d’exemples qui n’a aucune prétention d’exhaustivité :

  • Murs réactifs aux mouvements :

    • La célèbre installation de Moment Factory sur le mur du centre d’information culturelle La vitrine, à Montréal, en 2009 :

 

On trouvera de nombreux autres exemples de toutes ces catégories sur le site de la société Vertigo Systems.

En parallèle des dispositifs similaires au Moodwall et autres surfaces de LEDs, je classerai également dans la catégorie de cet article les vitrines réactives au passage des passants :

La question qui se pose ici est cependant de savoir s’il ne s’agit pas plutôt d’un écran que d’une surface qu’on aurait rendue interactive. En effet, pendant la durée de vie du dispositif, la vitrine dont il est question ici ne remplit plus son office de lieu d’exposition : elle est entièrement dévolue à ce nouveau rôle d’affichage d’une image, ce qui est le propre d’un écran. Pour qu’elle redevienne une vitrine, il faut enlever le dispositif interactif, ce qui n’est pas le cas du Moodwall.

En réalité, cette question se pose pour la plupart des exemples de cette catégorie. On est en effet souvent à la limite de l’écran, car comme les surfaces réagissent aux mouvements des personnes, il est fréquent que les dispositifs de ce type soient conçus spécifiquement pour cela, indépendamment de toute surface préexistante, ce qui tend à en faire des écrans plutôt que des surfaces transformées en interfaces.

La spécificité de ces surfaces-écrans est sans doute qu’elles affichent rarement une information, mais plutôt une image, et d’ailleurs souvent une image non figurative. Si elles affichaient une information, il serait difficile de ne pas y voir un écran au sens où je l’ai défini précédemment.

Pour finir en beauté, le dernier dispositif que j’aimerai évoquer dans cet article est le Firewall, une toile de Lycra associée à une Kinect, un projecteur et un diffuseur de musique. L’interaction de commande se fait par contact tactile avec la toile non seulement en 2D mais aussi en 3D, d’où l’usage de la Kinect. L’affichage se fait par projection vidéo sur la toile. Et la bande son diffusée est également réactive à l’interaction de commande de l’utilisateur. Je vous laisse découvrir l’incroyable poésie de la “chose” en image :

La surface est ici à la fois interface d’affichage et de commande. La spécificité de cette commande est d’ailleurs d’être à la fois tactile et gestuelle. Mais finalement, ce qui domine ici, c’est un contact ambiant et gestuel plutôt qu’un acte tactile de commande intentionnée. Je veux dire par là que l’utilisateur ne sait pas qu’elle réaction va produire son geste. C’est une exploration, un geste, une dance, plutôt qu’une succession d’actions opératoires.

Voilà pour aujourd’hui : la suite au prochain épisode !

Quand n’importe quelle surface devient une interface. Episode 1 : « L’environnement cliquable ».

Dans les films de prospective que certaines marques consacrent à l’avenir des interfaces, on est frappé de voir à quel point elles s’acharnent à vouloir rendre n’importe quelle surface interactive, c’est-à-dire à vouloir transformer n’importe quelle surface en interface, aussi bien d’affichage que de commande.

Dans le dernier article que j’ai consacré à ces films, j’insistais surtout sur les surfaces transparentes. J’ai ensuite consacré toute une série d’articles aux surfaces transparentes utilisées comme interfaces. Dans la série d’articles qu’inaugure ce billet, j’aimerai cette fois ci parler de toutes les surfaces, même opaques. Au-delà des surfaces transparentes, dont j’ai déjà montré le rôle central, il me semble en effet qu’un mouvement a été enclenché qui voudrait qu’à l’avenir n’importe quelle surface puisse être rendue interactive, et donc transformée en interface.

C’est ce que décrit très bien ce reportage, où sont interviewés Jean-Louis Fréchin et Joël de Rosnay :

Jean-Louis Fréchin y explique donc que nous assistons à “la disparition des écrans » au sens spécifique d’aujourd’hui dans la mesure où toute surface pourra être écran demain, c’est-à-dire une surface pouvant afficher de l’information. C’est ce que Joël de Rosnay appelle “l’environnement cliquable”, dont il précise qu’il n’est pas seulement une interface d’affichage, mais aussi, potentiellement, une interface de commande et un capteur de données, qu’il restitue ensuite. Pour Joël de Rosnay, “on va donc être fliqué en permanence dans cet environnement puisqu’il a des yeux et des oreilles”.

Plusieurs exemples existent de concepts ou de prototypes qui prolongent cette vision d’un environnement quasi intégralement “cliquable”.

C’est le cas de cet appartement, baptisé Openarch, qui propose à ses habitants un environnement digital immersif impressionnant :

Pour en savoir plus sur ce projet conçu par l’agence de design espagnole Think Big Factory, vous pouvez vous rendre sur le site web de l’agence ou lire cet article : Walls that really CAN talk (and tweet): The interactive ‘iPad house’ where every surface is a touchscreen.

C’est le cas également de ce concept d’hôtel, ITH Xperience Room, imaginé par l’agence (espagnole encore !) Serrano Brothers :

Celle-ci s’y est notamment appliquée à dresser l’inventaire de toutes les technologies et matériaux existants sur lesquels repose leur projet, pour bien montrer à quel point il n’est pas irréalisable mais ancré dans les technologies d’aujourd’hui.

Plus d’infos sur ce projet dans cet article d’Influencia : ITH Xperience Room : bienvenue dans l’hôtel du futur !

Évidemment, bien des questions se posent à la découverte d’un tel projet : est-ce bien pertinent ou utile ? utilisable ? psychologiquement supportable ? les choix de conception présentés sont-ils les bons ? etc.

Je ne rentrerai pas dans cette discussion aujourd’hui. Mais dans les prochains articles de cette série, à l’image de ces deux projets, je voudrai par contre essayer de lister de quelle manière n’importe quelle surface peut devenir une interface, que ce soit d’affichage ou de commande. Nous sommes donc ici au-delà des écrans au sens habituel, c’est-à-dire des supports dont la raison d’être est d’afficher des informations, nous allons étudier les surfaces qui ont une raison d’être initiale autre que l’affichage d’informations, mais que l’on transforme ainsi ensuite.

Rêves d’interfaces holographiques

Je concluais mon dernier post en évoquant ceux qui imaginent dès aujourd’hui les futures interfaces holographiques. En effet, nous ne savons peut-être pas ce que permettra la technologie, mais cela ne doit pas nous empêcher de rêver à ce que pourraient être ces interfaces. Certains, d’ailleurs, ne s’en privent pas, et je ne parle pas ici des films de science-fiction.

Imaginatifs, c’est effectivement ce que sont tous ces gens qui postent des vidéos qui simulent des interfaces holographiques via l’usage de logiciels 3D et de motion design. Ces vidéos pullulent sur internet ! C’est presque un Mème !

Certaines sont bien faites, à l’image de la vidéo ci-dessus, du studio londonien MGFX Studio (à voir aussi dans cet article ou sur Behance) :

D’autres relèvent d’initiatives disons plus… individuelles, et sont parfois vraiment très drôles. Allez, je vous livre toute une série de liens mais je vous invite à faire des recherches du genre « holographic user interface » dans Youtube si vous voulez en voir plus…

Des concepts de designers

De manière un peu plus sérieuse, ou disons professionnelle, il y a également des designers qui proposent des concepts de devices avec interfaces holographiques.

Kingyo Xie a imaginé le Mercator, un bracelet connecté avec interface holographique :

Le Mercator, un bracelet à interface holographique, imaginé par

Le Mercator, un bracelet à interface holographique, imaginé par Kingyo Xie

Il a également imaginé le iHolo, un terminal qui ressemble à un ipod nano avec interface holographique :

iHolo, un appareil à interface holographique de

iHolo, un appareil à interface holographique imaginé par Kingyo Xie

Autre concept avec interface holographique : l’Apple Black Hole, imaginé par Josselin Zaïgouche :

L'Apple Black Hole, de Josselin Zaïgouche

L’Apple Black Hole, de Josselin Zaïgouche

Le Holo 2.0 est un autre bracelet (magnifique) à interface holographique imaginé cette fois-ci par Elodie Delassus (voir plus de photos du bracelet ici et ) :

Le bracelet Holo 2.0, imaginé par Elodie Delassus

Le bracelet Holo 2.0, imaginé par Elodie Delassus

Des écrans holographiques dans les publicités

Si les designers se laissent aller à rêver d’interfaces holographiques, les publicitaires ne sont pas en reste et saupoudrent également parfois leurs publicités d’hologrammes.

C’est le cas notamment dans la série de spots intitulée Life moves fast, de Palm. Mais on peut s’interroger, dans ce cas de figure, sur un tel usage : l’interface holographique n’est pas une propriété de l’appareil, donc pourquoi la mettre en scène ? Elle n’est d’ailleurs pas mise en scène de manière réaliste puisqu’elle ne « surgit » pas de l’appareil mais apparaît comme par enchantement devant le personnage. Elle a par contre la propriété de faire changer le lieu où se trouve le personnage. On est donc dans la métaphore et l’évocation plus que dans la réalité. L’évocation de la rapidité d’usage et donc de la richesse de l’expérience que permettent-promettent les interfaces holographiques et qui sont donc ici réattribuées à celle du Palm.

 

Evidemment, au final, tout cela reste encore du domaine de l’imaginaire. Et il est difficile de dire quand cela deviendra réel…

Les écrans transparents dans l’imaginaire des films de science fiction

A l’instar des films de prospective d’entreprises, ou de l’imaginaire marketing des banques d’images, les films de science-fiction sont un lieu privilégié pour rêver des interfaces digitales du futur. Et on y trouve bien entendu de nombreuses interfaces transparentes…
 
Loin de moi l’idée de faire ici un inventaire exhaustif de ces films. J’aimerais juste illustrer mon propos par quelques exemples.
 
Commençons avec Avatar. On y voit des écrans de bureau transparents :

avatar uhuhuh

Avatar – 1 – Des écrans transparents dans la salle de contrôle – Source

avatar 1

Avatar – 2 – Ecrans transparents – Source

AVATAR

Avatar – 3 – Ecrans transparents – Source

Fusion x64 TIFF File

Avatar – 4 – Ecrans transparents – Source

avatar_screens_4

Avatar – 5 – Ecran transparent – Source

Mais aussi des tablettes :

avatar-tablet

Avatar – 6 – Tablette transparente – Source

La série Iron Man regorge également d’écrans transparents :

Iron Man - 1 - Ecran transparent fixe - Source

Iron Man – 1 – Ecran transparent fixe – Source

Iron Man - 2 - Smartphone transparent - Source

Iron Man – 2 – Smartphone transparent – Source

Iron Man - 3 - Smartphone transparent - Source

Iron Man – 3 – Smartphone transparent – Source

Iron Man - 4 - Affichage tête haute (HUD) - Source

Iron Man – 4 – Affichage tête haute (HUD) – Source

Iron Man - 5 - Affichage tête haute (HUD) - Source

Iron Man – 5 – Affichage tête haute (HUD) – Source

Pour découvrir les interfaces digitales d’Iron Man en action, je vous invite à regarder les vidéos sur ce lien.

Même chose dans The Avengers :

The Avengers - 1 - Ecran fixe - Source

The Avengers – 1 – Ecran fixe – Source

The Avengers - 2 - Ecrans fixes - Source

The Avengers – 2 – Ecrans fixes – Source

Et enfin dans Minority Report :

Minority report - 1 - Ecran fixe - Source

Minority report – 1 – Ecran fixe – Source

Minority Report - 2 - Ecran fixe - Source

Minority Report – 2 – Ecran fixe – Source

Minority Report - 3 - Ecran fixe - Source

Minority Report – 3 – Ecran fixe – Source

Minority Report - 4 - Tablette - Source

Minority Report – 4 – Tablette – Source

Certes, on trouve également bien d’autres interfaces intéressantes dans ces films mais j’y reviendrai plus tard. Je me limite ici aux écrans transparents.

L’imaginaire dont témoignent ces représentations d’écrans transparents est-il similaire à celui des films de prospective d’entreprises ou des banques d’images ?

Le premier point commun est sans conteste que dans les trois cas, ces images montrent les qualités photogéniques ou cinégéniques des écrans transparents, qui nous font certainement tant les rêver. L’une de ces qualités tient à la luminescence des signes qui s’affichent sur ces écrans. Elle leur donne une présence très forte à l’image. L’autre qualité tient aux jeux d’images et de plans que permet la transparence. Tout d’abord, comme dans les exemples de banques d’images cités précédemment, on retrouve ici des plans où le personnage est vu de face, à travers l’écran transparent. C’est le cas dans la vue 2 de Minority report ci-dessus et les vues 4 et 5 d’Iron man. On rencontre aussi des plans très intéressants où le personnage-utilisateur est vu de 3/4 face et l’écran de 3/4 dos (cf. vues 2, 3, 4 et 6 d’Avatar, vues 1 et 2 de The Avengers et vues 3 et 4 de Minority report). L’intérêt des écrans transparents dans ce type de plan est que l’on peut voir ce que regarde l’utilisateur tout en regardant le visage de l’utilisateur. Enfin, on trouve aussi des plans classiques d’écrans qui utilisent le point de vue de l’utilisateur sur l’écran. (cf. Avatar 4 et Iron Man 1 et 2).

Avant d’évoquer le point suivant, il faut rappeler que dans tout dispositif interactif, on peut distinguer l’interface d’affichage de l’interface de commande. Or, dans toute cette série d’articles sur la transparence, je m’attache d’abord aux interfaces d’affichage. Dans les exemples que j’ai extraits des films ci-dessus, je me suis donc focalisé sur les écrans transparents comme interfaces d’affichage. Évidemment, ces films montrent aussi d’autres types d’interfaces d’affichage, comme je l’ai déjà dit juste avant. Mais je ne m’y attarde pas pour l’instant. Nous verrons cela dans de prochains articles.
 
Ce que je voudrais souligner ici, c’est que pour un même type d’interface d’affichage (l’écran transparent), on peut distinguer plusieurs types d’interfaces de commande. Dans les images ci-dessus, on peut en identifier (ou deviner) 3 types :

  • des interfaces tactiles (cf. Avatar)

  • des interfaces clavier/souris (cf. Minority Report 3)

  • des interfaces sans contact (cf. Minority Report 1 et 2)

Dans un prochain article, je ferai un inventaire de tous ces cas de figure d’articulation entre type interface d’affichage et type d’interface de commande.
 
Il faut noter aussi que dans ces articles, pour l’instant, je ne me demande ni quelles sont les technologies qui rendent possibles ces types d’interfaces, ni s’ils sont ergonomiques, ni à quel cas d’usage ils pourraient correspondre, ni quel est leur potentiel business ou marketing. Je me contente de montrer à quel point ils marquent notre imaginaire. Je reviendrai ultérieurement sur toutes ces autres questions.
 
Pour finir, vous vous demandez peut-être comment ont été conçus ces vrais-faux écrans. L’ont-ils été sans trop de souci de vraisemblance ou de réalisme dans l’utilisabilité ? Ou au contraire, l’ont-ils été comme s’il s’agissait de vrais écrans qui seraient réellement utilisés ?
 
Pour en savoir plus, voici quelques liens vers des articles sur ce sujet, vers les sites web de leurs designers ou vers des interviews de ces derniers :

Les surfaces tactiles transparentes dans l’imaginaire marketing des banques d’images

Dans le précédent article, j’indiquais que le verre comme tout autre matériau transparent devenaient, dans notre imaginaire, les matériaux par excellence porteurs des interactions tactiles. C’est ce que montrent par exemple les représentations des interactions tactiles dans les banques d’images.

En voici quelques exemples :

Ce diaporama nécessite JavaScript.

Évidemment, dans ces images, on ne voit justement pas le verre (ou le matériau transparent de l’écran) ! Mais on le devine : le traitement en aplat des signes suggère la surface plane sur laquelle ils s’affichent. 

Et les observateurs avertis que vous êtes auront remarqué le détail qui a ici toute son importance : curieusement, dans toutes ces illustrations (évidemment, je les ai choisies en partie pour cela, mais quand même…), les utilisateurs sont vus de face, à travers l’écran transparent !! Quelle chance ! En effet, d’une part, l’écran transparent permet cela, et en plus, en faisant cela, on montre bien que c’est un écran transparent ! La boucle est bouclée ! Et si ça, ça n’est pas montrer qu’on est moderne, c’est à désespérer de tout ! ;-))

Bref, voilà bien un mode de représentation tout à fait inédit par rapport aux vues des interfaces antérieures au tactile, où l’image adoptait toujours le même point de vue que celui de l’utilisateur, à sa place ou “par dessus son épaule”. Dans ces images au contraire, c’est soudain comme si on était caché à l’intérieur de l’ordinateur ou derrière l’écran, et donc caché de l’utilisateur… On l’observe sans qu’on sache s’il nous voit (l’écran est transparent mais l’utilisateur ne donne pas l’impression de nous avoir vu). Et grâce à ce procédé, oh miracle !, on a sur la même image l’utilisateur et sa main, l’interface et ses contenus ! Plus que de l’eye-tracking, c’est du hand-tracking !

Vous apprécierez d’ailleurs les qualités photogéniques d’un tel dispositif qui permet justement de montrer sur la même image, par superposition, à la fois l’utilisateur de face (on peut donc voir son visage, son corps, ses mains…) et l’écran avec ses contenus. C’est une superposition inversée par rapport à celle de la réalité augmentée. Dans cette dernière, moi utilisateur, je vois des signes qui se superposent sur l’écran de mon mobile à la vue du monde extérieur. Dans les images ci-dessus : je suis à la place du monde extérieur et j’observe l’utilisateur de l’autre côté de l’écran transparent, lequel affiche donc ses signes entre nous.

De la sorte, la superposition crée presque une sorte de tatouage ou d’écriture sur le corps de l’utilisateur. On se prend à rêver d’un usage plus artistique de ce type de procédé…

En tous cas, si cette question de la superposition des images dans la réalité augmentée vous intéresse, vous pouvez jeter un oeil sur les articles suivants de ce blog qui traitent de ce sujet :

Pour finir, rappelez vous également la scène d’introduction du premier film de prospective de Microsoft que j’ai montré dans le précédent article : elle reprend exactement le même principe de l’écriture sur une vitre filmée depuis l’autre côté de ladite vitre. Nous sommes donc bien dans le même registre de représentation.

Allez, fini pour aujourd’hui. Le prochain article sera consacré aux écrans transparents dans les films de science-fiction. See you soon…

Un monde de verre et de transparence dans les visions futuristes du digital

Comme je l’expliquais dans le précédent article, la transparence représente tellement nos rêves de futur qu’elle influence aussi bien nos représentations marketing des services innovants que nos souhaits de futurs produits, poussant finalement les fabricants à tout faire pour les rendre réels.

 

C’est donc sans doute également la raison pour laquelle, quand une marque (et surtout une marque technologique) présente sa vision du futur de son domaine d’activité, celle-ci est truffée d’appareils tous plus transparents les uns que les autres : frigos, tablettes, écrans, murs, etc. Pour s’en convaincre, il suffit de regarder les vidéos ci-dessous (que j’avais déjà montrées pour la plupart dans un précédent article mais que je remontre ici avec un autre éclairage)…


  • La vision du futur selon Microsoft dans l’édition 2009 de sa série Productivity Future Vision :


  • La présence de la transparence est encore plus forte dans l’édition 2011 de la même série :


  • Corning Inc., spécialiste du verre et de la céramique, est dans son élément avec la série A day made of glass, qui, elle aussi, a donné lieu à deux vidéos à ce jour. La première date de février 2011 :

  • La seconde date de février 2012 :


  • Plus étonnant, John Deere, le géant des machines agricoles, s’est lui aussi prêté au jeu de l’anticipation digitale dans cette vidéo intitulée Farm forward :


  • The astonishing tribe (TAT), une agence de design désormais propriété de Blackberry, s’est également prêtée au jeu :


  • Enfin, Samsung a également livré plusieurs versions de sa vision du futur, ici :

  • et là :

 

Je ne dis pas qu’il n’y a que des supports transparents dans ces vidéos, mais leur nombre suffit quand même à montrer combien ce type de support nous fascine.

 

Ce que dévoile le verre

 

Et ce n’est sans doute pas pour rien que parmi les entreprises citées ci-dessus, il y a un fabriquant de verre et de céramique. Le verre, par ses vertus de transparence, est l’un des matériaux qui incarne le mieux le futur (On pourrait sans doute élargir ça à tous les matériaux transparents, notamment les plastiques…). C’est l’un des matériaux par excellence de la modernité technologique par ses qualités d’effacement. Cela a peut-être d’ailleurs aussi contribué inconsciemment à son usage si fréquent en architecture depuis plusieurs années.

Ce bâtiment en verre s’efface presque derrière les reflets de ciel bleu et de nuages.

Ce bâtiment en verre s’efface presque derrière les reflets de ciel bleu et de nuages.

C’est désormais aussi le cas dans les technologies digitales : le verre, ou d’autres matériaux transparents, deviennent, dans notre imaginaire, les matériaux par excellence porteurs des interactions tactiles, comme nous le verrons dans les prochains articles de cette série… Ah, ah ! Suspens…