Quand n’importe quelle surface devient une interface. Episode 5 : Les surfaces d’affichage et de commande (1/2).

Je vais terminer cette série par les projets ou concepts qui consistent à transformer n’importe quelle surface en interface d’affichage et/ou de commande, comme on peut le voir dans les films de prospective des marques. Cette approche, c’est un peu le rêve absolu (ou le cauchemar absolu ?) de la digitalisation de tout notre environnement. Mais la réalité des prototypes et des produits actuels est cependant encore très loin de ce que l’on peut voir dans les films de prospective.

La principale technique en cours d’expérimentation sur ce point est la projection ou pico-projection, couplée à la reconnaissance de mouvement.

On peut voir cette technologie mise en scène dans des concepts tel que le désormais célèbre concept d’iphone avec projection laser de clavier, dont la vidéo a été vue plus de 60 millions de fois sur YouTube ! :

De nombreux prototypes de technologies similaires sont également expérimentés.

L’un des premiers et des plus célèbres est le prototype SixthSense mis au point par Pranav Mistry au sein du laboratoire Fluid Interfaces Group dirigé par Pattie Maes au MIT Media Lab :

On peut aussi citer le WorldKit system, de Chris Harrison :

OmniTouch est un autre prototype développé par Chris Harrison avec l’Université Carnegie Mellon et Microsoft Research. Il utilise un système de projection et une Kinect :

Un autre chercheur, Nikias Elmqvist, a quant à lui développé un système similaire, intitulé Extended Multitouch, qui dispose de capacités de reconnaissance des gestes tactiles très élaborées, comme on peut le lire dans cet article ou le voir dans la vidéo ci-dessous :

Autre prototype étonnant : celui de Natan Linder, un étudiant du MIT Media Lab qui travaille lui aussi dans le Fluid Interfaces Group de Pattie Maes. Son prototype intitulé LuminAR se présente sous la forme d’une lampe de bureau dotée d’une caméra, de capteurs optiques et d’un projecteur couplés à des logiciels de traitement des données et de scanner.

Récemment, Fujitsu a présenté un dispositif similaire encore plus étonnant par ses performances et son usage puisqu’il est destiné à rendre les livres tactiles et interactifs, et à digitaliser les informations qu’ils contiennent :

Fujitsu envisagerait de commercialiser cette technologie en 2014.

D’autres fabriquants ont devancés tous ces créateurs de prototypes puisqu’on peut d’ores et déjà trouver sur le marché des produits qui utilisent la projection couplée à la reconnaissance de mouvement.

La société Celluon par exemple, commercialise le Magic Cube, un clavier projeté qui n’a rien a envier au concept d’iphone cité au début de cet article :

le Magic Cube de Celluon

le Magic Cube de Celluon

 

La société Light Blue Optics va plus loin en proposant un boîtier appelé Light Touch qui non seulement affiche un clavier de commande mais également des contenus (textes ou images) manipulables tactilement :

Ubi interactive, une start-up qui participe au programme Kinect Accelerator de Microsoft, va encore plus loin en proposant un dispositif de projection couplé à Kinect, qui projette sur n’importe quelle surface l’écran d’un ordinateur tournant sous Windows 8 et avec lequel on peut alors interagir de manière tactile et gestuelle sur la surface projetée :

Pour plus d’informations, lire ces deux articles :

La société Perch propose quant à elle un dispositif pour “transformer les surfaces d’étalage où reposent les produits en interfaces dynamiques fournissant de multiples informations et une expérience interactive” (source) :

La technologie est la suivante : un détecteur installé au plafond permet de repérer les mouvements des clients sur et autour de la table ainsi que leurs interactions avec les articles qui y sont exposés. Un projecteur projette le contenu sur la table et autour des objets.

Je terminerai cet article avec un prototype atypique qui permet de rendre interactive la surface d’un liquide ! Le dispositif s’appelle AquaTop Display. Il a été développé dans les laboratoires de l’University of Electro-Communications de Tokyo.

Plus d’infos, photos et vidéos dans ces articles :

D’autres technologies émergent cependant, plus proches de ce que montrent les films de prospective. C’est ce que nous verrons dans le prochain et dernier article de cette série.

Quand n’importe quelle surface devient une interface. Episode 4 : Les surfaces d’affichage connectées à un dispositif de commande à distance.

Après avoir parlé des surfaces réactives aux stimulis extérieurs et des surfaces réactives aux actions et gestes des utilisateurs, je vais parler dans cet article des surfaces que l’on transforme en surfaces d’affichage de messages, d’informations ou d’images, pilotées à distance via une interface de commande spécifique.

C’est le cas des tee-shirts connectés imaginés par le fabricant Cute Circuit et mis en scène par l’agence Work Club pour Ballantine’s. Ces Ballantine’s T-shirt OS comportent (ou comporteraient car je ne suis pas sûr qu’ils aient été réalisés !!) sur leur surface une sorte d’écran souple composé de 1024 LEDs (32 x 32) capable d’afficher les tweets de leur propriétaire, la musique qu’il écoute, ses photos Instagram… etc. à partir d’une application mobile. Le fabricant a même imaginé que les T-shirts comportent une micro-caméra, un microphone, un accéléromètre et des haut-parleurs ! Un vrai arsenal !

Je vous laisse découvrir ci-dessous la vidéo explicative du concept :

Vous pourrez découvrir plus de vidéos de mise en scène des T-shirts sur la page Facebook de Ballantine’s ou sur la page dédiée du site de Cute Circuit.

Vous pouvez également lire sur le sujet les deux articles ci-dessous :

Autre exemple qui rentre dans cette catégorie : le concept-car Toyota Fun Vii que l’on voit dans la vidéo que j’ai présentée dans le premier article de cette série.

Dans la vidéo ci-dessous, on voit bien comment l’affichage sur les parois extérieures de la voiture est piloté à distance par une application mobile :

Mais en réalité, comme le montre le film officiel ci-dessous, le véhicule a été imaginé pour que pratiquement toutes les surfaces intérieures et extérieures soient des écrans capables d’afficher des informations, qu’elles soient pilotées à distances via des applications mobiles ou de manière tactile ou encore via les commandes habituelles du véhicule. Quelle distance de l’imagination à la réalité ? Je vous laisse juge :

Plus d’infos, photos et vidéo dans cet article.

Dans les exemples ci-dessus, la surface est une interface d’affichage avec laquelle l’utilisateur interagit via une interface de commande tiers ou extérieure ou à distance.

Dans certains cas, l’interface de commande peut cependant être associée à la surface d’affichage mais sur une zone limitée dédiée à la commande, et donc finalement assez similaire à une commande extérieure. C’est le cas par exemple dans le dispositif Horizon, de Flynn Talbot, tel qu’il a été présenté à Sydney, en 2009.

Le dispositif Horizon, de Flynn Talbot, présenté à Sydney, en 2009.

Le dispositif Horizon, de Flynn Talbot, présenté à Sydney, en 2009.

Horizon_Sydney_04

Vue détaillée de l’interface de commande du dispositif Horizon, de Flynn Talbot, présenté à Sydney, en 2009.

Mais le dispositif a ensuite été décliné à Londres, la même année, et à Perth, en Australie, en 2010, avec une modalité de commande par interface tactile sur une application mobile ou des bornes.

Le dispositif Horizon, de Flynn Talbot, tel qu'il a ét présenté à Londres, en 2009.

Le dispositif Horizon, de Flynn Talbot, tel qu’il a été présenté à Londres, en 2009.

Cette déclinaison montre que dans ce dispositif l’interface de commande est dans tous les cas pensée comme « extérieure » à l’interface d’affichage, qu’elle le soit effectivement matériellement comme dans les déclinaisons de Londres et Perth, ou qu’elle paraisse plus intégrée à l’écran d’affichage comme dans la version de Sydney.

Un dernier point pose cependant question dans ce dispositif par rapport à mon propos initial : dans quelle mesure s’agit-il encore d’une surface transformée en interface et non pas plutôt d’un simple écran ? Qu’en pensez-vous ?

Quand n’importe quelle surface devient une interface. Episode 3 : Les surfaces réactives à des actions ou à des gestes de l’utilisateur.

Après avoir parlé des surfaces réactives à des stimulis, j’aimerai évoquer dans ce billet une autre catégorie : les surfaces réactives à des actions ou à des gestes de l’utilisateur. Dans ce cas de figure, à l’opposé de la première catégorie, l’utilisateur interagit avec la surface, qui réagit aux actions et gestes de l’utilisateur.

C’est le cas du Moodwall, un mur de 24 m de long situé à Amsterdam dans un passage piétonnier souterrain. Le mur comporte environ 2 500 LEDs recouvertes par une surface translucide. Grâce à un système de détection des mouvements (j’imagine), le mur réagit au passage des piétons en modifiant l’affichage lumineux. L’objectif de l’installation est de modifier positivement l’environnement sinon un tantinet austère ou angoissant d’un tel passage piétonnier souterrain.

Le Moodwall a été réalisé le collectif Urban Alliance qui rassemblait pour l’occasion les sociétés Illuminate Outdoor Media, Studio Klink et Cube.

Par certains aspects, ce mur est très proche du dispositif de la Tour Rogier/Dexia. La notion de “surface” est en effet également ténue (c’est un mur de LEDs) et tient à la vision d’ensemble que l’on peut avoir du dispositif. Elle me paraît cependant bien réelle du point de vue de la perception que peuvent en avoir les passants.

Le principe consistant à recouvrir une surface de LEDs reliées à des détecteurs de mouvements ou de toucher peut ainsi être appliqué à de nombreux supports et surfaces : murs, sols, vitres, plafonds… Voici une liste d’exemples qui n’a aucune prétention d’exhaustivité :

  • Murs réactifs aux mouvements :

    • La célèbre installation de Moment Factory sur le mur du centre d’information culturelle La vitrine, à Montréal, en 2009 :

 

On trouvera de nombreux autres exemples de toutes ces catégories sur le site de la société Vertigo Systems.

En parallèle des dispositifs similaires au Moodwall et autres surfaces de LEDs, je classerai également dans la catégorie de cet article les vitrines réactives au passage des passants :

La question qui se pose ici est cependant de savoir s’il ne s’agit pas plutôt d’un écran que d’une surface qu’on aurait rendue interactive. En effet, pendant la durée de vie du dispositif, la vitrine dont il est question ici ne remplit plus son office de lieu d’exposition : elle est entièrement dévolue à ce nouveau rôle d’affichage d’une image, ce qui est le propre d’un écran. Pour qu’elle redevienne une vitrine, il faut enlever le dispositif interactif, ce qui n’est pas le cas du Moodwall.

En réalité, cette question se pose pour la plupart des exemples de cette catégorie. On est en effet souvent à la limite de l’écran, car comme les surfaces réagissent aux mouvements des personnes, il est fréquent que les dispositifs de ce type soient conçus spécifiquement pour cela, indépendamment de toute surface préexistante, ce qui tend à en faire des écrans plutôt que des surfaces transformées en interfaces.

La spécificité de ces surfaces-écrans est sans doute qu’elles affichent rarement une information, mais plutôt une image, et d’ailleurs souvent une image non figurative. Si elles affichaient une information, il serait difficile de ne pas y voir un écran au sens où je l’ai défini précédemment.

Pour finir en beauté, le dernier dispositif que j’aimerai évoquer dans cet article est le Firewall, une toile de Lycra associée à une Kinect, un projecteur et un diffuseur de musique. L’interaction de commande se fait par contact tactile avec la toile non seulement en 2D mais aussi en 3D, d’où l’usage de la Kinect. L’affichage se fait par projection vidéo sur la toile. Et la bande son diffusée est également réactive à l’interaction de commande de l’utilisateur. Je vous laisse découvrir l’incroyable poésie de la “chose” en image :

La surface est ici à la fois interface d’affichage et de commande. La spécificité de cette commande est d’ailleurs d’être à la fois tactile et gestuelle. Mais finalement, ce qui domine ici, c’est un contact ambiant et gestuel plutôt qu’un acte tactile de commande intentionnée. Je veux dire par là que l’utilisateur ne sait pas qu’elle réaction va produire son geste. C’est une exploration, un geste, une dance, plutôt qu’une succession d’actions opératoires.

Voilà pour aujourd’hui : la suite au prochain épisode !

Quand n’importe quelle surface devient une interface. Episode 1 : « L’environnement cliquable ».

Dans les films de prospective que certaines marques consacrent à l’avenir des interfaces, on est frappé de voir à quel point elles s’acharnent à vouloir rendre n’importe quelle surface interactive, c’est-à-dire à vouloir transformer n’importe quelle surface en interface, aussi bien d’affichage que de commande.

Dans le dernier article que j’ai consacré à ces films, j’insistais surtout sur les surfaces transparentes. J’ai ensuite consacré toute une série d’articles aux surfaces transparentes utilisées comme interfaces. Dans la série d’articles qu’inaugure ce billet, j’aimerai cette fois ci parler de toutes les surfaces, même opaques. Au-delà des surfaces transparentes, dont j’ai déjà montré le rôle central, il me semble en effet qu’un mouvement a été enclenché qui voudrait qu’à l’avenir n’importe quelle surface puisse être rendue interactive, et donc transformée en interface.

C’est ce que décrit très bien ce reportage, où sont interviewés Jean-Louis Fréchin et Joël de Rosnay :

Jean-Louis Fréchin y explique donc que nous assistons à “la disparition des écrans » au sens spécifique d’aujourd’hui dans la mesure où toute surface pourra être écran demain, c’est-à-dire une surface pouvant afficher de l’information. C’est ce que Joël de Rosnay appelle “l’environnement cliquable”, dont il précise qu’il n’est pas seulement une interface d’affichage, mais aussi, potentiellement, une interface de commande et un capteur de données, qu’il restitue ensuite. Pour Joël de Rosnay, “on va donc être fliqué en permanence dans cet environnement puisqu’il a des yeux et des oreilles”.

Plusieurs exemples existent de concepts ou de prototypes qui prolongent cette vision d’un environnement quasi intégralement “cliquable”.

C’est le cas de cet appartement, baptisé Openarch, qui propose à ses habitants un environnement digital immersif impressionnant :

Pour en savoir plus sur ce projet conçu par l’agence de design espagnole Think Big Factory, vous pouvez vous rendre sur le site web de l’agence ou lire cet article : Walls that really CAN talk (and tweet): The interactive ‘iPad house’ where every surface is a touchscreen.

C’est le cas également de ce concept d’hôtel, ITH Xperience Room, imaginé par l’agence (espagnole encore !) Serrano Brothers :

Celle-ci s’y est notamment appliquée à dresser l’inventaire de toutes les technologies et matériaux existants sur lesquels repose leur projet, pour bien montrer à quel point il n’est pas irréalisable mais ancré dans les technologies d’aujourd’hui.

Plus d’infos sur ce projet dans cet article d’Influencia : ITH Xperience Room : bienvenue dans l’hôtel du futur !

Évidemment, bien des questions se posent à la découverte d’un tel projet : est-ce bien pertinent ou utile ? utilisable ? psychologiquement supportable ? les choix de conception présentés sont-ils les bons ? etc.

Je ne rentrerai pas dans cette discussion aujourd’hui. Mais dans les prochains articles de cette série, à l’image de ces deux projets, je voudrai par contre essayer de lister de quelle manière n’importe quelle surface peut devenir une interface, que ce soit d’affichage ou de commande. Nous sommes donc ici au-delà des écrans au sens habituel, c’est-à-dire des supports dont la raison d’être est d’afficher des informations, nous allons étudier les surfaces qui ont une raison d’être initiale autre que l’affichage d’informations, mais que l’on transforme ainsi ensuite.

Rêves d’interfaces holographiques

Je concluais mon dernier post en évoquant ceux qui imaginent dès aujourd’hui les futures interfaces holographiques. En effet, nous ne savons peut-être pas ce que permettra la technologie, mais cela ne doit pas nous empêcher de rêver à ce que pourraient être ces interfaces. Certains, d’ailleurs, ne s’en privent pas, et je ne parle pas ici des films de science-fiction.

Imaginatifs, c’est effectivement ce que sont tous ces gens qui postent des vidéos qui simulent des interfaces holographiques via l’usage de logiciels 3D et de motion design. Ces vidéos pullulent sur internet ! C’est presque un Mème !

Certaines sont bien faites, à l’image de la vidéo ci-dessus, du studio londonien MGFX Studio (à voir aussi dans cet article ou sur Behance) :

D’autres relèvent d’initiatives disons plus… individuelles, et sont parfois vraiment très drôles. Allez, je vous livre toute une série de liens mais je vous invite à faire des recherches du genre « holographic user interface » dans Youtube si vous voulez en voir plus…

Des concepts de designers

De manière un peu plus sérieuse, ou disons professionnelle, il y a également des designers qui proposent des concepts de devices avec interfaces holographiques.

Kingyo Xie a imaginé le Mercator, un bracelet connecté avec interface holographique :

Le Mercator, un bracelet à interface holographique, imaginé par

Le Mercator, un bracelet à interface holographique, imaginé par Kingyo Xie

Il a également imaginé le iHolo, un terminal qui ressemble à un ipod nano avec interface holographique :

iHolo, un appareil à interface holographique de

iHolo, un appareil à interface holographique imaginé par Kingyo Xie

Autre concept avec interface holographique : l’Apple Black Hole, imaginé par Josselin Zaïgouche :

L'Apple Black Hole, de Josselin Zaïgouche

L’Apple Black Hole, de Josselin Zaïgouche

Le Holo 2.0 est un autre bracelet (magnifique) à interface holographique imaginé cette fois-ci par Elodie Delassus (voir plus de photos du bracelet ici et ) :

Le bracelet Holo 2.0, imaginé par Elodie Delassus

Le bracelet Holo 2.0, imaginé par Elodie Delassus

Des écrans holographiques dans les publicités

Si les designers se laissent aller à rêver d’interfaces holographiques, les publicitaires ne sont pas en reste et saupoudrent également parfois leurs publicités d’hologrammes.

C’est le cas notamment dans la série de spots intitulée Life moves fast, de Palm. Mais on peut s’interroger, dans ce cas de figure, sur un tel usage : l’interface holographique n’est pas une propriété de l’appareil, donc pourquoi la mettre en scène ? Elle n’est d’ailleurs pas mise en scène de manière réaliste puisqu’elle ne « surgit » pas de l’appareil mais apparaît comme par enchantement devant le personnage. Elle a par contre la propriété de faire changer le lieu où se trouve le personnage. On est donc dans la métaphore et l’évocation plus que dans la réalité. L’évocation de la rapidité d’usage et donc de la richesse de l’expérience que permettent-promettent les interfaces holographiques et qui sont donc ici réattribuées à celle du Palm.

 

Evidemment, au final, tout cela reste encore du domaine de l’imaginaire. Et il est difficile de dire quand cela deviendra réel…