Résumé

Alors que les devices et leurs usages deviennent omniprésents et multiformes dans le grand public et les entreprises : tablettes, consoles… boostés par le développement d’internet, des médias sociaux, du cloud computing, et par la mobilité et la sophistication des smartphones, le numérique est désormais partout.

Avec la numérisation et la digitalisation du monde, on ne peut plus se réduire au « screen-based thinking », la conception basée sur l’écran. Plus généralement le design d’interface utilisateur est désormais réducteur. Maintenant il faut penser global, eXpérience Utilisateur globale, quand les points de contact avec le produit, les marques, les processus et les personnes se multiplient : il faut concevoir les interactions (Interaction Design).

Les interfaces utilisateur évoluent, et la tendance à remettre en question leur existence même : « La meilleure interface, c’est : pas d’interface ». J’évoquerai des réflexions sur l’automatisation et la robotisation, la remise en question de la « métaphore de bureau » utilisée depuis plus de 30 ans pour les interfaces graphiques des ordinateurs de bureau ou portables, que l’on illustrera au travers de l’arrivée dans quelques jours de l’interface utilisateur unifiée « Modern UI » de Microsoft sur tous les supports/devices : ordinateurs, tablettes, console et smartphones

Les terminaux informatiques et autres dispositifs numériques (« devices » ou « supports ») et leurs usages deviennent omniprésents et multiformes (tablettes, consoles, etc.) dans le grand public et les entreprises, boostés par le développement d’internet, des médias sociaux, du cloud computing (permettant de disposer de ses données personnelles partout par Internet), et par la mobilité et la sophistication des smartphones (téléphones terminaux de poche). Le numérique et le digital sont désormais partout. Avec la numérisation du monde, on ne peut plus se réduire au « screen-based thinking », la conception des systèmes logiciels, applications, etc. basée sur l’écran d’ordinateur tel qu’on le connait. Dans les échanges entre les hommes et les machines, la seule conception d’interface utilisateur est désormais réductrice. Maintenant il faut penser global, eXpérience Utilisateur globale, quand les points de contact avec le produit, les marques, les processus et les personnes se multiplient : il faut concevoir les interactions (Interaction Design).

Les interfaces utilisateur évoluent, et la tendance à remettre en question leur existence même : « La meilleure interface, c’est : pas d’interface« . J’évoquerai des réflexions sur l’automatisation et la robotisation, la remise en question de la « métaphore de bureau » utilisée depuis plus de 30 ans pour les interfaces graphiques des ordinateurs de bureau ou portables, que l’on illustrera au travers de l’arrivée dans quelques jours de l’interface utilisateur unifiée « Modern UI » de Microsoft sur Windows 8 et tous les supports/devices : ordinateurs, tablettes, console et smartphones.

La meilleure interface, c’est : pas d’interface

Hier, je lisais un billet de Golden Krishna UX Designer de l’agence Cooper à San Francisco : « The best interface is no interface ». En posant cette affirmation « La meilleure interface, c’est : pas d’interface » (un brin provocatrice) on en déduit cette question : « l’interface utilisateur (UI) est-elle un frein à l’eXpérience Utilisateur (UX) et la performance des interactions ? ». A vrai dire ces questions ne sont pas nouvelles. Donald Norman, chercheur en sciences cognitives et éminent co-fondateur du groupe Nielsen Norman, spécialiste de l’eXpérience Utilisateur et de l’utilisabilité, posait déjà ces questions il y a plus de 20 ans.

Je vais faire une remarque à cette affirmation et une simple réponse (d’ergonome) à cette question : en réalité, tout dépend du contexte… Il y a 2 questions préalables à se poser. La première : A-t-on vraiment besoin d’une interface ? Et si on a besoin d’une interface, alors il faut qu’elle soit bien faite : qu’elle soit efficace (utile pour ce pour quoi elle est faite), et qu’elle puisse être utilisée efficacement (utilisabilité), qu’elle se fasse même oublier, pour que l’utilisateur puisse se concentrer sur son activité, et non sur la compréhension de l’interface (« Comment marche ce logiciel, cette application, comment navigue-t-on sur ce site web…. »). Il faut aussi qu’elle soit agréable à utiliser pour contribuer à l’eXperience Utilisateur, en cohérence et homogénéité avec les autres expériences de contact avec la marque, les process, personnes et les autres canaux d’interaction. Encore une fois : ceci n’est pas nouveau.

Il y a une application pour ça…

Mais pourquoi revenir sur ces questions aujourd’hui ? Parce qu’à à notre époque, les interfaces utilisateurs sont devenues omniprésentes. Au bureau, des ordinateurs, à la maison, dans les mains des enfants et des personnes âgées : des ordinateurs, des tablettes, des consoles de jeux « connectées », etc.. Les publicités pour les voitures font la part belle aux interfaces modernes des tableaux de bord. Dans les lieux, les gares, etc. des bornes interactives, des écrans. Et enfin le bouquet, dans nos poches, des smartphones ultra sophistiqués nous permettant d’être connectés tout le temps partout avec n’importe qui n’importe où et avec une multitudes de contenus pour une multitude d’usages.

Les marques, les administrations, les entreprises, les banques, les constructeurs, les fournisseurs de service… Tout le monde veut maintenant son « application » pour smartphone. Quand on pense à un besoin, un service, tout cela doit tenir dans la poche et dans la main. Nous sommes à l’époque de la sacro-sainte « Il y a une application pour ça », et du coup, il y a une application pour… n’importe quoi… pour le meilleur, et pour le pire.

Allez fouiller dans les magasins d’applications sur l’Appstore ou Google Play, pour smartphone et tablettes, vous verrez… Il y a beaucoup d’enjeux de marketing et financiers derrière le développement d’applications. Les utilisateurs sont sans doute demandeurs également. Beaucoup sont devenus « accros » à leurs activités avec leurs petits joujous. On peut parfois parler d’addiction, j’en ai parlé dans un autre billet.

Mais je pense que la prochaine étape sera : « Il n’y a pas (plus) besoin d’application pour ça« , et je rejoins le billet de Golden Krishna avec les exemples évoqués dans son billet.

Je vais m’inspirer de l’exemple du déverrouillage des portes d’une voiture, que j’ai légèrement modifiée par rapport à l’original.

De nombreux constructeurs automobiles proposent maintenant des applications pour smartphone permettant de piloter certaines fonctionnalités d’une voiture.

Déverrouiller les portes d’une voiture en 2012

1. la personne (conducteur, conductrice) s’approche de sa voiture.
   1bis. Si la personne est une conductrice, elle cherche son smartphone dans son sac (joke).
2. Sort son smartphone de son sac, ou de sa poche, et éventuellement de sa housse ou libère le cache sur l’écran.
3. Appuie sur son téléphone pour l’activer
4. Fait glisser son doigt sur l’écran pour déverrouiller l’écran/clavier de son téléphone.
5. Entre son mot de passe pour déverrouiller son téléphone
6. Balaye l’écran pour trouver l’application.
7. Appuie sur l’icône de l’application.
8. Attend pendant le chargement de l’application.
9. Essaie de comprendre (ou de se rappeler) comment fonctionne l’application
10. Décide que passer par un appui sur un élément du menu de l’application est la solution pour déverrouiller les portes
11. Tape sur le bouton pour déverrouiller les portes.
12. Les portes de la voiture de déverrouillent.
13. Ouvre la portière de la voiture.

Déverrouiller une porte au siècle dernier, en 1999

1. La personne (conducteur, conductrice) s’approche de sa voiture.
2. Les portes de la voiture se déverrouillent
3. La personne ouvre la portière de la voiture

Et oui, déjà en 1999, Mercedes proposait un système de détection de la proximité des clés dans la poche de la personne approchante, afin de déverrouiller les portes. Pas besoin d’interface utilisateur, simplicité et performance maximale. Rien à faire, les mains restent libre, etc.

Dans l’article de Cooper, on trouve un autre exemple d’un client se rendant dans un snack pour acheter un sandwich, et utilise encore une fois son smartphone avec de multiples étapes, ce qui pourrait être fortement simplifié sans interface grâce à des capteurs.

Donc oui, dans tous ces cas : La meilleure interface, c’est : pas d’interface ». Enfin presque…

Dans l’exemple du véhicule, il y a un processus global : « rentrer dans le véhicule », qui est dépendant d’un processus automatisé qui est « déverrouillage des portes ». Et à partir du moment où l’homme fait partie du processus global, on a besoin d’une interface minimale, informationnelle, ne nécessitant pas d’action de l’utilisateur : un signal sonore (le bruit du déverrouillage des portes, éventuellement renforcé avec un autre signal sonore) et un signal lumineux , qui constitueront un feed-back (retour d’information) indiquant à l’utilisateur que les portes ont bien été déverrouillées. Et qu’il peut donc rentrer dans le véhicule.

Automatisation et robotisation

Donc OK, beaucoup de choses peuvent être automatisées pour éviter des actions lourdes et inutiles. Mais sans oublier de prévenir l’utilisateur quand cela est utile ou nécessaire. Ce sont le genre de questions qu’on se pose depuis toujours dans le monde industriel. En effet, nous fabriquons depuis longtemps des machines, pour différents processus : produire, transformer, transporter, etc. Et ces processus, nous les automatisons au maximum. Automatiser, cela veut dire que le processus se déroule sans intervention humaine : pour éviter des tâches impossibles, pénibles, dangereuses pour des humains, mais aussi pour produire plus et plus vite sans les contraintes humaines.

Quand les machines se mettent à réaliser des tâches humaines, on parle de robot. Non content d’automatiser des fonctions motrices, les machines avec des systèmes de capteur et de l’intelligence artificielle, prennent de plus en plus de place dans les processus.

Nous gardons une place pour l’homme là où nous en avons besoin : pour surveiller, prendre des décisions, réguler… Exemple : une salle de contrôle dans une centrale nucléaire, un cockpit d’aéronef. Et c’est là, entre les machines automatisées et les hommes, que nous avons besoin d’interfaces utilisateur. On parle d’interactions hommes-machines.

Alors oui, la technologie permet d’automatiser de plus en plus de choses. Et là où l’intervention humaine est encore souhaitée, nécessaire, désirée… agréable (UX) ? Nous avons donc encore et toujours besoin d’interfaces.

Finalement, la question de fond est : jusqu’où automatise-t-on ? Derrière cette question, au delà des questions de sécurité et de faisabilité de l’automatisation, il y a toujours le vieux spectre de la crainte de la perte de contrôle par l’humain, crainte qui a largement inspiré la littérature et le cinéma de science-fiction : Terminator, Matrix, ou encore le Jihad Butlérien de l’univers fictif de Dune créé par Frank-Herbert : des luttes à mort entre des hommes et des machines devenues trop autonomes.

Le Japon, face aux énormes problématiques conjuguées du vieillissement, de la baisse de natalité, mais aussi pour des raisons culturelles, travaille à la réalisation de robots humanoïdes qui permettront notamment d’assister les personnes âgées. Ceci n’est pas de la science-fiction. Vous n’êtes pas dans le film I, Robot. Vous n’êtes pas dans la matrice. Vous êtes dans la réalité.

Aujourd’hui, la technologie et l’automatisation continuent à faire leur chemin. Un bon exemple est l’évolution de la conduite des véhicules. Ainsi, pendant longtemps, les commandes de pilotage des avions furent mécaniques : les gestes du pilote étaient relayées par des organes commandant les gouvernes. Un cap important fut franchi par Airbus dans les années 80 du siècle dernier, avec l’Airbus A320, premier avion commercial dont les commandes sont entièrement contrôlées par un calculateur. Le pilotage automatique pris de plus en plus de place, transformant au fil du temps le pilote en un superviseur de processus automatisé.

Au niveau du transport terrestre, le pilotage automatique existe depuis longtemps sur les rails. Les parisiens ou les toulousains, pour ne citer qu’eux, montent tous les jours depuis de nombreuses années dans des transports en commun sans pilotes humains (Le véhicule automatique léger ou VAL , sur certaines lignes de Métro, l’Orlyval faisant la liaison entre Orly et Anthony). Sur les rails, le cap est plus simple à garder que sur la route (mais l’aiguillage peut être aussi un casse-tête…).

Un nouveau cap symbolique est désormais en passe d’être franchi : l’automobile autonome. Depuis quelques jours, l’État de Californie a mis en place une législation autorisant Google à faire rouler ses voitures à délégation de conduite, sous certaines conditions de sécurité.

Lire aussi mon billet :

Fin de relation fusionnelle conducteur-auto | Pierre Lannes

Innovation du véhicule autonome, nature fusionnelle du rapport entre homme et automobile, risques de la conduite semi-automatique, ADAS

Pierre Lannes

Evolution des interfaces graphiques

Les premiers écrans pour communiquer entre les hommes et les ordinateurs étaient assez austères à utiliser. C’était l’époque du langage de commande, où il fallait saisir des instructions, et lire des messages écrits sur un écran.

Puis en 1981, avec les balbutiements des usages bureautiques à destination d’utilisateurs autres que des informaticiens, et pour des ordinateurs exploitables dans des bureaux, Xerox inventa la première interface graphique utilisant la métaphore du bureau : des fichiers, des dossiers, des icônes (poubelle, programmes), des menus, des fenêtres, actions et manipulation d’objets avec une souris (voir la vidéo plus bas dans le billet). Apple s’inspira de ces principes, puis Microsoft avec son célèbre système Windows.
Et il faut reconnaître que depuis 30 ans, ça n’a pas beaucoup changé dans les principes, même si au niveau de la technologie et des usages, tout a énormément évolué.

Certains travaux de recherche démontrent que le modèle de la métaphore de bureau a atteint ses limites : tout a été fait en matière de métaphore de bureau, et finalement, c’est la créativité des concepteurs qui est bloquée, mais aussi, dans certains cas, l’efficacité, la performance de l’interface, et l’eXperience Utilisateur. Même les systèmes des tablettes et smartphones ont finalement recours à un substrat de métaphore de bureau. Car oui, depuis 30 ans, la métaphore du bureau et le modèle écran/clavier/souris est devenu la règle, la norme, tout le monde s’est habitué à cela, ce qui permet une prise en main rapide par les utilisateurs. C’est ce qu’on appelle en innovation un verrouillage socio-technique.

Avec les interfaces tactiles multitouch (plusieurs doigts et gestes utilisables par le toucher sur un écran), une autre tendance des interfaces graphiques est apparue : la reproduction, de manière virtuelle, des interactions physiques « naturelles » : faire glisser une page, faire tourner, agrandir ou réduire un objet en se servant de ses doigts, etc. Les interfaces gestuelles comme la Kinect rentrent également dans la catégorie des interfaces naturelles. Quant aux interfaces vocales en langage naturel, on en parle de plus en plus (surtout pour le marketing des produits. exemple : SIRI, l’assistant personnel d’Apple), mais cet usage n’est pas encore très répandu, inadapté dans de nombreux contextes.

Avec le tactile et la compactification des supports, de nouvelles postures d’utilisation deviennent possible : à plat, dans les mains, en situation de mobilité, etc. de nouvelles formes d’usages deviennent également possibles, citons par exemple la réalité augmentée, que j’ai évoqué dans un autre billet. Bien sûr, selon les contextes et les utilisateurs, le recours à tel ou tel type de support et de posture est plus ou moins réalisable, approprié, et performant.

Ainsi , l’évolution des interfaces graphiques et le dépassement de la métaphore du bureau sont désormais facilitées par au moins deux leviers :

• La généralisation des nouvelles formes d’interactions dites « naturelles », et notamment du tactile
• Le fait que notre monde se soit numérisé. Aujourd’hui, l’information et les interactions sont partout. Finalement, nous n’avons plus besoin de faire des métaphores pour expliquer aux gens qu’ils peuvent interagir avec les contenus. CAR ILS LE SAVENT. Cela est facilité par les interactions dites « naturelles ».

C’est exactement en partant de ces deux leviers que Microsoft a créé la nouvelle interface utilisateur « Modern UI » (User Interface ou Interface Utilisateur), inspirée de celle déjà présente sur les smartphones sous Windows Mobile. Modern UI sera intégré dans la nouvelle version de son système d’exploitation Windows 8, et sur les systèmes de tous les devices/supports grand public : smartphone, tablette, PC portable ou de bureau, console de jeux.

Le mois de la fin des Windows/fenêtres chez Microsoft

A quelques jours de la sortie de Windows 8 et de l’annonce de la sortie de Windows Mobile 8, Microsoft prend un virage important concernant les interfaces graphiques de son système d’exploitation phare, le plus utilisé dans le monde depuis plus de 20 ans.

La nouvelle interface graphique « Modern UI » (ou style »Metro »), inspirée du système Windows Mobile présent sur certains smartphones, sera intégrée dans le nouvel système Windows 8. Le parti-pris et l’enjeu de l’interface utilisateur « style Metro » est qu’elle sera la même sur tous les devices/supports grand public : smartphone, tablette, PC portable ou de bureau, console de jeux.

Techniquement, il y aura, de plus, un noyau commun : on voit tout de suite l’intérêt : une même application pourra être portée plus facilement sur tous les supports/devices.

Finalement, l’idée est bonne et dans l’air du temps : à l’époque de la multiplication des devices/supports, on créé une interface utilisateur unifiée, convergente.

Un des principes fondateurs de cette interface Modern UI, c’est qu’à l’heure d’aujourd’hui, alors que les contenus numériques sont partout, il n’est plus nécessaire de suivre le paradigme de la métaphore de bureau utilisée depuis 30 ans dans les systèmes d’exploitation (interface « star » de Xerox datant de 1981). L’information et l’image se suffisent à elles même. Cela ressort dans le principe énoncé par Microsoft sur sa nouvelle interface graphique Modern UI « Content not chrome » c’est à dire, le contenu prime sur la présentation, ce qui se traduit notamment par :

• Eviter les effets inutiles : le Skeuomorphisme (donner à un objet virtuel l’apparence d’un objet réel), qui est encore largement utilisé dans les interfaces graphiques et depuis toujours chez Apple
• Eviter les Bords arrondis, ombres, relief, transparence, etc.

En faisant cela, Microsoft se démarque d’Apple et des concurrents.

A ce stade il est amusant de faire quelques rappels historiques sur le système Windows de Microsoft. En 1984, Steve Jobs, le charismatique patron d’Apple, fait appel au jeune Bill Gates et sa petite boite Microsoft, qui se voit confié la réalisation de logiciels (notamment le célèbre tableur Excel) pour le système de l’ordinateur personnel phare d’Apple, Macintosh. C’est pendant cette période de sous-traitance que Bill Gates s’inspirera plus que fortement du système d’Exploitation du Macintosh d’Apple (qui s’était lui-même inspiré du système Star de Xerox de 1981), pour réaliser Windows, le système qui allait envahir le monde et devenir de très loin le système d’exploitation le plus utilisé depuis 20 ans sur les ordinateurs de bureau et portables .

En 2012, dans quelques jours, Microsoft tentera de faire évoluer les interfaces utilisateurs en dépassant la métaphore de bureau et les (si proches) et dominants systèmes Apple iOS et Android pour tablettes et smartphone. Ainsi, Windows, (qui signifie « fenêtre), avec son interface Modern UI, ne contient plus vraiment de fenêtres… mais plutôt des « Tuiles« . Il sera intéressant d’observer quel sera le succès de cette nouvelle interface utilisateur, notamment pour les usages professionnels.

Donald Norman, déjà cité dans ce billet, est depuis longtemps une personnalité de renommée mondiale auteur d’ouvrages de références dans le domaine de l’eXpérience Utilisateur et de l’utilisabilité. Professeur et chercheur en Sciences Cognitives, co-fondateur du groupe Nielsen Norman, ancien responsable de l’UX et de la recherche chez Apple disait en mars dernier (article qui n’est plus en ligne) que Modern UI, la nouvelle interface de Microsoft, pourrait dépasser Apple et Android (qui imite Apple), en permettant notamment d’utiliser indifféremment ses doigts, une souris, un stylet, un clavier, une interface utilisateur homogène quelque soit le type d’utilisation et de devices/supports, une bien meilleure gestion du multitâche que ses concurrents, un accès rapide aux informations.

Avec sa nouvelle tablette Surface, Microsoft n’invente pas quelque chose de nouveau. Cette tablette peut être transformée en un ordinateur portable (ASUS l’avait déjà fait) en « un click. Mais en y rajoutant son interface utilisateur polyvalente, Modern UI, c’est un dispositif convergent, souple, adaptatif, dans l’air du temps et prometteur qui voit le jour.

En conclusion

Donc finalement, ce gros billet pour en arriver à ces simples constats.

Oui, trop d’interfaces tue l’interface. Il faut toujours réfléchir en terme d’usages et d’eXperience Utilisateur. Ne pas se brider tout de suite avec des solutions technologiques toutes faites ou limitantes. La technologie nous offre de plus en plus de possibilités et n’est finalement plus un problème. Bon, ok, il y a les coûts, les normes… et il n’y a pas encore de vrais interfaces holographiques performantes par exemple, et nous n’avons pas encore inventé la téléportation non plus ! Ne pas se jeter directement sur la réalisation d’une application. Penser eXpérience utilisateur globale, ce que la technologie pourrait apporter sans se limiter. Surtout qu’elle ne cesse d’évoluer.

A l’inverse, l’automatisation à outrance a ses travers, je l’évoque à la fin d’un un autre billet sur le véhicule à délégation de conduite (semi-autonome). Ne pas oublier qu’il y a des humains au milieu des machines ! Avec les évolutions de la robotique, d’autres perspectives de développement voient le jour, notamment des collaborations entre les hommes et les machines, sujet émergent dans l’industrie. C’est l’objet de la Cobotique, qui étudie les relations entre les hommes et les robots, que j’ai déjà évoquée dans un autre billet.

Résumé

Certaines vidéos prospectives préfigurent les interfaces utilisateurs d’un futur proche, en donnant la part belle aux applications de réalité augmentée et à l’usage massif d’interactions tactiles et gestuelles.

Les vitres transparentes interactives offrent de nouvelles possibilités, mais posent certains défis comme la gestion de la parallaxe ou la distance de l’observateur.

Dans ce contexte, l’arrivée imminente des lunettes à réalité augmentée parait la technologie la plus prometteuse.

Dans l’exemple ci-dessus, le smartphone de la passagère du taxi communique automatiquement avec le système embarqué du taxi. Des informations en réalité augmentée sont affichées sur la vitre latérale du taxi : ici, l’emplacement de l’immeuble où aura lieu son rendez-vous du lendemain. La réalité augmentée consiste à ajouter de l’information et des objets sur un affichage de la réalité. Il ne faut pas la confondre avec la réalité virtuelle, qui imite complètement la réalité.

Les usages prometteurs : réalité augmentée et interfaces tactiles et gestuelles

Les vidéos de prospectives de Microsoft (voir plus bas) préfigurant les interfaces utilisateurs d’un futur proche donnent la part belle aux applications de réalité augmentée et à l’usage massif d’interactions tactiles et gestuelles. Ces usages sont déjà là aujourd’hui et en plein essor, accélérés et démocratisés par le succès de l’iPhone et autres smartphones évolués, les tablettes… et les interfaces gestuelles sont rentrées dans le salon du particulier, avec les usages ludiques de la Kinect et autres devices. En ce qui concerne le tactile, cet usage existe depuis longtemps avec les bornes tactiles (billetterie, distributeurs de billets, bornes d’orientation…).

La réalité augmentée a été longtemps réservée à des interfaces spécifiques, je pense aux systèmes HUD (Head-Up Display : affichage tête haute) dans les cockpits des avions de chasse. Dans ce contexte d’utilisation, le recours à la réalité augmentée évite les allers retour visuels entre le monde extérieur et le tableau de bord de l’embarcation, renforce l’attention, la sécurité et limite la fatigue visuelle.

Cette technologie est maintenant rentrée dans les habitacles de voitures, se sont souvent des accessoires en option sur certaines berlines. Tous ces dispositifs sont fixes ou embarqués : cockpits, habitacles, bornes, et ont ceci en commun d’être donc des dispositifs lourds et fixes.

La libération des usages grâce aux applications mobiles

Ce sont l’iPhone et autres smartphones qui nous ont libéré de la lourdeur et la fixité des dispositifs, en devenant mobiles, autonomes, en tenant dans la poche tout en embarquant une multitude de technologies et de capteurs. Cela rend possible tout un univers d’applications et d’usages, disponibles en permanence et partout, nous ouvrant les portes du monde de la mobiquité. En effet, c’est la combinaison de plusieurs technologies embarquées dans le smartphone qui permettent notamment l’utilisation de la réalité augmentée sur ces dispositifs : connectivité multiple (GSM, Wifi, bluetooth) et permanente à Internet, stockage et envoi de données, écran d’affichage et d’interactions tactiles multitouch, objectifs photo/vidéo, GPS, boussole, gyroscope et accéléromètre (pour la détection des positions angulaires et de mouvements). Exemples d’applications : Layar, Junaio, Wikitude.

Aujourd’hui la réalité est recréée à partir de l’image qui est capté par l’objectif photo/vidéo du dispositif. Elle est alors affichée sur l’écran du smartphone ou de la tablette, comme sur l’exemple de l’application Layar ci-dessus, sur laquelle on peut rajouter de l’information : c’est bien de la réalité augmentée.

Les possibilités offertes par les vitres tactiles

Avec les progrès des technologies d’affichage et d’interactions, ce sont des vitres transparentes avec des capacités multitouch qui vont pouvoir être utilisées pour de nouvelles IHM (notamment la technologie OLED). Les usages possibles sont très nombreux, comme vous pourrez le voir dans l’avant dernière vidéo « A Day Made of Glass… Made possible by Corning » à la fin de ce billet.

On pourrait imaginer l’usage de vitres transparentes interactives pour la réalité augmentée. En effet, on voit tout de suite l’intérêt : c’est la « vrai » réalité qui peut être perçue au travers de la transparence de la vitre. Les informations peuvent être alors rajoutées à la réalité à l’intérieur de la vitre. Mais ceci pose des problèmes de perception, comme nous allons le voir ci-après.

Problématiques de la position de l’observateur avec la réalité augmentée au travers d’une vitre

Mais cette technique des vitres transparentes a son revers. Je voudrais mentionner en particulier l’effet de parallaxe (incidence du changement de position de l’observateur sur l’observation d’un objet). Si notre menhir dans notre schéma ci-dessus est une vitre transparente où s’affichent des informations censées augmenter la réalité, alors il faut que la position de notre observateur et du menhir soient solidaires, afin que les informations affichées dans le menhir soient bien alignées avec les objets réels à augmenter. Donc, si notre observateur bouge où s’il y a plusieurs observateurs, les informations affichées dans le menhir ne sont plus alignées avec les objets réels à augmenter. Le problème se présentera donc avec les systèmes d’affichage au travers des vitres, comme dans l’exemple de la tablette ci-dessus, mais aussi pour la passagère de notre taxi dans la première illustration de ce billet ( et à 00:35 sur la vidéo plus bas de Microsoft Office Vision).

De plus, un autre paramètre est à prendre en compte : la distance entre l’observateur et la vitre, qui doit être prise en compte pour ajuster la proportion des informations augmentées en rapport avec les objets réels.

Nous pourrions faire grossir assez vite la liste des facteurs de difficultés d’utilisation de la réalité augmentée au travers d’une vitre en plus des dimensions perceptives déjà citées, et pas des moindres. Pour un dispositif placé dans un environnement extérieur notamment, il faut pouvoir gérer les variations de luminosité, de reflets, contrastes etc. et autres paramètres influençant la visibilité et la netteté de l’affichage holographique.

Ces problèmes ne se présenteront pas avec la réalité augmentée sur nos smartphones actuels, puisque la réalité et les informations augmentées sont sur le même plan, sur l’écran de l’appareil, et sont donc alignés et solidaires, et il n’y a pas non plus de problème avec la distance entre l’observateur et l’affichage. Ces problèmes ne se présenteront pas non plus dans le cas de la vision tête haute dans le cockpit ou l’habitacle de la voiture (illustrations plus haut) car la posture assise fixe de l’observateur est solidaire du reste de l’habitacle et de la vitre.

Ces problèmes de position de l’observateur par rapport à des vitres transparentes à réalité augmentée pourraient être évités si le dispositif détecte la distance et la position des yeux de l’observateur (et un seul observateur), afin de caler et aligner les informations dans la vitre avec la vision de l’observateur et les objets réels. Des détecteurs de formes peuvent être utilisés (c’est la solution que j’ai proposé dans le cadre d’un projet de dispositif digital d’orientation), des caméras ou webcams, des capteurs rétiniens, comme ceux qui sont utilisés par certains dispositifs oculométriques (eye-tracking) tels le Tobii glasses.

Les lunettes : le dispositif idéal ?

Cette technologie sera très bientôt disponible. Google travaillerait sur un tel dispositif tournant sous l’OS Android (voir la vidéo en fin d’article).

L’utilisation de lunettes pour la réalité augmentée présente de nombreux avantages :

• D’abord, les lunettes étant solidaires du porteur, les problèmes de position de l’observateur (évoquées plus haut) ne se présentent pas
• Une excellente portabilité puisque les mains sont libres
• L’adaptation au champ visuel de l’utilisateur est complet, l’immersion dans la réalité augmentée est totale. C’est un gros avantage des lunettes par rapport aux tablettes et smartphones

Mais…

• On perd l’interactivité avec un écran tactile, mais le dispositif pourrait être complété par un smartphone connecté en bluetooth faisant office d’interface avec les lunettes, une interface vocale ou mieux : avec des interfaces gestuelles ou omnitouch.

Interface Omnitouch

Le dispositif le plus prometteur semble donc celui des lunettes à réalité augmentée, si l’on propose avec celle ci une interface efficace. Voir ci-dessous la dernière vidéo avec le concept BMW d’assistance au dépannage.

La vidéo ci-dessous commence par une application en réalité augmentée sur lunettes : la traduction linguistique automatique de contenus du réel (panneaux de signalisations).

Vous trouverez également dans cette vidéo à 00:35 l’exemple de l’affichage sur la vitre de taxi, évoqué à plusieurs reprises dans le billet.

Ci-dessous, une autre vidéo prospective. Une nouvelle technologie de vitres, compatibles avec les technologies OLED et tactiles. Elle peut être déclinée sur n’importe quel support ou devices, et permet l’utilisation de la réalité augmentée.

A Day Made of Glass… Made possible by Corning (5:32, 2011)

Une vidéo pour illustrer un usage possible des lunettes à réalité augmentée : l’assistance d’un mécanicien dans la vérification, la réparation ou le changement de pièces moteur :

Concept BMW assistance au dépannage
avec lunettes de réalité augmentée (2:39, 2007)

Une vidéo d’illustration du projet de lunettes à réalité augmentée « Glass » de Google avec interface vocale :

Glass de Google (2:30, 2012)

Direction eXpérience Utilisateur UX, direction de projet et accompagnement AMOA (assistance à maîtrise d’ouvrage)

Contexte

Projet de design d’un dispositif digital interactif innovant pour l’orientation des passagers et usagers de l’aéroport

Réalisations

• Direction de projet
• Direction de l’équipe UX : un Designer UX, une experte interfaces naturelles, une directrice artistique

• Recherche utilisateur
• Capitalisation sur les études marketing utilisateur existantes
• Observations fly-on-the-wall en aéroport
• Jeux de rôle parcours usagers en aéroport
• Inventaire et analyse de l’information passagers existante : signalétiques, affichages, annonces, agents, bornes….
• Exploitation des données d’études utilisateur, personas, cartographies de l’expérience (eXperience Maps), diagrammes d’alignement (utilisateurs/services)
• Idéations
• Benchmark et État de l’art
• Ateliers d’idéations
• Réalisations de croquis et maquettes graphiques (sous Illustrator, sans design graphique).
• Préconisations sur l’implantation géographique indoor du réseau de « bornes »

Assistance à Maîtrise d’Ouvrage

Rédaction du cahier des charges et spécifications fonctionnelles détaillées

Résultats

Concept d’un monolithe / glace transparente interactive et tactile, utilisation de la réalité augmentée