Focus sur une interface cerveau-machine (contrôle par « la pensée ») et une interface gestuelle, dont la conception a été particulièrement pensée en fonction des capacités des utilisateurs.

Concernant l’interface cerveau-machine elle est de type “non intrusif”. Il s’agit de capteurs qui enregistrent les ondes cérébrales et les transmettent après décodage à un ordinateur. La technique s’appuie sur l’électroencéphalographie (EEG) : les activités humaines génèrent une activité cérébrale qui se manifeste par l’activation de zones distinctes dans le cerveau. En enregistrant ces faibles signaux, et en les associant aux actions concernées, il est possible de transformer une activité cérébrale en signal numérique et le communiquer à un ordinateur. Ces techniques préfigurent de nombreuses possibilités d’application, notamment pour les personnes en situation de handicap.

Salon Futur en Seine par lemondefr

Résumé

Certaines vidéos prospectives préfigurent les interfaces utilisateurs d’un futur proche, en donnant la part belle aux applications de réalité augmentée et à l’usage massif d’interactions tactiles et gestuelles.

Les vitres transparentes interactives offrent de nouvelles possibilités, mais posent certains défis comme la gestion de la parallaxe ou la distance de l’observateur.

Dans ce contexte, l’arrivée imminente des lunettes à réalité augmentée parait la technologie la plus prometteuse.

Dans l’exemple ci-dessus, le smartphone de la passagère du taxi communique automatiquement avec le système embarqué du taxi. Des informations en réalité augmentée sont affichées sur la vitre latérale du taxi : ici, l’emplacement de l’immeuble où aura lieu son rendez-vous du lendemain. La réalité augmentée consiste à ajouter de l’information et des objets sur un affichage de la réalité. Il ne faut pas la confondre avec la réalité virtuelle, qui imite complètement la réalité.

Les usages prometteurs : réalité augmentée et interfaces tactiles et gestuelles

Les vidéos de prospectives de Microsoft (voir plus bas) préfigurant les interfaces utilisateurs d’un futur proche donnent la part belle aux applications de réalité augmentée et à l’usage massif d’interactions tactiles et gestuelles. Ces usages sont déjà là aujourd’hui et en plein essor, accélérés et démocratisés par le succès de l’iPhone et autres smartphones évolués, les tablettes… et les interfaces gestuelles sont rentrées dans le salon du particulier, avec les usages ludiques de la Kinect et autres devices. En ce qui concerne le tactile, cet usage existe depuis longtemps avec les bornes tactiles (billetterie, distributeurs de billets, bornes d’orientation…).

La réalité augmentée a été longtemps réservée à des interfaces spécifiques, je pense aux systèmes HUD (Head-Up Display : affichage tête haute) dans les cockpits des avions de chasse. Dans ce contexte d’utilisation, le recours à la réalité augmentée évite les allers retour visuels entre le monde extérieur et le tableau de bord de l’embarcation, renforce l’attention, la sécurité et limite la fatigue visuelle.

Cette technologie est maintenant rentrée dans les habitacles de voitures, se sont souvent des accessoires en option sur certaines berlines. Tous ces dispositifs sont fixes ou embarqués : cockpits, habitacles, bornes, et ont ceci en commun d’être donc des dispositifs lourds et fixes.

La libération des usages grâce aux applications mobiles

Ce sont l’iPhone et autres smartphones qui nous ont libéré de la lourdeur et la fixité des dispositifs, en devenant mobiles, autonomes, en tenant dans la poche tout en embarquant une multitude de technologies et de capteurs. Cela rend possible tout un univers d’applications et d’usages, disponibles en permanence et partout, nous ouvrant les portes du monde de la mobiquité. En effet, c’est la combinaison de plusieurs technologies embarquées dans le smartphone qui permettent notamment l’utilisation de la réalité augmentée sur ces dispositifs : connectivité multiple (GSM, Wifi, bluetooth) et permanente à Internet, stockage et envoi de données, écran d’affichage et d’interactions tactiles multitouch, objectifs photo/vidéo, GPS, boussole, gyroscope et accéléromètre (pour la détection des positions angulaires et de mouvements). Exemples d’applications : Layar, Junaio, Wikitude.

Aujourd’hui la réalité est recréée à partir de l’image qui est capté par l’objectif photo/vidéo du dispositif. Elle est alors affichée sur l’écran du smartphone ou de la tablette, comme sur l’exemple de l’application Layar ci-dessus, sur laquelle on peut rajouter de l’information : c’est bien de la réalité augmentée.

Les possibilités offertes par les vitres tactiles

Avec les progrès des technologies d’affichage et d’interactions, ce sont des vitres transparentes avec des capacités multitouch qui vont pouvoir être utilisées pour de nouvelles IHM (notamment la technologie OLED). Les usages possibles sont très nombreux, comme vous pourrez le voir dans l’avant dernière vidéo « A Day Made of Glass… Made possible by Corning » à la fin de ce billet.

On pourrait imaginer l’usage de vitres transparentes interactives pour la réalité augmentée. En effet, on voit tout de suite l’intérêt : c’est la « vrai » réalité qui peut être perçue au travers de la transparence de la vitre. Les informations peuvent être alors rajoutées à la réalité à l’intérieur de la vitre. Mais ceci pose des problèmes de perception, comme nous allons le voir ci-après.

Problématiques de la position de l’observateur avec la réalité augmentée au travers d’une vitre

Mais cette technique des vitres transparentes a son revers. Je voudrais mentionner en particulier l’effet de parallaxe (incidence du changement de position de l’observateur sur l’observation d’un objet). Si notre menhir dans notre schéma ci-dessus est une vitre transparente où s’affichent des informations censées augmenter la réalité, alors il faut que la position de notre observateur et du menhir soient solidaires, afin que les informations affichées dans le menhir soient bien alignées avec les objets réels à augmenter. Donc, si notre observateur bouge où s’il y a plusieurs observateurs, les informations affichées dans le menhir ne sont plus alignées avec les objets réels à augmenter. Le problème se présentera donc avec les systèmes d’affichage au travers des vitres, comme dans l’exemple de la tablette ci-dessus, mais aussi pour la passagère de notre taxi dans la première illustration de ce billet ( et à 00:35 sur la vidéo plus bas de Microsoft Office Vision).

De plus, un autre paramètre est à prendre en compte : la distance entre l’observateur et la vitre, qui doit être prise en compte pour ajuster la proportion des informations augmentées en rapport avec les objets réels.

Nous pourrions faire grossir assez vite la liste des facteurs de difficultés d’utilisation de la réalité augmentée au travers d’une vitre en plus des dimensions perceptives déjà citées, et pas des moindres. Pour un dispositif placé dans un environnement extérieur notamment, il faut pouvoir gérer les variations de luminosité, de reflets, contrastes etc. et autres paramètres influençant la visibilité et la netteté de l’affichage holographique.

Ces problèmes ne se présenteront pas avec la réalité augmentée sur nos smartphones actuels, puisque la réalité et les informations augmentées sont sur le même plan, sur l’écran de l’appareil, et sont donc alignés et solidaires, et il n’y a pas non plus de problème avec la distance entre l’observateur et l’affichage. Ces problèmes ne se présenteront pas non plus dans le cas de la vision tête haute dans le cockpit ou l’habitacle de la voiture (illustrations plus haut) car la posture assise fixe de l’observateur est solidaire du reste de l’habitacle et de la vitre.

Ces problèmes de position de l’observateur par rapport à des vitres transparentes à réalité augmentée pourraient être évités si le dispositif détecte la distance et la position des yeux de l’observateur (et un seul observateur), afin de caler et aligner les informations dans la vitre avec la vision de l’observateur et les objets réels. Des détecteurs de formes peuvent être utilisés (c’est la solution que j’ai proposé dans le cadre d’un projet de dispositif digital d’orientation), des caméras ou webcams, des capteurs rétiniens, comme ceux qui sont utilisés par certains dispositifs oculométriques (eye-tracking) tels le Tobii glasses.

Les lunettes : le dispositif idéal ?

Cette technologie sera très bientôt disponible. Google travaillerait sur un tel dispositif tournant sous l’OS Android (voir la vidéo en fin d’article).

L’utilisation de lunettes pour la réalité augmentée présente de nombreux avantages :

• D’abord, les lunettes étant solidaires du porteur, les problèmes de position de l’observateur (évoquées plus haut) ne se présentent pas
• Une excellente portabilité puisque les mains sont libres
• L’adaptation au champ visuel de l’utilisateur est complet, l’immersion dans la réalité augmentée est totale. C’est un gros avantage des lunettes par rapport aux tablettes et smartphones

Mais…

• On perd l’interactivité avec un écran tactile, mais le dispositif pourrait être complété par un smartphone connecté en bluetooth faisant office d’interface avec les lunettes, une interface vocale ou mieux : avec des interfaces gestuelles ou omnitouch.

Interface Omnitouch

Le dispositif le plus prometteur semble donc celui des lunettes à réalité augmentée, si l’on propose avec celle ci une interface efficace. Voir ci-dessous la dernière vidéo avec le concept BMW d’assistance au dépannage.

La vidéo ci-dessous commence par une application en réalité augmentée sur lunettes : la traduction linguistique automatique de contenus du réel (panneaux de signalisations).

Vous trouverez également dans cette vidéo à 00:35 l’exemple de l’affichage sur la vitre de taxi, évoqué à plusieurs reprises dans le billet.

Ci-dessous, une autre vidéo prospective. Une nouvelle technologie de vitres, compatibles avec les technologies OLED et tactiles. Elle peut être déclinée sur n’importe quel support ou devices, et permet l’utilisation de la réalité augmentée.

A Day Made of Glass… Made possible by Corning (5:32, 2011)

Une vidéo pour illustrer un usage possible des lunettes à réalité augmentée : l’assistance d’un mécanicien dans la vérification, la réparation ou le changement de pièces moteur :

Concept BMW assistance au dépannage
avec lunettes de réalité augmentée (2:39, 2007)

Une vidéo d’illustration du projet de lunettes à réalité augmentée « Glass » de Google avec interface vocale :

Glass de Google (2:30, 2012)

Avant les RIA

« Autrefois », à l’époque du web 1.0, nous avions :
– d’un côté, un web statique, pour consulter des pages de contenus textuels et des images, accessibles depuis un logiciel de navigation web.
– d’un autre côté, des logiciels pour travailler sur un ordinateur, saisir des contenus, réaliser des traitements, transactions, opérer de la manipulation de données, etc.

Les RIA, une évolution logique des interfaces utilisateur

Grâce à l’évolution des connexions à haut débit et des technologies web, apparaissent les Rich Internet Applications (applications internet riches)  : des applications web pouvant fonctionner sur divers supports (ordinateurs, terminaux mobiles, smartphones, tablettes tactiles, etc.) dans un navigateur web ou une application autonome. Ces RIA peuvent reposer sur diverses technologies (bibliothèques Javascript, JavaFX, Adobe Flex, Microsoft Silverlight, etc.).

Tout en exploitant le côté visuel et immersif du web, elles offrent des caractéristiques similaires aux logiciels traditionnels. Il en résulte plus d’interactivité avec l’utilisateur, de fluidité de l’interface, la présence de composants « riches » : panneaux flottants / dépliants, drag’n drop, réglettes, indicateurs de progression, auto-complétion et autosuggestion, fonctionnalités et affichages informationnels contextuels et flottants, etc. Bref, tout un ensemble d’éléments qui peuvent contribuer à l’amélioration de l’expérience utilisateur.

Leur développement est également lié à :

– l’émergence du web 2.0 : l’internaute n’est plus passif devant le contenu, mais producteur de contenu, contributeur, utilisateur d’outils de simulations, de commandes de produits en ligne, etc., ce qui sous-tend de plus en plus d’interactivité.
– la banalisation du multimédia sur le web avec l’audio et la vidéo, permettant notamment la visioconférence,
– la diversification et l’émergence de supports de type tactiles et des modes d’interactions « naturellement intuitifs » (interfaces naturelles ou Natural User Interface) : smartphones, tablettes, vitrines et bornes interactives, réalité augmentée, etc. qui nécessitent des interfaces utilisateurs très dynamiques, animées, une interactivité accrue.

Du côté des entreprises, on constate :

– une quantité de données croissante et une multiplicité des types de données à manipuler dans beaucoup de métiers,
– un auditoire des applications de plus en plus large (de l’opérationnel au décideur),
– des usages et des exigences en pleine évolution chez les collaborateurs, boostés par leurs usages personnels du web, le mobile et les nouveaux supports.

De nombreux avantages dans le domaine professionnels et les entreprises

D’abord, des avantages techniques :

– les applications RIA peuvent fonctionner dans un simple navigateur web sur divers supports, ce qui facilite le déploiement et la maintenance, à la différence des logiciels traditionnels, nécessitant une maintenance plus lourde.
– de plus, les applications RIA peuvent être utilisées en mode connecté au web / réseau d’entreprise ou en mode déconnecté, en stockant les données en local en mode hors connexion, en se synchronisant avec des bases de données distances lors des connexions. Ceci offre aussi de nouvelles possibilités concernant le stockage et la sauvegarde de données.

Des avantages en terme de fonctionnalités et de productivité :

– les RIA reposent sur les normes et standards d’internet, qui sont utilisées et éprouvées mondialement.
– les caractéristiques fonctionnelles des applications RIA permettent d’imaginer de nouvelles possibilités pour répondre à des besoins métiers
– l’utilisation du web s’est démocratisée au niveau du grand public. Reprendre des standards et des bonnes pratiques du monde du web au niveau interfaces utilisateurs des applications métier permet de faciliter l’apprentissage et l’appropriation des outils. Si les modes d’interactions sont « naturels » (disons « habituels » au regard de l’utilisation du web) dans l’application, l’apprentissage pourra se focaliser sur les aspects métier, et non sur l’apprentissage de l’interface de l’application elle-même. Cela, bien sûr, à condition que l’ergonomie de l’interface soit appropriée au regard des exigences métier, du contexte d’utilisation des applications, et des caractéristiques des utilisateurs. En effet, une interface riche n’est pas forcément une interface utilisable ! Ce point est essentiel et démontre la nécessité de méthodes de conception fondées sur des principes et méthodes d’ergonomie, centrés sur les utilisateurs.

Des avantages en terme d’image et de communication interne

Avec la généralisation du web grand public, l’ergonomie, la qualité et le graphisme des sites a beaucoup progressé, afin d’attirer, de séduire et surtout de fidéliser les internautes : c’est ce qu’on appelle L’expérience utilisateur.

Quand un individu utilise dans ses loisirs, même de façon ponctuelle, des interfaces utilisateurs efficaces, belles et agréables, il peut s’attendre à un bon niveau ergonomique et graphique des interfaces des applications qu’il va utiliser plusieurs heures par jour dans son activité professionnelle.
Le collaborateur n’est pas seulement un utilisateur, il est aussi une cible pour l’entreprise, il doit être séduit ! Cela est d’autant plus vrai avec l’arrivée sur le marché du travail d’individus qui ont grandit dans l’époque du « tout numérique » (les « Digital Natives« ).

Les RIA, en s’appuyant à la fois sur les bonnes pratiques du web, des logiciels traditionnels et de la communication, sont à même de répondre à ces niveaux d’exigences. Dés mai 2005, le cabinet Gartner présentait une étude prévoyant qu’environ 60% des nouvelles applications utiliseraient une technologie RIA en 2010.

Homogénéisation, standardisation et productivité

La généralisation de normes, bonnes pratiques, la mise à disposition de composants d’interfaces utilisateur prêts à être intégrés directement dans les sites webs ou applications permettent :
– plus d’efficacité des sites webs et des applications,
– plus de productivité, côté utilisateur (métier ou grand public) mais aussi côté conception et réalisation de ces interfaces.

Quand on présente les choses de cette manière, on pourrait penser que cela va nous amener vers une uniformisation des sites web et des applications, qui vont tous se ressembler, et potentiellement une monotonie, que seules les chartes graphiques pourraient faire un peu varier ? Pour exemple, en ce moment, les clients nous demande beaucoup des graphismes « à la Apple » (les boutons iPhone, le carrousel « à la iTunes »). Il ne s’agit que de phénomènes de mode, transitoires.

En poussant le raisonnement encore plus loin, on pourrait imaginer qu’une entreprise mette à la disposition de ses collaborateurs et ses clients les mêmes interfaces. Nous avons rencontré cette situation chez un client qui a érigé ce principe dans le cadre d’un important projet de refonte des applications, dans le but de faciliter et améliorer la relation entre le client et les collaborateurs de l’entreprise. Ce concept est à manier avec une grande prudence. En effet, les objectifs, les contextes d’utilisation, le matériel et les caractéristiques des utilisateurs sont très différents côté client et côté collaborateur. On peut même supposer qu’il peut y avoir un fossé abyssal entre un client qui consulte l’outil en question 3 minutes par mois, et le collaborateur qui va passer plusieurs heures par jour sur un outil avec de nombreuses tâches et potentiellement des interdépendances entre d’autres outils, etc.

Il ne faut donc pas céder à un effet de mode et à la tentation des composants riches partout. Ce sont avant tout de formidables possibilités technologiques qui doivent être utilisées à bon escient.

Une grande richesse des possibilités en terme de conception d’interface

En fait, nous ne pensons pas du tout qu’il y ait un risque d’uniformisation trop grande et de monotonie.

A l’inverse, les RIA fournissent une très grande diversité de possibilités en terme de navigation, d’interaction dans les interfaces et de représentations visuelles, afin de répondre au mieux aux besoins des utilisateurs, des organisations, et laisser libre cours à la créativité et l’imagination des ergonomes, des designers, architectes de l’information etc. pour produire des solutions originales et efficaces, génératrices de satisfaction et de plaisir.

C’est donc à tous les acteurs de la conception d’évoluer eux aussi dans leur pertinence et leur créativité pour être à la hauteur des possibilités technologiques qui sont offertes, face à des utilisateurs de plus en plus exigeants.

La diversification des typologies d’utilisateurs, la profusion des usages boostée par l’omniprésence des supports et d’internet auprès du grand public, la diversité des modes d’interactions (développement du tactile, de la réalité augmentée) ont rendu notre monde ubimédia, en décloisonnant l’espace personnel et professionnel. Dans cette évolution en cours, les RIA, en particulier, contribuent à la disparition de la frontière entre le monde du web et celui des logiciels.

Cet article a fait l’objet d’une publication sur Le Journal du Net.