22 février 2012 Les défis de la réalité augmentée dans les prochaines générations d’interfaces utilisateur

Dans l'exemple ci-dessus, le smartphone de la passagère du taxi communique automatiquement avec le système embarqué du taxi. Des informations en réalité augmentée sont affichées sur la vitre latérale du taxi : ici, l'emplacement de l'immeuble où aura lieu son rendez-vous du lendemain. La réalité augmentée consiste à ajouter de l'information et des objets sur un affichage de la réalité. Il ne faut pas la confondre avec la réalité virtuelle, qui imite complètement la réalité.

Les usages prometteurs : réalité augmentée et interfaces tactiles et gestuelles

Les vidéos de prospectives de Microsoft (voir plus bas) préfigurant les interfaces utilisateurs d'un futur proche donnent la part belle aux applications de réalité augmentée et à l'usage massif d'interactions tactiles et gestuelles. Ces usages sont déjà là aujourd'hui et en plein essor, accélérés et démocratisés par le succès de l'iPhone et autres smartphones évolués, les tablettes... et les interfaces gestuelles sont rentrées dans le salon du particulier, avec les usages ludiques de la Kinect et autres devices. En ce qui concerne le tactile, cet usage existe depuis longtemps avec les bornes tactiles (billetterie, distributeurs de billets, bornes d'orientation...).

La réalité augmentée a été longtemps réservée à des interfaces spécifiques, je pense aux systèmes HUD (Head-Up Display : affichage tête haute) dans les cockpits des avions de chasse. Dans ce contexte d'utilisation, le recours à la réalité augmentée évite les allers retour visuels entre le monde extérieur et le tableau de bord de l’embarcation, renforce l'attention, la sécurité et limite la fatigue visuelle.

Cette technologie est maintenant rentrée dans les habitacles de voitures, se sont souvent des accessoires en option sur certaines berlines. Tous ces dispositifs sont fixes ou embarqués : cockpits, habitacles, bornes, et ont ceci en commun d'être donc des dispositifs lourds et fixes.

La libération des usages grâce aux applications mobiles

Ce sont l'iPhone et autres smartphones qui nous ont libéré de la lourdeur et la fixité des dispositifs, en devenant mobiles, autonomes, en tenant dans la poche tout en embarquant une multitude de technologies et de capteurs. Cela rend possible tout un univers d'applications et d'usages, disponibles en permanence et partout, nous ouvrant les portes du monde de la mobiquité. En effet, c'est la combinaison de plusieurs technologies embarquées dans le smartphone qui permettent notamment l'utilisation de la réalité augmentée sur ces dispositifs : connectivité multiple (GSM, Wifi, bluetooth) et permanente à Internet, stockage et envoi de données, écran d'affichage et d'interactions tactiles multitouch, objectifs photo/vidéo, GPS, boussole, gyroscope et accéléromètre (pour la détection des positions angulaires et de mouvements). Exemples d'applications : Layar, Junaio, Wikitude.

Aujourd'hui la réalité est recréée à partir de l'image qui est capté par l'objectif photo/vidéo du dispositif. Elle est alors affichée sur l'écran du smartphone ou de la tablette, comme sur l'exemple de l'application Layar ci-dessus, sur laquelle on peut rajouter de l'information : c'est bien de la réalité augmentée.

Les possibilités offertes par les vitres tactiles

Avec les progrès des technologies d'affichage et d'interactions, ce sont des vitres transparentes avec des capacités multitouch qui vont pouvoir être utilisées pour de nouvelles IHM (notamment la technologie OLED). Les usages possibles sont très nombreux, comme vous pourrez le voir dans l'avant dernière vidéo "A Day Made of Glass... Made possible by Corning" à la fin de ce billet.

On pourrait imaginer l'usage de vitres transparentes interactives pour la réalité augmentée. En effet, on voit tout de suite l'intérêt : c'est la "vrai" réalité qui peut être perçue au travers de la transparence de la vitre. Les informations peuvent être alors rajoutées à la réalité à l'intérieur de la vitre. Mais ceci pose des problèmes de perception, comme nous allons le voir ci-après.

Problématiques de la position de l'observateur avec la réalité augmentée au travers d'une vitre

Mais cette technique des vitres transparentes a son revers. Je voudrais mentionner en particulier l'effet de parallaxe (incidence du changement de position de l’observateur sur l’observation d’un objet). Si notre menhir dans notre schéma ci-dessus est une vitre transparente où s'affichent des informations censées augmenter la réalité, alors il faut que la position de notre observateur et du menhir soient solidaires, afin que les informations affichées dans le menhir soient bien alignées avec les objets réels à augmenter. Donc, si notre observateur bouge où s'il y a plusieurs observateurs, les informations affichées dans le menhir ne sont plus alignées avec les objets réels à augmenter. Le problème se présentera donc avec les systèmes d'affichage au travers des vitres, comme dans l'exemple de la tablette ci-dessus, mais aussi pour la passagère de notre taxi dans la première illustration de ce billet ( et à 00:35 sur la vidéo plus bas de Microsoft Office Vision).

De plus, un autre paramètre est à prendre en compte : la distance entre l'observateur et la vitre, qui doit être prise en compte pour ajuster la proportion des informations augmentées en rapport avec les objets réels.

Nous pourrions faire grossir assez vite la liste des facteurs de difficultés d'utilisation de la réalité augmentée au travers d'une vitre en plus des dimensions perceptives déjà citées, et pas des moindres. Pour un dispositif placé dans un environnement extérieur notamment, il faut pouvoir gérer les variations de luminosité, de reflets, contrastes etc. et autres paramètres influençant la visibilité et la netteté de l'affichage holographique.

Ces problèmes ne se présenteront pas avec la réalité augmentée sur nos smartphones actuels, puisque la réalité et les informations augmentées sont sur le même plan, sur l'écran de l'appareil, et sont donc alignés et solidaires, et il n'y a pas non plus de problème avec la distance entre l'observateur et l'affichage. Ces problèmes ne se présenteront pas non plus dans le cas de la vision tête haute dans le cockpit ou l'habitacle de la voiture (illustrations plus haut) car la posture assise fixe de l'observateur est solidaire du reste de l'habitacle et de la vitre.

Ces problèmes de position de l'observateur par rapport à des vitres transparentes à réalité augmentée pourraient être évités si le dispositif détecte la distance et la position des yeux de l'observateur (et un seul observateur), afin de caler et aligner les informations dans la vitre avec la vision de l'observateur et les objets réels. Des détecteurs de formes peuvent être utilisés (c'est la solution que j'ai proposé dans le cadre d'un projet de dispositif digital d'orientation), des caméras ou webcams, des capteurs rétiniens, comme ceux qui sont utilisés par certains dispositifs oculométriques (eye-tracking) tels le Tobii glasses.

Les lunettes : le dispositif idéal ?

Cette technologie sera très bientôt disponible. Google travaillerait sur un tel dispositif tournant sous l'OS Android (voir la vidéo en fin d'article).

L'utilisation de lunettes pour la réalité augmentée présente de nombreux avantages :

• D'abord, les lunettes étant solidaires du porteur, les problèmes de position de l'observateur (évoquées plus haut) ne se présentent pas
• Une excellente portabilité puisque les mains sont libres
• L'adaptation au champ visuel de l’utilisateur est complet, l'immersion dans la réalité augmentée est totale. C'est un gros avantage des lunettes par rapport aux tablettes et smartphones

Mais...

• On perd l'interactivité avec un écran tactile, mais le dispositif pourrait être complété par un smartphone connecté en bluetooth faisant office d'interface avec les lunettes, une interface vocale ou mieux : avec des interfaces gestuelles ou omnitouch.

Interface Omnitouch

Le dispositif le plus prometteur semble donc celui des lunettes à réalité augmentée, si l'on propose avec celle ci une interface efficace. Voir ci-dessous la dernière vidéo avec le concept BMW d'assistance au dépannage.

La vidéo ci-dessous commence par une application en réalité augmentée sur lunettes : la traduction linguistique automatique de contenus du réel (panneaux de signalisations).

Vous trouverez également dans cette vidéo à 00:35 l'exemple de l'affichage sur la vitre de taxi, évoqué à plusieurs reprises dans le billet.

De nombreuses autres applications de supports tactiles et gestuels interactifs sont illustrés dans la vidéo :

Productivity Future Vision, 6:17, 2011
Microsoft Office Vision, prospective à 5-10 ans

Ci-dessous, une autre vidéo prospective. Une nouvelle technologie de vitres, compatibles avec les technologies OLED et tactiles. Elle peut être déclinée sur n’importe quel support ou devices, et permet l’utilisation de la réalité augmentée.

A Day Made of Glass... Made possible by Corning (5:32, 2011)

Une vidéo pour illustrer un usage possible des lunettes à réalité augmentée : l'assistance d'un mécanicien dans la vérification, la réparation ou le changement de pièces moteur :

Concept BMW assistance au dépannage
avec lunettes de réalité augmentée (2:39, 2007)

Une vidéo d'illustration du projet de lunettes à réalité augmentée "Glass" de Google avec interface vocale :

Glass de Google (2:30, 2012)