Contenu
Cet enseignement présente dans un premier temps les principaux fondements de la Réalité Virtuelle (RV) : Réalité Immersive et Réalité Augmentée. Les différentes techniques permettant à une ou à plusieurs personnes d’avoir une activité en Temps Réel d’ordre cognitive, interactive et immersive, dans des environnements réels et/ou artificiels modifiés numériquement sont ainsi décrites. D’autre part, pour illustrer l’intérêt de ces techniques, les principaux cas d’usage en monde professionnel et industriel sont également présentés.
Dans un second temps, cet enseignement montre comment développer en JAVA, sous l’environnement de développement « Processing », de telles expérimentations. Dans cette partie, ce cours s’attache à présenter les techniques informatiques et matérielles propres aux environnements virtuels qui visent à renforcer les sentiments d’immersion et d’interaction.
L’interaction des personnes dans ces environnements virtuels est par exemple réalisée par une caméra RGB-D, de type Kinect, exploitée comme capteur de mouvements. Les expériences de Réalité Virtuelle ainsi développées mettent en évidence le fait que ces capteurs bien réels sont capables de contrôler un environnement constitué d'images totalement virtuelles.
D’autre part, les expérimentations de Réalité Augmentée sont réalisées en utilisant une caméra vidéo de type webcam et des fonctions logicielles préconçues (bibliothèque ARToolKit). Les applications ainsi développées acquièrent en temps réel le flux vidéo en provenance de la caméra, puis à l’aide de traitements adéquats, incrustent des objets virtuels 3D, cohérents avec la scène filmée. Un premier focus est donné ici sur les objets 3D et les concepts associés : points, maillage, texture, dynamisme. Le second focus est fait sur les outils de traitement d’images, permettant la détection du marqueur visuel servant de repère à l’incrustation. C’est ainsi que les méthodes de binarisation, d’extraction de points de contour par filtrage, d’extractions de droites (transformée de Hough) et les transformations géométriques 2D sont étudiées et implémentées.
Enfin, des expérimentations de Réalité Immersive sont développées en déployant des applications en JAVA pour Android, destinées à un smartphone lui-même intégré dans un casque immersif. Les capteurs de positionnement intégrés (accéléromètre et gyroscope) garantissent alors l’immersion virtuelle de l’utilisateur porteur du casque.
Informations complémentaires
Initiation à certaines spécialités enseignées dans le cursus ingénieur ISIMA
