Interactions, Multimodalité et Réalité/Virtualité Augmentée

Techniques de visualisation, application d’un fisheye

Pour la première séance de cette partie, nous voyons l’aspect visualisation : cours sur la visualisation (pdf, 2.7 Mo).

• lien pour les « cone tree » : http://www.infovis-wiki.net/index.php?title=Cone_Trees

Luc Marongiu vous a présenté l’aspect technique « javascript ».

Sujet du tp : faire un fisheye, 1ere partie (pdf, 1.4 Mo).

 

Voici des informations complémentaires pour ceux qui réalisent le tp en android :

• Note : pour l’adaptation à l’orientation, vous pouvez consulter les « qualifiers » des ressources (notamment le -land) : http://developer.android.com/guide/topics/resources/providing-resources.html.
• Pour la classe qui définit le « type » polygone :  MyPolygon.java.
• L’ancien exemple (ApiDemo) qui date de la version android 10 (c’est la 2.3, dans le doc c’est la version 17 qui est évoquée) est disponible dans l’archive ApiDemos-android10.
• Pour surchager un View, il faut des constructeurs qui peuvent être utilisés par Android lors du chargement (inflate) du fichier xml. A priori celui qui sera utilisé sera :

public DeformablePolygons(Context context, AttributeSet attrs)
 {
 super(context, attrs);
 setDimensions(initialSize[0], initialSize[1]);
 }

 

Introduction à la Multimodalité

Pour cette la partie Multimodalité, il s’agit d’une introduction de la multimodalité est faite (pdf, 1,6Mo).

• avec des informations sur les interactions en js
  • liens vers l’événement « mousedown » (et vers les autres événements)
• avec des informations sur les interactions en android

Sujet de Tp : fisheye seconde partie: multimodalité (pdf, 0,6Mo)

 

 

 

Introduction à la Réalité Augmentée et à la Virtualité Augmentée

Pour cette sous partie, une introduction à la réalité augmentée et à la virtualité augmentée est faite (pdf, 3.5Mo).

Pour la partie « réalisation de la RV-VA-AR » en javascript, voici les transparents de Luc (avec AFrame et ARjs).

 

Pour utiliser Vuforia, sous Android :

• Il faut vous enregistrer sur le site de Vuforia.
• Voici un tutoriel, qui fonctionne avec la version 6.0 (jusqu’à la 6.2) car il utilise des FrameMarker qui ont disparu depuis, mais qui sont remplaçables par des VuMark
  • Voici aussi les jar pour la version 6.0 de vuforia à mettre dans le dossier app/libs (7.5 Mo).
  • • en utilisant ces images :
      • un pptx pour les markers (ou un pdf)
      • des images à charger (texture) pour les augmentations
    • en utilisant la version de base de la classe ARRenderer.java (à renommer)
  • Faire de Virtualité augmentée :
    • Voici l’exemple, notez que les dossiers libs contiennent les librairies… avec Vuforia, sans afficher l’image de la caméra (projet android studio, 6.9Mo).
      • le projet est à mettre à jour lors du lancement d’AndroidStudio.
      • Il fonctionne aussi bien avec la 6.0 que la 6.5 de Vuforia
      • chips.jpg (image fournie avec les exemples du sdk vuforia)
      • stones.jpg (image fournie avec les exemples du sdk vuforia)
      • sophiatech.png (image provenant du site de l’université)
    • Le sujet est simple : intégrér cela dans le fisheye.
  • • Voici aussi les jar pour la version 6.5 de vuforia à mettre dans le dossier app/libs (7.5 Mo).

 

 

 

 

 

 

 

ARCHIVES 2016-17 :

Techniques de visualisation, application d’un fisheye

Pour la première séance de cette partie, nous voyons l’aspect visualisation : cours sur la visualisation (pdf, 2.7 Mo).

Sujet du tp : faire un fisheye, 1ere partie (pdf, 1.4 Mo).

Note : pour l’adaptation à l’orientation, vous pouvez consulter les « qualifiers » des ressources (notamment le -land) : http://developer.android.com/guide/topics/resources/providing-resources.html.

Pour la classe qui définit le « type » polygone :  MyPolygon.java.

Pour surchager un View, il faut des constructeurs qui peuvent être utilisés par Android lors du chargement (inflate) du fichier xml. A priori celui qui sera utilisé sera :

public DeformablePolygons(Context context, AttributeSet attrs)
 {
 super(context, attrs);
 setDimensions(initialSize[0], initialSize[1]);
 }

L’ancien exemple (ApiDemo) qui date de la version android 10 (c’est la 2.3, dans le doc c’est la version 17 qui est évoquée) est disponible dans l’archive ApiDemos-android10.

Introduction à la Multimodalité

Pour cette sous partie, il s’agit d’une introduction de la multimodalité est faite (pdf, 3.4Mo).

Sujet de Tp : fisheye seconde partie: multimodalité (pdf, 1.4Mo)

Voici une série d’exemple (code source pour projet android studio) pour le d (dispositifs) du couple (d,l) d’une modalité :

• Multitouch
• accéléromètre (sans gyroscope)
• reconnaissance vocale
• reconnaissance de gesture (zoom, etc.)

Vous pouvez disposez d’un début de correction pour le fisheye (seulement les polygons, avec une seule interaction : ontouch) – format zip).

 

Introduction à la Réalité Augmentée et à la Virtualité Augmentée

Pour cette sous partie, une introduction à la réalité augmentée et à la virtualité augmentée est faite (pdf, 3.5Mo).

Voici les exemples Vuforia version 6.0.112 (34.5Mo) .
Il faut vous enregistrer sur le site de Vuforia.

Voici aussi les jar à mettre dans le dossier app/libs (7.5 Mo).
La librairie et les exemples sont normalement téléchargeables sur le site de Vuforia, ils sont ici pour avoir une version de référence, mais pour les exemples, la versions 6.0.120 a subie une évolution par rapport à la 6.0.112 qui a servie de base pour la suite)

Pour la mise en pratique, vous avez le choix (et vous êtes invités à toutes les faire en dehors des séances) :

• Faire de Virtualité augmentée :
  • Voici l’exemple, notez que les dossiers libs contiennent les librairies… avec Vuforia, sans afficher l’image de la caméra (projet android studio, 6.9Mo).
    • chips.jpg (image fournie avec les exemples du sdk vuforia)
    • stones.jpg (image fournie avec les exemples du sdk vuforia)
    • sophiatech.png (image provenant du site de l’université)
  • Le sujet est simple : intégrér cela dans le fisheye.
• Faire de la Réalité Augmentée :
  • en adaptant un des exemples (celui des FrameMarkers)
  • en utilisant ces images :
    • un pptx pour les markers (ou un pdf)
    • des images à charger (texture) pour les augmentations
  • en utilisant la version de base de la classe ARRenderer.java (à renommer)
  • et le tutoriel à suivre

 

Une autre possibilité est de suivre le tutoriel de Vuforia pour l’utilisation avec Unity (nécessite l’environnement Unity).

 

 

 

 

 

 

ARCHIVES 2015-16 : Techniques de visualisation, application d’un fisheye

Pour la première séance de cette partie, nous voyons l’aspect visualisation : cours sur la visualisation (pdf, 2.4 Mo).

Sujet du tp : faire un fisheye, 1ere partie (pdf, 1.1 Mo).

Note : pour l’adaptation à l’orientation, vous pouvez consulter les « qualifiers » des ressources (notamment le -land) : http://developer.android.com/guide/topics/resources/providing-resources.html.

Pour la classe qui définit le « type » polygone : MyPolygon.java.

Pour surchager un View, il faut des constructeurs qui peuvent être utilisés par Android lors du chargement (inflate) du fichier xml. A priori celui qui sera utilisé sera :

public DeformablePolygons(Context context, AttributeSet attrs)
 {
 super(context, attrs);
 setDimensions(initialSize[0], initialSize[1]);
 }

L’ancien exemple (ApiDemo) qui date de la version android 10 (c’est la 2.3) est disponible dans l’archive ApiDemos-android10.

Introduction à la Multimodalité

Pour cette sous partie, il s’agit d’une introduction de la multimodalité est faite (pdf, 3.2Mo).

Sujet de Tp : fisheye seconde partie: multimodalité (pdf, 0.9Mo)

Pour "importer" les projets ci-dessous, le plus simple est de créer un projet vide (qui vise la
version 17 ou 19), de recopier (via l'explorer) le contenu de app/src/main de l'archive 
téléchargée dans le nouveau projet et de re-synchroniser android-studio (le graddle) avec le 
bouton suivant
 

Voici une série d’exemple (code source pour projet android studio) pour le d (dispositifs) du couple (d,l) d’une modalité :

• Multitouch
• accéléromètre (sans gyroscope)
• reconnaissance vocale
• reconnaissance de geste

Vous pouvez disposez d’un début de correction pour le fisheye (seulement les polygons, sans interaction) – format zip, 65ko).

 

Introduction à la Réalité Augmentée et à la Virtualité Augmentée

Pour cette sous partie, une introduction à la réalité augmentée et à la virtualité augmentée est faite (pdf, 3Mo).

Voici l’exemple, notez que les dossiers libs contiennent les librairies… :

• avec Vuforia, sans afficher l’image de la caméra (projet android studio, 6.9Mo).
  • chips.jpg (image fournie avec les exemples du sdk vuforia)
  • stones.jpg (image fournie avec les exemples du sdk vuforia)
  • sophiatech.png (image provenant du site de l’université)

Pour le tp, il s’agit de poursuivre l’introduction de modalité pour le contrôle du fisheye, avec notamment de la virtualité augmentée avec Vuforia.

Pour transformer votre machine virtuelle Genymotion en « ARM » (processeur), non testé en 2015 : http://forum.xda-developers.com/showthread.php?t=2528952