Blogue de Logiciels de recherche : Décomposer le mouvement en données

Par Scott Henwood, directeur du programme Logiciels de recherche

Jusqu’à présent, les billets du blogue Logiciels de recherche ont essentiellement porté sur des projets qui cadrent avec les domaines classiques des sciences aux prises avec un volume formidable de données, telles l’astronomie et la physique des particules. Les chercheurs qui se spécialisent dans ces disciplines obtiennent leurs données brutes d’énormes instruments très onéreux comme des télescopes spatiaux ou des accélérateurs de particules. Depuis peu cependant, la saisie de données par des appareils mobiles et l’Internet des choses ont mis une avalanche de données bon marché à la disposition de chercheurs dans des secteurs qui, par définition, n’entrent pas dans la catégorie des « méga projets ».

Ce billet examine la plateforme de recherche m+m (Movement Plus Meaning, littéralement « mouvement et signification »), consacrée à l’observation et au décryptage du mouvement humain, une création des chercheurs de l’Université Simon Fraser. Nous en profiterons pour explorer la technologie informatique à la base, dont l’utilité ne se borne pas, tant s’en faut, à l’analyse des mouvements.

Décrypter le mouvement humain, quelle utilité?

Peut-être lisez-vous ceci sur un appareil mobile (un téléphone intelligent ou une tablette, par exemple). Si c’est le cas, sans doute interagissez-vous avec lui au moyen de certains gestes –balayer l’écran pour faire défiler ou tourner les pages, écarter ou rapprocher les doigts pour agrandir ou rapetisser l’image et ainsi de suite. Le battage publicitaire qui accompagne le lancement d’un nouvel article initie le consommateur aux technologies d’avant-garde de ce genre. Toutefois, on entend rarement parler de la recherche fondamentale qui se dissimule derrière ces gadgets et en permettent la concrétisation.

La plateforme m+m facilite la recherche sur les mouvements humains de toute sorte, notamment les gestes. En son cœur se trouve le studio de saisie, espace à l’intérieur duquel des caméras vidéo ou autres, placées à des endroits stratégiques, capturent les mouvements d’une ou de plusieurs personnes. En relayant les données qui en sont issues à des ordinateurs qui les analysent, la plateforme m+m autorise la recherche sur une vaste gamme de sujets liés au mouvement humain.

Ainsi, il est possible d’analyser les mouvements des athlètes en vue d’améliorer la performance de ces derniers ou d’atténuer les risques d’accident. On peut également suivre les nouveau-nés et les bambins pendant qu’ils grandissent afin de mieux comprendre comment les mouvements humains évoluent lors d’une croissance normale. Ces informations serviront ensuite à déceler aussi vite que possible les problèmes de développement qui surviennent chez d’autres enfants en bas âge. En prenant les mouvements humains comme données, on peut apprendre à l’ordinateur à reconnaître et à distinguer certains comportements, puis recourir à cette capacité pour détecter automatiquement les menaces à partir d’un système de surveillance vidéo.

Fonctionnement

À la base, la plateforme m+m comprend un logiciel qui raccorde les appareils de saisie (ou capteurs) aux organes de sortie (appelés « effecteurs »). Dans la recherche sur le mouvement humain, les capteurs peuvent adopter des formes diverses (une caméra ou le Kinect de Microsoft, par exemple), alors que les effecteurs peuvent consister en un moniteur affichant un environnement virtuel, en l’hologramme d’un squelette humain ou en un bras robotisé.

La plateforme m+m recourt à un réseau ultra rapide pour permettre la saisie et la restitution simultanées de signaux multiples. Grâce à cette architecture, des personnes collaborent entre elles même si elles se trouvent dans des lieux différents. Supposons que vous aimeriez comprendre comment les gens interagissent lors d’une rencontre virtuelle afin de trouver une solution de rechange à des déplacements aussi coûteux que fastidieux. La plateforme m+m permettrait à de nombreuses personnes situées ici et là d’assister à une réunion dans un environnement virtuel, par le truchement d’avatars. Grâce à la réseautique, les participants jouiraient d’un point de vue direct et synchronisé des lieux.

Autres applications pour la recherche

Bien que spécifiquement conçue pour étudier le mouvement humain, par sa capacité de connecter arbitrairement les données d’entrée aux données de sortie, la plateforme m+m se prête à la recherche dans de nombreuses autres disciplines – n’importe quelle situation, en fait, où la donnée d’entrée modifie la donnée de sortie en temps réel. Ainsi, en recourant à un appareil qui capture les gestes de la main, on pourrait étudier de nouvelles méthodes servant à commander à distance des véhicules, comme ceux employés pour explorer le fond des océans. En génomique, on pourrait parcourir des jeux complexes de données 3D afin de les analyser grâce à une gestuelle coopérative ou par le mouvement du corps complet en temps réel.

La même technologie pourrait être employée par les chirurgiens, en médecine, pour répéter une intervention dans des conditions sûres, parce que virtuelles. Lorsque survient une urgence nécessitant une véritable opération et qu’il ne peut parvenir au patient, le médecin pourrait recourir à cette technologie pour télécommander un robot chirurgical situé, par exemple, à des milliers de kilomètres de là.

Les données saisies par la plateforme m+m n’ont même pas besoin de venir directement dispositifs physiques. Un système servant à la recherche sur les accidents aériens pourrait alimenter un simulateur avec les données recueillies par les enregistreurs de vol d’un véritable avion pour qu’on approfondisse les réactions du pilote.

L’avenir

Les possibilités sont infinies.

L’équipe m+m a déjà collaboré avec celle d’un autre projet de recherche subventionné par CANARIE, la plateforme d’analyse vidéo VESTA du CRIM, afin d’enrichir les données sur le mouvement par l’analyse vidéo. Les sujets dans les salles de capture des mouvements n’auront donc plus besoin de porter des marqueurs spéciaux pour que leurs gestes soient détectés plus facilement. Elle a également entrepris une étude avec l’équipe du projet REALM, de l’Université Western, lui aussi financé par CANARIE, afin d’évaluer un bras robotisé et d’en créer un prototype qu’on reliera à la plateforme m+m. Imaginez : vous servir d’une caméra Kinect pour contrôler les mouvements d’un robot en temps réel quand se produit un cataclysme ou quand les conditions ambiantes ou l’emplacement s’avèrent trop dangereux.

Afin que d’autres puissent se servir de la plateforme m+m pour leurs travaux, l’équipe de l’Université Simon Fraser a mis au point des modules d’installation pour les systèmes Windows et Mac, et a mis le code source à la disposition de chacun grâce à une licence d’exploitation ouverte. Elle élabore maintenant une infrastructure en nuage qui démocratisera encore plus l’usage de sa plateforme.

De la science de calibre mondial réalisée ici même, au Canada!

Pour en savoir plus :

• Fiche d’information de m+m
• http://mplusm.ca
• http://science.canarie.ca