Intergiciel M+M (mouvement + signification)

Donner un sens à la danse

School of Interactive Arts and Technology, Université Simon Fraser

Le mouvement est un des moyens essentiels par lequel l’être humain communique avec ses semblables. Si le face à face est privilégié au niveau des interactions, c’est qu’ainsi, on peut voir la réaction de son vis-à-vis, observer ses gestes, déchiffrer son langage corporel. L’ordinateur a considérablement évolué et interprète désormais sans difficulté le langage écrit ou parlé. Toutefois, un froncement de sourcils continue de lui échapper, les signes de la main lui sont imperméables, et il ne discerne aucune poésie dans la danse. Du moins, c’était le cas jusqu’à maintenant.

La plateforme M+M (pour Movement and Meaning ou mouvement et signification) est un système logiciel avec lequel l’ordinateur décode les mouvements humains en les quantifiant, bref en transposant un déplacement analogique fluide en données numériques sous une forme nouvelle. Le logiciel permet aussi d’exploiter ces données pour manipuler des robots, contrôler les personnages d’un jeu et leurs avatars, enseigner des aptitudes manuelles, juger des étudiants en ballet et ainsi de suite.

Déterminer l’origine humaine du mouvement

Comment cela fonctionne-t-il? La plateforme M+M fait appel à une multitude de technologies actuellement disponibles– accéléromètres des téléphones cellulaires, caméras figeant le mouvement, manettes de jeu (comme celles du Kinect de Microsoft ou du Wii de Nintendo) et dispositifs intégrés aux vêtements (tel Fitbit) – pour situer dans l’espace les innombrables emplacements du corps humain, de ses membres, de la tête ou des mains lorsqu’ils bougent. La plateforme fusionne les séquences d’emplacements individuels pour en tirer une représentation numérique. Cette représentation alimente d’autres ordinateurs qui s’en servent pour reproduire le mouvement humain ou pour établir des points de repère à partir desquels on évaluera un tel mouvement.

Du potentiel pour les arts et la science

L’analyse du mouvement humain pourrait aider grandement les chercheurs qui se spécialisent dans les applications sociales, culturelles, techniques et médicales – que ce soit en rehaussant la performance des athlètes aux Jeux olympiques, en maîtrisant le mouvement de personnages de synthèse ou par une meilleure compréhension des maladies qui affectent le système moteur comme la maladie de Parkinson. L’intergiciel M+M a aussi son utilité en arts, par le biais d’installations interactives comme l’exposition « Longing and Forgetting », organisée en 2104 à Surrey (C.-B.), durant laquelle les membres de l’auditoire contrôlaient les personnages de l’œuvre avec leurs appareils mobiles. Enfin, cette technologie faciliterait naturellement d’autres avancées en téléchirurgie, domaine dans lequel excelle déjà le Canada.

Création et collaboration

La plateforme M+M résulte d’une collaboration entre la School of Interactive Arts + Technology de l’Université Simon Fraser, Credo Interactive, entreprise mettant au point des logiciels d’animation et de chorégraphie qui imitent le mouvement humain, et H+ Technologies, créateurs de systèmes intuitifs adaptables reposant sur les gestes et de systèmes d’affichage holographiques.

Plusieurs modules de la plateforme M+M sont maintenant offerts dans le registre de logiciels de CANARIE : la plateforme complète, le logiciel saisissant les entrées des capteurs, une base de données en temps réel sur le mouvement et le logiciel de connexion avec lequel la plateforme M+M interagit avec d’autres systèmes informatiques.