Développement d'une interface graphique pour logiciel de vidéo mapping

Titre du stage

Développement d'une interface graphique pour logiciel de vidéo mapping

Objectif

L'interface graphique est souvent la première couche entre l'utilisateur et le logiciel et détermine si il sera adopté ou non. Ce stage s'intéresse à cette composante essentiel. Il s'agira de revoir l'interface actuelle de Splash, un logiciel de vidéo mapping, et de proposer une interface graphique ciblant à la fois un public débutant et intermédiaire.

Splash est, entre autre, utilisé dans un contexte de haute performance pour les productions de la [SAT] dans la Satosphère. Dans ce contexte, il prend en charge à la fois le mapping de l'espace et le rendu vers les 8 projecteurs habillant le dôme.

L'objectif de ce stage sera de développer une interface graphique pour répondre aux cas d'usage courants d'utilisation de Splash tel que les performances live avec un artiste, le mapping de dôme en situation de tournée, les présentations de conférences immersives, festivals.

Tâches

Avec le soutien de l'équipe du Metalab :

  • Analyser les cas d'usage

  • Proposer un ou plusieurs modèles d'interface

  • Développer et évaluer des prototypes

  • Participer à la vie du laboratoire : scrums, révision de code, etc.

  • Documenter le travail et s'assurer de sa reproductibilité

Environnement de travail

  • C++ / Python

  • JIRA / Confluence

  • GitLab

  • Linux, Free and Open Source Software (FOSS)

Contacts

Envoyer un CV à metalab-dir@sat.qc.ca

Estimation de pose et détection d'actions par apprentissage profond

Titre du stage

Estimation de pose et détection d'actions par apprentissage profond

Objectif

La création artistique s'intéresse depuis longtemps à l'interactivité entre le public et l'oeuvre. Par l'intermédiaire de caméras et d'algorithmes d'intelligence artificielle, le Metalab développe un outil visant à ajouter une composante interactive à l'expérience artistique proposée par des créateurs. La composante interactive passe par la détection de la position du public et de points-clés du corps, permettant ainsi l'interaction en temps-réel avec des éléments visuels et sonores.

Ce stage a pour objectif de bonnifer la proposition interactive du Metalab par l'ajout de la détection d'actions qui permettra, par des actions de l'utilisateur, de contrôler, d'influencer et de transformer les éléments visuels et sonores; par exemple, pour créer un mouvement sur des particules, modifier la forme ou la position d'un objet par des gestes physiques.

Tâches

Avec le soutien de l'équipe du Metalab :

  • Exploration des techniques d'estimation de pose et de détection d'actions pour notre cas d'usage

  • Intégration d'outils basés sur des algorithmes d'intelligence artificielle et d'apprentissage automatique

  • Travailler avec des flux vidéo issus de caméras RGB (webcams, caméras traditionnelles, mais aussi industrielles)

  • Participer à la vie du laboratoire : scrums, révision de code, etc.

  • Documenter le travail et s'assurer de sa reproductibilité

Environnement de travail

  • Python

  • Tensorflow, OpenCV

  • JIRA / Confluence

  • GitLab

  • Linux, Free and Open Source Software (FOSS)

Contacts

Envoyer votre CV à metalab-dir@sat.qc.ca

Stratégies pour des communautés diverses, ouvertes et inclusives - logiciel libre

Titre du Stage

Stratégies pour une communauté informatique ouverte, diverse et inclusive - analyse pour les logiciels libres du Metalab

Objectif

Dans le cadre de ses projets de recherche en immersion et en téléprésence, le Metalab crée, développe et entretient une suite d'outils logiciels publiés sous licence libre. Nous encourageons l'utilisation de nos outils dans des projets variés.

Nous souhaitons favoriser l'émergence et le développement d'une communauté qui soit ouverte, diverse et inclusive, de façon à faciliter l'utilisation de ces logiciels et afin de soutenir des contributions communautaires à ceux-ci.

L'objectif de ce stage est tout d'abord de procéder à un état des lieux des stratégies permettant d'assurer un environnement communautaire ouvert et inclusif. Par la suite, il s'agira d'analyser leur adéquation aux logiciels libres du Metalab.

Ces stratégies seront recensées dans un rapport de recherche.

Tâches

Avec le soutien de l'équipe du Metalab, exploration des questions suivantes :

  • Comment favoriser la création d'une communauté ouverte, diverse et inclusive ?

  • Quelles actions concrètes le Metalab peut-il entreprendre afin d'encourager la participation à cette communauté ?

Avec le soutien de l'équipe du Metalab, réalisation d'un travail de recherche incluant :

  • Explorer et documenter les pratiques communautaires adoptées dans l'univers des arts

  • Explorer et documenter les pratiques communautaires adoptées dans l'univers des logiciels libres

  • Effectuer des recommendations pour les outils d'animation de communauté

  • Effectuer des recommandations pour le Metalab

Environnement de travail

Notre environnement de travail favorise le travail en équipe et l'utilisation de logiciels libres, notamment par le biais de:

  • Scrums et révisions de code

  • GitLab, Python, Markdown, Bash

  • Linux, outils libres

  • LaTeX

Contact

Envoyer un CV à metalab-dir@sat.qc.ca

Animation / Rigging facial et corporel pour expérience immersive

Titre du stage

Animation / Rigging facial et corporel pour expérience immersive

Objectif

Dans le cadre de ses recherches, le Metalab de la SAT développe des outils en lien avec l'interactivité permettant la détection de la position du public et la détection de points-clés du corps et du visage à partir de flux vidéo issus de caméras.

En collaboration avec l'équipe du Metalab, vous produirez une démonstration incluant la capture en temps réel des expressions faciales et de la posture du corps d'un participant ainsi que sa représentation sous forme d'avatar dans un environnement virtuel.

Un premier stage sur ce sujet a permit d'explorer cette [thématique](https://sat.qc.ca/fr/nouvelles/workflow-de-capture-et-reproduction-de-visage-dans-blender).

Tâches

Avec le soutien de l'équipe du Metalab :

  • Expérimenter avec des avatars et leur squelette

  • Modélisation et retouche d'avatar 3D

  • Animation de modèle 3D du corps et du visage

  • Participer à la vie du laboratoire : scrums, révision de code, etc.

  • Documenter le travail et s'assurer de sa reproductibilité

Environnement de travail

  • Blender / Python

  • JIRA / Confluence

  • GitLab

  • Linux, Free and Open Source Software (FOSS)

Contacts

Envoyer un CV à metalab-dir@sat.qc.ca

Spatialisateurs supplémentaires pour SATIE

Titre du stage

Types de spatialisateurs supplémentaires pour SATIE

Objectif

SATIE est notre spatialisateur audio interne qui se veut flexible, robuste et qui supporte de nombreuses configurations de haut-parleurs. Ce stage vise à apporter de nouvelles techniques de spatialisation à SATIE.

Tâches

  • Participer à l'idéation
  • Passer en revue la littérature qui documente et discute des techniques de spatialisation.
  • Développer et tester des plugins de spatialisation pour SATIE (en utilisant le framework SuperCollider)
  • Participer au développement d'une démo (vidéo ou live)
  • Participer à la vie du laboratoire : scrums, revue de code, etc.
  • Documenter le travail et assurer sa reproductibilité.

Contexte et logiciels

  • Linux OS
  • Traitement du signal numérique
  • SuperCollider, Bash
  • audio 3D et ambisonique
  • VR/AR
  • En option : Python

Contact

Envoyer un CV à metalab-dir@sat.qc.ca

IR, Calibration et Visualisation

Titre du stage

Réponse impulsionnelle, calibrage et visualisation des signaux audio

Objectif

Ce stage vise à poursuivre le développement de recettes, d'approches et d'outils autour de l'enregistrement et de la visualisation de la réponse impulsionnelle. Le but de ce travail est d'identifier certaines propriétés acoustiques d'un espace physique pour aider à la calibration de l'équipement audio.

Tâches

  • Participer à l'idéation
  • Explorer les outils existants, internes et tiers, pour des tâches similaires.
  • Expérimenter et développer ou améliorer les outils internes existants ou les pipelines impliquant d'autres outils.
  • Participer à l'élaboration d'une démo (vidéo ou live)
  • Participer à la vie du laboratoire : scrums, revue de code, etc.
  • Documenter le travail et assurer sa reproductibilité.

Contexte et logiciels

  • Linux OS
  • Traitement du signal numérique
  • Python (numpy), bash
  • Audio 3D et ambisoniques
  • VR/AR
  • Facultatif : SuperCollider

Contact

Envoyer un CV à metalab-dir@sat.qc.ca

Ajout de directionalité des sources dans notre outil de lancé de rayons audio (vaRays)

Titre du stage

Ajout de directionalité des sources dans notre outil de lancé de rayons audio (vaRays)

Objectif

Notre engin de simulation audio, vaRays, utilise du lancé de rayons (ray tracing) pour simuler l'acoustique de millieux virtuels. L'objectif du stage sera de proposer et d'implémenter une méthode pour permettre différentes distributions d'émission de l'énergie des sources sonores dans vaRays.

Tâches

Avec le soutien de l'équipe du Metalab :

  • Prendre connaissance du code de vaRays

  • Proposer et expérimenter différentes méthodes d'implémentation de directionalité des sources sonores

  • Participer à la création de démonstration de ces implémentations

  • Documenter le travail et s'assurer de sa reproductibilité

Environnement de travail

  • Scrums, code review, etc.

  • C++

  • GitLab, Linux, Free and Open Source Software (FOSS)

  • JIRA / Confluence

Contacts

Envoyer un CV à metalab-dir@sat.qc.ca

Renforcer l'intégration continue dans gitlab

Titre du stage

Renforcer l'intégration continue des logiciels libres développés au sein du Metalab. (devOps)

Objectif

Le Metalab souhaite offrir un plus grand support pour ses outils libres et open source (FOSS: Free Open Source Software). Ceci sera fait en intégrant différentes solutions dans notre CI Gitlab. Plusieurs directions sont envisageables: * Améliorer le packaging de nos logiciels pour faciliter la distribution * Ajouter une cible ARM dans Gitlab (cross compilation pour Jetson et Raspberry Pi) * Augmenter la couverture de tests (Python et C++) * Investiguer comment tester une architecture ARM dans le CI

Tâches

System Message: WARNING/2 (<string>, line 16)

Title underline too short.

Tâches
-----

Avec l'aide de l'équipe du Métalab: * Identifier les endroits où manquent des tests / le packaging / la cross compilation * Implémenter de nouveau tests * Implémenter la cross-compilation dans CI * Implémenter / améliorer le packaging

Environnement de travail

  • GitLab, Linux, Free and Open Source Software (FOSS)

  • C++ / Python / YAML

  • JIRA / Confluence

  • Docker, QEMU

  • NVidia Jetson, Raspberry Pi

Contacts

Envoyer un CV à metalab-dir@sat.qc.ca

Documentation Technique de Logiciels et de Recherches en Arts Technologiques

Poste

La Société des arts technologiques [SAT] a besoin de toi pour une entrée en fonction immédiate au sein du Metalab, le laboratoire de recherche de la SAT. Ton rôle sera de participer au processus de recherche : documentation web FOSS, documentation du transfert de connaissance, participation à la rédaction scientifique, prise de notes et documentation des prototypes. Tu participeras à la revue de documentation et l'évolution des logiciels du Metalab.

Environnement technique

  • Edition Web

  • Markdown, LaTeX, bibtex, pandoc

  • Confluence, JIRA, Gitlab, Slack, Mozilla Hubs

Atouts

  • Gimp, ardour, audacity

  • Blender

  • Caméras, microphones

Environnement de travail

Formé depuis 2002, le Metalab <https://sat.qc.ca/fr/recherche/metalab>`_est le laboratoire de recherche et développement de la Société des arts technologiques [`SAT]. La mission du Metalab est double: stimuler l'émergence de d'expériences immersives innovantes et rendre leur conception accessible aux artistes et aux créateurs de l'immersion à travers un écosystème de logiciels libres.

Les thématiques de recherche du Metalab -la téléprésence, l'immersion, le mapping vidéo et le son spatialisé- sont développées à travers des projets de recherche et de production. L'équipe du Metalab compte entre 8 et 15 personnes et regroupe des expertises techniques variées : audionumérique, informatique graphique, réseaux, développement logiciel et intégration multimédia. Cette équipe accueille des stagiaires, y compris dans d'autres domaines de compétence.

L'écosystème de logiciels libres du Metalab a pour ambition de couvrir l'intégralité de la production de contenu immersif et distribué: l'édition d'environnement immersif, le video mapping, la spatialisation du son, l'interaction de groupe et la transmission basse latence. Ils sont développés pour être évolutifs sur le long terme: ils sont le support des recherches et des partenariats. En interne à la SAT, ces logiciels sont intégrés à la palette d'outils des résidences de création de la [SAT] et sont au cœur des projets de téléprésence, entre bibliothèques (Bibliolab) et entre salles de spectacle (Scènes ouvertes). Nos partenaires comptent notamment des artistes, des chercheurs universitaires, des écoles, des designers et des industriels.

Logiciels du Metalab

  • Édition et prototypage d'espace immersifs : édition in situ (EiS)

  • Video mapping multi-projecteurs pour tous types de surface : Splash

  • Calibrage de projecteurs pour espaces immersif : Calimiro

  • Spatialisation du son pour tous types de système de haut-parleurs : SATIE

  • Spatialisation du son par simulation acoustique : vaRays

  • Interaction de groupe de personnes en environnement immersif : Spook

  • Téléprésence et transmission multicannal en basse latence : Switcher

  • Partage de tous types de flux de données entre applications : Shmdata

Contacts

Envoyer un CV à metalab-dir@sat.qc.ca

Programmation Audio C++/Python pour les Arts Technologiques

Poste

La Société des arts technologiques [SAT] a besoin de toi pour une entrée en fonction immédiate au sein du Metalab, le laboratoire de recherche de la SAT. Ton rôle sera de participer au processus de recherche : veille, idéation, développement, mise en œuvre, communication et participation aux projets en partenariat. Tu participeras à l'évolution, à la revue de code et l'utillisation des logiciels du Metalab. Une expérience d'au moins 5 ans est souhaitée.

Environnement technique

  • Ubuntu, Linux, FOSS

  • Numpy, libeigen, liblo, libsndfile

  • Gcc, python3

  • Gitlab, JIRA, Confluence, Slack, Mozilla Hubs

Atouts

  • SuperCollider

  • Spatialisation, ambiophonie

  • Acoustique

  • Blender

  • GDB, cmake, clang

Environnement de travail

Formé depuis 2002, le Metalab <https://sat.qc.ca/fr/recherche/metalab>`_est le laboratoire de recherche et développement de la Société des arts technologiques [`SAT]. La mission du Metalab est double: stimuler l'émergence de d'expériences immersives innovantes et rendre leur conception accessible aux artistes et aux créateurs de l'immersion à travers un écosystème de logiciels libres.

Les thématiques de recherche du Metalab -la téléprésence, l'immersion, le mapping vidéo et le son spatialisé- sont développées à travers des projets de recherche et de production. L'équipe du Metalab compte entre 8 et 15 personnes et regroupe des expertises techniques variées : audionumérique, informatique graphique, réseaux, développement logiciel et intégration multimédia. Cette équipe accueille des stagiaires, y compris dans d'autres domaines de compétence.

L'écosystème de logiciels libres du Metalab a pour ambition de couvrir l'intégralité de la production de contenu immersif et distribué: l'édition d'environnement immersif, le video mapping, la spatialisation du son, l'interaction de groupe et la transmission basse latence. Ils sont développés pour être évolutifs sur le long terme: ils sont le support des recherches et des partenariats. En interne à la SAT, ces logiciels sont intégrés à la palette d'outils des résidences de création de la [SAT] et sont au cœur des projets de téléprésence, entre bibliothèques (Bibliolab) et entre salles de spectacle (Scènes ouvertes). Nos partenaires comptent notamment des artistes, des chercheurs universitaires, des écoles, des designers et des industriels.

Logiciels du Metalab

  • Édition et prototypage d'espace immersifs : édition in situ (EiS)

  • Video mapping multi-projecteurs pour tous types de surface : Splash

  • Calibrage de projecteurs pour espaces immersif : Calimiro

  • Spatialisation du son pour tous types de système de haut-parleurs : SATIE

  • Spatialisation du son par simulation acoustique : vaRays

  • Interaction de groupe de personnes en environnement immersif : Spook

  • Téléprésence et transmission multicannal en basse latence : Switcher

  • Partage de tous types de flux de données entre applications : Shmdata

Contacts

Envoyer un CV à metalab-dir@sat.qc.ca