Programmation Audio Spatial pour les Arts Technologiques

Poste

La Société des arts technologiques [SAT] a besoin de toi pour une entrée en fonction immédiate au sein du Metalab, le laboratoire de recherche de la SAT. Ton rôle sera de participer au processus de recherche : veille, idéation, développement, mise en œuvre, communication et participation aux projets en partenariat. Tu participeras à l'évolution, à la revue de code et l'utilisation des logiciels du Metalab, en particulier de nos outils de spatialisation audio (SATIE) et de simulation acoustique (vaRays). Une expérience d'au moins 5 ans est souhaitée.

Environnement technique

  • Ubuntu, Linux, FOSS

  • SuperCollider, Numpy

  • C++, Python3

  • Gitlab, JIRA, Confluence, Slack

Atouts

  • Spatialisation, ambisonie

  • Acoustique

  • Blender

  • GDB, cmake, clang

Environnement de travail

Formé depuis 2002, le Metalab est le laboratoire de recherche et développement de la Société des arts technologiques [SAT]. La mission du Metalab est double: stimuler l'émergence de d'expériences immersives innovantes et rendre leur conception accessible aux artistes et aux créateurs de l'immersion à travers un écosystème de logiciels libres.

Les thématiques de recherche du Metalab -la téléprésence, l'immersion, le mapping vidéo et le son spatialisé- sont développées à travers des projets de recherche et de production. L'équipe du Metalab compte entre 8 et 15 personnes et regroupe des expertises techniques variées : audionumérique, informatique graphique, réseaux, développement logiciel et intégration multimédia. Cette équipe accueille des stagiaires, y compris dans d'autres domaines de compétence.

L'écosystème de logiciels libres du Metalab a pour ambition de couvrir l'intégralité de la production de contenu immersif et distribué: l'édition d'environnement immersif, le video mapping, la spatialisation du son, l'interaction de groupe et la transmission basse latence. Ils sont développés pour être évolutifs sur le long terme: ils sont le support des recherches et des partenariats. En interne à la SAT, ces logiciels sont intégrés à la palette d'outils des résidences de création de la [SAT] et sont au cœur des projets de téléprésence, entre bibliothèques (Bibliolab) et entre salles de spectacle (Scènes ouvertes). Nos partenaires comptent notamment des artistes, des chercheurs universitaires, des écoles, des designers et des industriels.

Logiciels du Metalab

  • Édition et prototypage d'espace immersifs : édition in situ (EiS)

  • Video mapping multi-projecteurs pour tous types de surface : Splash

  • Calibrage de projecteurs pour espaces immersif : Calimiro

  • Spatialisation du son pour tous types de système de haut-parleurs : SATIE

  • Spatialisation du son par simulation acoustique : vaRays

  • Interaction de groupe de personnes en environnement immersif : LivePose

  • Téléprésence et transmission multicannal en basse latence : Switcher

  • Partage de tous types de flux de données entre applications : Shmdata

Développement d'un kit ouvert pour créer des effets haptiques avec des affichages ultrasonores

Titre du stage

Développement d'un kit ouvert pour créer des effets haptiques avec des affichages ultrasonores

Contexte

Formé depuis 2002, le Metalab est le laboratoire de recherche de la Société des Arts Technologiques [SAT]. La mission du Metalab est double:

  1. stimuler l'émergence d'expériences immersives innovantes,
  2. rendre leur conception accessible aux artistes et aux créateurs de l'immersion à travers un écosystème de logiciels libres.

En plus de notre ensemble d'outils pour le rendu audio et visuel, nous explorons des pistes pour augmenter les expériences immersives avec des retours haptiques, pour créer des simulations qui stimulent notre sens du toucher. Un premier dispositif de rendu haptique créé au Metalab est le Plancher Haptique qui transmet un retour haptique à nos corps à travers leurs points de contact avec le sol. Complémentairement, l'haptique ultrasonore produit un rendu haptique transmis dans l'air, sans contact, et sans nécessité de porter des dispositifs [1,2], ouvrant de nouvelles perspectives pour l'immersion à travers un rendu haptique focalisé.

Objectif

L'objectif principal de ce stage est de développer un kit ouvert pour créer des effets haptiques avec des affichages ultrasonores, réutilisant des travaux de recherche récents [1,2], et facilitant la création et le développement d'effets haptiques ultrasonores pour les artistes et créateurs de l'immersion.

Ce kit pourrait être complémenté par d'autres outils du Metalab, comme Poire pour le rendu haptique à l'aide de signaux audio, similairement au Plancher Haptique, et LivePose pour la détection de postures corporelles et manuelles pour élaborer des scénarios interactifs.

Tâches

  • Passer en revue les effets haptiques qui peuvent être générés par des affichages ultrasonores.
  • Développer le kit ouvert (matériel et logiciel, réutilisant des travaux de recherche récents comme [1,2]).
  • Créer une vidéo de démo.
  • Participer à la vie du laboratoire: scrums, revues de code, etc.
  • Documenter notre travail dans un cahier de laboratoire numérique et dans des dépôts git et assurer sa reproductibilité.
  • Co-écrire une publication dans le contexte de ce stage.

Environnement de travail

  • Déploiement matériel: Arduino ou Raspberry Pi
  • Développement logiciel: C++, JavaScript ou Python
  • Documentation: BibTeX, LaTeX, Markdown
  • Processus: Confluence, Gitlab, Jira
  • Ecosystème: Linux, Logiciels Libres (FOSS)

Références

Développement d'un kit ouvert pour créer des surfaces haptiques déformables

Titre du stage

Développement d'un kit ouvert pour créer des surfaces haptiques déformables

Contexte

Formé depuis 2002, le Metalab est le laboratoire de recherche de la Société des Arts Technologiques [SAT]. La mission du Metalab est double:

  1. stimuler l'émergence d'expériences immersives innovantes,
  2. rendre leur conception accessible aux artistes et aux créateurs de l'immersion à travers un écosystème de logiciels libres.

En plus de notre ensemble d'outils pour le rendu audio et visuel, nous explorons des pistes pour augmenter les expériences immersives avec des retours haptiques, pour créer des simulations qui stimulent notre sens du toucher. Un premier dispositif de rendu haptique créé au Metalab est le Plancher Haptique qui transmet un retour haptique à nos corps à travers leurs points de contact avec le sol. Complémentairement, les surfaces haptiques déformables produisent un rendu haptique à travers des surfaces en périphérie, au dessus du sol [1], ouvrant de nouvelles perspectives pour l'immersion à travers un rendu haptique interactif au-delà de configurations de bureau [2].

Objectif

L'objectif principal de ce stage est de développer un kit ouvert pour créer des surfaces haptiques déformables, réutilisant des travaux de recherche récents [1], et facilitant l'utilisation de surfaces haptiques déformables pour les artistes et créateurs de l'immersion.

Ce kit pourrait complémenter d'autres outils du Metalab, comme informer Splash des déformations de surface pour la projection vidéo sur ces surfaces déformables.

Tâches

  • Passer en revue les méthodes d'actuation relatives.
  • Développer le kit ouvert (matériel et logiciel, réutilisant des travaux de recherche récents comme [1).
  • Créer une vidéo de démo.
  • Participer à la vie du laboratoire: scrums, revues de code, etc.
  • Documenter notre travail dans un cahier de laboratoire numérique et dans des dépôts git et assurer sa reproductibilité.
  • Co-écrire une publication dans le contexte de ce stage.

Environnement de travail

  • Déploiement matériel: Arduino ou Raspberry Pi
  • Développement logiciel: C++, JavaScript ou Python
  • Documentation: BibTeX, LaTeX, Markdown
  • Processus: Confluence, Gitlab, Jira
  • Ecosystème: Linux, Logiciels Libres (FOSS)

Références

Rédaction technique

Titre du Stage

Rédaction technique

Objectif

Vous aimez apprendre de nouvelles technologies ? Vous appréciez encore plus les expliquer à d'autres personnes ? La recherche du mot juste ne vous fait pas peur ? Votre profil nous intéresse !

L'objectif du stage de rédaction technique est de participer activement à la création et à la rédaction de nouveaux tutoriels et ce, pour au moins un des projets logiciels suivants : Splash, shmdata et LivePose.

Afin de faciliter l'utilisation de ses outils, le Metalab rédige, édite et maintient des sites Internet de documentation à leur sujet. Ces sites contiennent les informations essentielles à la découverte et à l'apprentissage des diverses fonctionnalités des outils du Metalab.

Tâches

Sous supervision des membres de l'équipe du Metalab:

  • Explorer les logiciels afin d'en comprendre les principaux types d'utilisation, et ce, à partir d'une utilisation se basant sur la documentation exitante;
  • Identifier avec l'un des membres du Metalab des cas d'usage à documenter;
  • Faire un plan de rédaction d'un tutoriel portant sur ces cas d'usage;
  • Rédiger les tutoriels;
  • Améliorer les tutoriels suite aux suggestions de l'équipe.

Environnement de travail

Les outils que nous utilisons pour la documentation sont Sphinx (avec les formats markdown ou rst) et GitLab.

Notre environnement de travail favorise le travail en équipe et l'utilisation de logiciels libres, notamment par le biais de:

  • Scrums et révisions de code
  • GitLab, Markdown
  • Linux, outils libres
  • LaTeX

Calibration des haut-parleurs audiodices

Titre du stage

Calibration des audiodices

Objectif

Ce stage vise à la calibration des audiodices, un ensemble de 5 enceintes dodécaédrique avec un haut-parleur par face.

https://vimeo.com/519938720

Ce type d'enceinte nécessite une calibration sur deux points: - La réponse en fréquence - La directivité de l'enceinte en fonction de sa configuration (un seul haut-parleur à la fois, mode omnidirectionnel)

A partir de ces informations de calibration, nous serons capables de créer un profil des audiodices pour améliorer la reproduction sonore. Ces informations nous aiderons aussi de développer un spatialiseur audio.

Tâches

  • Participer aux mesures.
  • Explorer les outils existants, internes et tiers, pour des tâches similaires.
  • Expérimenter et développer ou améliorer les outils internes existants ou les pipelines impliquant d'autres outils.
  • Participer à l'élaboration d'une démo (vidéo ou live)
  • Participer à la vie du laboratoire : scrums, revue de code, etc.
  • Documenter le travail et assurer sa reproductibilité.

Contexte et logiciels

  • Linux OS
  • Traitement du signal numérique
  • Python (numpy), bash
  • Audio 3D et ambisoniques
  • Facultatif : SuperCollider

SATIE - intégrations

Titre de stage

SATIE - intégrations

Objective

SATIE est notre spatialisateur audio interne qui se veut flexible, robuste et qui supporte de nombreux arrangements différents de réseaux de haut-parleurs. Nous réfléchissons à la création d'une boîte à outils ou d'un intergiciel afin de le rendre plus accessible et utile aux musiciens, compositeurs et artistes sonores qui ne sont pas programmeurs. L'objectif de ce stage est de nous aider à identifier les outils et les techniques possibles pour rendre SATIE plus facilement intégrable aux projets d'audio spatial typiques. Le candidat idéal aura une expérience et une compréhension des pipelines numériques de musique interactive et sera capable et intéressé par les aspects techniques de l'intégration de pipelines logiciels.

Tâches

  • Participer à l'idéation
  • Développer des prototypes de pipelines d'intégration impliquant des outils de production musicale et SATIE.
  • Participer au développement d'une démo (vidéo ou live)
  • Participer à la vie du laboratoire : scrums, revue de code, etc.
  • Documenter le travail et assurer sa reproductibilité.

Contexte et logiciels

  • Principalement Linux OS
  • Traitement du signal numérique
  • SuperCollider, Bash, Python
  • Audio 3D, contrôle du spectacle
  • Blocs de construction possibles : Max4Live, OSSIAscore, Chataigne

Programmation informatique graphique et vision par ordinateur pour les Arts Technologiques (fermé)

Poste

La Société des arts technologiques [SAT] recherche, pour une entrée en fonction immédiate au sein de son laboratoire de recherche, un.e développeur.euse chercheur.euse en informatique graphique et en vision par ordinateur. Ton rôle sera de participer au processus de recherche : veille, idéation, développement, mise en œuvre, communication et projets en partenariats. Tu participeras en particulier aux travaux entourant notre video mapper (Splash), notre librairie de photogramétrie par lumière structurée (Calimiro) et notre outil de détection de pose à partir de multiples caméras (Spook).

Environnement technique

  • Ubuntu, Linux, FOSS

  • OpenGL, OpenCV, Tensorflow, PyTorch, Numpy

  • C++, CMake, Python

  • Doxygen, Sphinx

  • NVIDIA Jetson

  • Gitlab, JIRA, Confluence, Slack

Atouts

  • Programmation 3D temps réel

  • Traitement d'image

  • Apprentissage machine

  • Installations interactives

  • Implémentation et rédaction d'articles scientifiques

Environnement de travail

Formé depuis 2002, le Metalab est le laboratoire de recherche et développement de la Société des arts technologiques [SAT]. La mission du Metalab est double: stimuler l'émergence de d'expériences immersives innovantes et rendre leur conception accessible aux artistes et aux créateurs de l'immersion à travers un écosystème de logiciels libres.

Les thématiques de recherche du Metalab — la téléprésence, l'immersion, le mapping vidéo et le son spatialisé — sont développées à travers des projets de recherche et de production. L'équipe du Metalab compte entre 8 et 15 personnes et regroupe des expertises techniques variées : audio numérique, informatique graphique, réseaux, développement logiciel et intégration multimédia. Cette équipe accueille des stagiaires, y compris dans d'autres domaines de compétence.

L'écosystème de logiciels libres du Metalab a pour ambition de couvrir l'intégralité de la production de contenu immersif et distribué: l'édition d'environnement immersif, le video mapping, la spatialisation du son, l'interaction de groupe et la transmission basse latence. Ils sont développés pour être évolutifs sur le long terme: ils sont le support des recherches et des partenariats. En interne à la SAT, ces logiciels sont intégrés à la palette d'outils des résidences de création de la [SAT] et sont au cœur des projets de téléprésence, entre bibliothèques (Bibliolab) et entre salles de spectacle (Scènes ouvertes). Nos partenaires comptent notamment des artistes, des chercheurs universitaires, des écoles, des designers et des industriels.

Logiciel du Metalab

  • Téléprésence et transmission multicanal en basse latence : Switcher

  • Partage de tous types de flux de données entre applications : Shmdata

  • Video mapping multi-projecteurs pour tous types de surface : Splash

  • Calibrage de projecteurs pour espaces immersif : Calimiro

  • Spatialisation du son pour tous types de système de haut-parleurs : SATIE

  • Spatialisation du son par simulation acoustique : vaRays

  • Détection de la pose de multiples personnes en environnement immersif : Spook

  • Édition et prototypage d'espace immersifs : édition in situ (EiS)

Développement d'une interface graphique pour logiciel de vidéo mapping (fermé)

Titre du stage

Développement d'une interface graphique pour logiciel de vidéo mapping

Objectif

L'interface graphique est souvent la première couche entre l'utilisateur et le logiciel et détermine si il sera adopté ou non. Ce stage s'intéresse à cette composante essentiel. Il s'agira de revoir l'interface actuelle de Splash, un logiciel de vidéo mapping, et de proposer une interface graphique ciblant à la fois un public débutant et intermédiaire.

Splash est, entre autre, utilisé dans un contexte de haute performance pour les productions de la [SAT] dans la Satosphère. Dans ce contexte, il prend en charge à la fois le mapping de l'espace et le rendu vers les 8 projecteurs habillant le dôme.

L'objectif de ce stage sera de développer une interface graphique pour répondre aux cas d'usage courants d'utilisation de Splash tel que les performances live avec un artiste, le mapping de dôme en situation de tournée, les présentations de conférences immersives, festivals.

Tâches

Avec le soutien de l'équipe du Metalab :

  • Analyser les cas d'usage

  • Proposer un ou plusieurs modèles d'interface

  • Développer et évaluer des prototypes

  • Participer à la vie du laboratoire : scrums, révision de code, etc.

  • Documenter le travail et s'assurer de sa reproductibilité

Environnement de travail

  • C++ / Python

  • JIRA / Confluence

  • GitLab

  • Linux, Free and Open Source Software (FOSS)

Estimation de pose et détection d'actions par apprentissage profond (fermé)

Titre du stage

Estimation de pose et détection d'actions par apprentissage profond

Objectif

La création artistique s'intéresse depuis longtemps à l'interactivité entre le public et l'oeuvre. Par l'intermédiaire de caméras et d'algorithmes d'intelligence artificielle, le Metalab développe un outil visant à ajouter une composante interactive à l'expérience artistique proposée par des créateurs. La composante interactive passe par la détection de la position du public et de points-clés du corps, permettant ainsi l'interaction en temps-réel avec des éléments visuels et sonores.

Ce stage a pour objectif de bonnifer la proposition interactive du Metalab par l'ajout de la détection d'actions qui permettra, par des actions de l'utilisateur, de contrôler, d'influencer et de transformer les éléments visuels et sonores; par exemple, pour créer un mouvement sur des particules, modifier la forme ou la position d'un objet par des gestes physiques.

Tâches

Avec le soutien de l'équipe du Metalab :

  • Exploration des techniques d'estimation de pose et de détection d'actions pour notre cas d'usage

  • Intégration d'outils basés sur des algorithmes d'intelligence artificielle et d'apprentissage automatique

  • Travailler avec des flux vidéo issus de caméras RGB (webcams, caméras traditionnelles, mais aussi industrielles)

  • Participer à la vie du laboratoire : scrums, révision de code, etc.

  • Documenter le travail et s'assurer de sa reproductibilité

Environnement de travail

  • Python

  • Tensorflow, OpenCV

  • JIRA / Confluence

  • GitLab

  • Linux, Free and Open Source Software (FOSS)

Stratégies pour des communautés diverses, ouvertes et inclusives - logiciel libre

Titre du Stage

Stratégies pour une communauté informatique ouverte, diverse et inclusive - analyse pour les logiciels libres du Metalab

Objectif

Dans le cadre de ses projets de recherche en immersion et en téléprésence, le Metalab crée, développe et entretient une suite d'outils logiciels publiés sous licence libre. Nous encourageons l'utilisation de nos outils dans des projets variés.

Nous souhaitons favoriser l'émergence et le développement d'une communauté qui soit ouverte, diverse et inclusive, de façon à faciliter l'utilisation de ces logiciels et afin de soutenir des contributions communautaires à ceux-ci.

L'objectif de ce stage est tout d'abord de procéder à un état des lieux des stratégies permettant d'assurer un environnement communautaire ouvert et inclusif. Par la suite, il s'agira d'analyser leur adéquation aux logiciels libres du Metalab.

Ces stratégies seront recensées dans un rapport de recherche.

Tâches

Avec le soutien de l'équipe du Metalab, exploration des questions suivantes :

  • Comment favoriser la création d'une communauté ouverte, diverse et inclusive ?

  • Quelles actions concrètes le Metalab peut-il entreprendre afin d'encourager la participation à cette communauté ?

Avec le soutien de l'équipe du Metalab, réalisation d'un travail de recherche incluant :

  • Explorer et documenter les pratiques communautaires adoptées dans l'univers des arts

  • Explorer et documenter les pratiques communautaires adoptées dans l'univers des logiciels libres

  • Effectuer des recommendations pour les outils d'animation de communauté

  • Effectuer des recommandations pour le Metalab

Environnement de travail

Notre environnement de travail favorise le travail en équipe et l'utilisation de logiciels libres, notamment par le biais de:

  • Scrums et révisions de code

  • GitLab, Python, Markdown, Bash

  • Linux, outils libres

  • LaTeX