Maxime Thiebault · 16 février 2024
Plasticien numérique chez Artisan Numérique
Diffusion , LabRNGA - Méthodologie
CAPTATIONS
Les gestes des artisans sont enregistrés directement sur leur site d'exercice, qu'il s'agisse d'un atelier, d'un chantier ou d'un laboratoire.
Les termes d'ACTION, ainsi que les noms de MATIÈRE(S) et d'OUTIL(S) sont relevés sur le lieu de la captation auprès de l'artisan filmé. Il serviront à la création des capsules de gestes qui seront publiées sur le RNGA.
Sur le plan technique, plusieurs prises de vue de l'artisan en activité sont réalisées en simultanées. Les caméras sont disposées sur le site en concertation avec le professionnel, pour ne pas gêner son activité et pour connaitre ses différents parcours afin d'anticiper les déplacements de caméras. La connaissance du métier, la communication avec l'artisan, et l'observation préalable de ses parcours sont autant d'éléments qui permettent d'anticiper le positionnement des caméras et la pertinence des cadrages. Le cadrage médian, le plus fréquent dans le RNGA, concerne une prise de vue qui va des épaules aux anches. Une deuxième caméra est placée en appui, c'est à dire qu'elle considère un plan plus large, avec notamment la prise de vue des jambes pour saisir la posture globale de l'artisan. Selon le métier filmé, ces cadrages peuvent se resserrer ou s'élargir. Avec l'expérience des captations, nous savons que la taille et le poids de l'outil présent dans la main de l'artisan sont de bons indicateurs des amplitudes gestuelle à venir, et donc du cadrage à effectuer pour l'enregistrer.
Ces premières caméras sont appuyées par une caméra de type embarquée qui est disposée sur la tête de l'artisan. Ce plan subjectif permet d'enregistrer le point de vue du professionnel sur sa propre activité. Il permet ainsi de suivre, à la première personne, toute l'activité en cours.
Un troisième type de caméra est employé sur le terrain afin d’enregistrer des vues à 360 degrés. Ce matériel permet de saisir plus particulièrement le professionnel dans son environnement de travail. Les séquences issues de cette caméra sont destinées à êtres employés pour les visites immersives d'ateliers avec les casques de réalité virtuelle, dispositif présenté plus bas dans cet article.
La captation s'accompagne d'un enregistrement sonore réalisé avec du matériel dédié. Des micros, de type directionnel supercardoïde, sont positionnés sur le site et sont orientés vers la zone d'interaction entre la main et le matière. Ces prises sonores sont enregistrées distinctement des prises de vues des caméras afin de maximiser la qualité acoustique au moment de l'extraction des fichiers, en amont de leur synchronisation à l'image.
L'étape de captation comprend également de prises de vues photographiques. Elles sont réalisées tout au long de la captations, et sur l'ensemble des gestes filmés. Ces images sont principalement destinées à la réalisation de dispositifs de Réalité Augmentée (Ces dispositifs sont présentés plus loin dans cet article).
MONTAGE DES CAPSULES DE GESTES
Une capsule de geste est une séquence vidéo de courte durée (de 15 seconde à 3 minutes) qui restitue un geste de l'artisan. Dans le but de d'identifier et de référencer ce geste, la capsule a pour particularité de contenir, en haut à gauche de l'écran, le terme d'Action ainsi que le nom des Matières et des Outils présents dans la séquence vidéo. La définition du terme d'action est donc proposer par la séquence vidéo. La capsule de geste correspond donc à cet encapsulage des termes avec le geste en mouvement qui en propose la définition.
Le montage des capsules de gestes sont systématiquement réalisées de façon à compléter le Répertoire (RNGA). Cette étape n'est pas considérée comme une option facultative, elle est toujours effectuée de façon à alimenter le RNGA. Ainsi chaque sollicitation pour des captations forme une contribution au Répertoire du geste. Avant publication, ces capsules sont soumises à validation par l'artisan capté. Il s'agit de confirmer la bonne exécution du geste présent à l'image et l'exactitude des termes (action, matière, outil) inscrits sur les capsules de gestes. L'artisan a la possibilité de demander à ce que certaines des capsules ne soient pas publiées s'il estime que les techniques présentent à l'image sont spécifiques à son entreprise et souhaitent les discrétiser. Après validation, les capsules de gestes sont publiées sur le RNGA et les liens vers les capsules sont transmises à l'artisan et au commanditaire de l'action. Aussi les capsules de gestes peuvent être transmises au format de fichiers (.MP4) sur demande.
Toutes les réalisations propre au RNGA, sont des œuvres à usage partagées soumises aux règles de Créatives Commons (NC/ND : utilisations commerciales et modifications sont strictement interdits).
PUBLICATION DES CAPSULES - rnga.fr
MODÉLISATION AUDIOVISUELLE
La modélisation des séquences captées possède plusieurs intérêts. Le premier est de rendre visible le mouvement, et donc d'isoler le geste présent dans la séquence, par un procédé que nous avons nommé le "Contour-Mouvement".
Ce procédé de modélisation réagi au mouvement présent dans la séquence. Ainsi plus le geste est rapide plus le contour est épais. Par ce détourage dynamique, développé pour le RNGA, le geste se modélise sous forme de trait de façon autonome et génère au passage sa propre esthétique. Le deuxième intérêt de cette modélisation de l'image concerne les outils de diffusion. Le Coutour-mouvement transforme la vidéo issue d'une prise de vue réelle en une séquence animée aux caractéristiques bien plus plastiques. Par conséquent, la mise en vue de cette séquence de gestes peut s'émanciper plus aisément des formats conventionnels de la diffusion audiovisuelle. Le caractère plastique de ces images agit comme un facteur de liant qui les rends diffusable, ou plutôt projetable, sur des supports inattendu.
Sur sollicitation du commanditaire, et en vue d'une action de valorisation des métiers, les enregistrements bruts sont modélisés pour produire des séquences à l'esthétique singulière. Ces modélisations de l'image sont réalisées dans l'objectif d'être projetées et de s’adapter sur des supports qui ont un lien avec le métier. Par exemple, le geste du tailleur de pierre projeté sur la pierre ou le geste du boulanger projeté sur son pain. La modélisation de l'image a ainsi pour but de de (re)produire une interaction entre le geste (projeté) et le matériau (exposé). Les dispositifs de mapping et de micro-mapping, usent des vidéoprojecteurs pour restituer le geste sur la matière.
La modélisation audiovisuelle ne se limite pas à l'utilisation du procédé du contour-mouvement, elle est employée sous différentes techniques. Il peut s'agir de colorisation, de déformation et de toute forme d'altération des séquences captées qui permettent de créer du lien entre l'image projetée et le matériau support de la projection. Ce travail tente aussi d'actualiser l'image de l'Artisanat et de proposer une représentation plus contemporaine des métiers.
DISPOSITIFS DE DIFFUSIONS
Réalité Virtuelle (VR)
Les captations réalisées avec notre caméra 360 permettent de produire des contenus immersifs, particulièrement appropriés pour la découverte des métiers.
Le casque VR plonge l'utilisateur au milieu de l'atelier en activité et lui donne à observer, en immersion, le quotidien de l'artisan. L'utilisateur du casque peut choisir un métier dans un menu de départ et ensuite parcourir l'atelier en sélectionnant les positions proposées. Ces espaces à visiter correspondent aussi à un geste réalisé par l'artisan. Le point à sélectionner pour se déplacer dans l'atelier est donc indiqué avec le terme d'action. Par exemple pour un atelier d'ébéniste, vous trouverez des positions indiquées par les termes "Poncer", "Raboter", "Déligner", "Chantourner"... Il s'agit d'un déplacement dans l'espace qui correspond aussi à un travail spécifique de l'artisan dans cet espace. La visite virtuelle est donc assez pragmatique, il ne s'agit pas seulement de visiter un lieu mais bien d'observer le travail que réalise l'artisan dans chaque espace de son atelier.
Nous intégrons dans les casques VR une application dédiée à ces visites d'ateliers. Elles sont regroupées dans des ensembles construits sur mesure. Par exemple nous pouvons produire un ensemble pour les métiers du Batiment et un autre ensemble pour les métiers d'Art. Lors d'une manifestation publique l'agent en charge du matériel peut choisir l'ensemble approprié pour l'évènement avant de confier le casque à un utilisateur. Les utilisateurs du casque VR seront maintenus dans les métiers regroupés dans cet ensemble.
Enfin nous pouvons mettre en place un retour de l'image sur une tablette ou sur un smartphone de façon à voir ce qui est affiché dans le casque. Ce retour synchronisé permet de guider l'utilisateur dans la prise en main du matériel, et de l'orienter plus facilement dans sa visite.
Réalité augmentée (AR)
L'outil de réalité augmentée que nous déployons est accessible librement au public par l'utilisation d'un smartphone personnel ou d'une tablette tactile. Via une application à télécharger gratuitement, l'utilisateur va pouvoir scanner l'image du geste et voir apparaitre, en incrustation sur cette image, la capsule de geste.
La lecture du contenu se fait avec un smartphone ou une tablette et par le biais d'une application dédiée qui utilise la caméra de l'appareil. L'application se télécharge gratuitement depuis les plateformes Apple Store ou Play store (Android). Ce mode de diffusion permet à un support imprimé (affiche, carte, flyer) d'être ainsi "augmenté" en terme de contenu et donc de lire des séquences vidéos en lien à l'image scannée.
Avec cette application il est ainsi possible pour tout public disposant d'un smartphone ou d'une tablette de lire le contenu augmenté présent sur un support que nous avons programmé.
CARTISAN - cartes postales et réalité augmentée
Le dispositif Cartisan reprend le format classique d'une carte postale avec, au recto l'image du geste, et au verso, la consigne pour utiliser la réalité augmentée.
Le dispositif Cartisan a été pensé comme outil de médiation pour les Offices de tourismes, les collectivités, les institutions culturelles ou pédagogiques. Ces "cartes postales augmentées" peuvent être un moyen de diffusion d'un patrimoine immatériel, le savoir-faire, auprès d'un public de touristes, d’excursionnistes, ou d'amateurs du patrimoine et du "faire".
Cartisan est un support qui permet de valoriser et de soutenir les savoir-faire d'un territoire. Le modèle cartez postale permet une diffusion au-delà des frontières géographiques du site concerné et le caractère novateur de la réalité augmentée renforce l'attention sur le sujet affiché.
Enfin, ces supports peuvent être éditer en petite séries pour des communes modestes, et contenir, au verso, les informations et logos des structures à l'origine de leur édition.
Affiches et Dibonds AR
Les photos de gestes ainsi programmées en réalité augmentée peuvent également être éditées et imprimées sur des supports grands formats. Ces modèles sont particulièrement pertinents pour agrémenter des scénographies d'expositions ou de manifestation autour des savoir-faire. Ils trouveront également leurs place dans des structures à vocation pédagogique ou d'orientation professionnelle.