VIVO: Video Analysis for Corpus-based Audio--Visual Synthesis

Résumé En Fr

Audio–visual corpus-based synthesis extends the principle of concatenative sound synthesis to the visual domain, where, in addition to the sound corpus (i.e. a collection of segments of recorded sound with a perceptual description of their sound character), the artist uses a corpus of images with visual perceptual description (colour, texture, detail, brightness, entropy, movement), in order to create an audio–visual musical performance by navigating in real-time through these descriptor spaces, i.e. through the collection of sound grains in a space of perceptual audio descriptors, and at the same time through the visual descriptor space, i.e. selecting image frames from the visual corpus for rendering, and thus navigate in parallel through both corpora interactively with gestural control via touch sensing. We extend here this principle to the analysis of videos constituting the visual corpus, by adding video-specific descriptors. The artistic-scientific question explored here based on the realisation of a concrete performance piece is which visual descriptors are suitable for multi-modal interaction and how to integrate them via real-time video data analysis into a corpus-based concatenative synthesis sound system with the aim of creating an embodied multi-modal audio–visual experience.

La synthèse concaténative par corpus audio–visuelle étend le principe de synthèse concaténative sonore au domaine visuel, où en addition du corpus sonore (i.e une collection de segments de son enregistrés accompagnés d’une description perceptive de leurs caractéristiques), l’artiste utilise un corpus d’images statiques avec leurs caractéristiques visuelles perceptives (couleur, texture, détail, luminosité, entropie, mouvement), dans le but de créer une performance audio–visuelle musicale en navigant en temps réel dans ces espaces de descripteurs, i.e. à travers une collection de grains sonores dans un espace de descripteurs audio perceptifs, et à travers un espace de descripteurs visuels, i.e. en sélectionnant des images dans un corpus visuel pour le rendu, et en conséquence naviguer en parallèle au travers des deux corpus de manière interactive par contrôle gestuel tactile. Nous étendons ici ce principe à l’analyse de videos pour contstituer le corpus visuel, avec l’ajout de quelques descripteurs spécifiques. La question arts-sciences qui est ici explorée dans le cadre d’une création artistique est quels descripteurs visuels sont adaptés à une interaction multi-modale et comment les intégrer depuis l’analyse de données vidéos en temps-réel dans un système de synthèse sonore concaténative par corpus dans le but de créer une expérience audio– visuelle multi-modale incarnée.