Cocreative Interaction: Somax2 and the REACH Project

Résumé En Fr

Somax2 is an artificial intelligence (AI)-based multiagent system for human–machine “coimprovisation” that generates stylistically coherent streams while continuously listening and adapting to musicians or other agents. The model on which it is based can be used with little configuration to interact with humans in full autonomy, but it also allows fine real-time control of its generative processes and interaction strategies, closer in this case to a “smart” digital instrument. An offspring of the Omax system, conceived at the Institut de Recherche et Coordination Acoustique/Musique (IRCAM), the Somax2 environment is part of the European Research Council Raising Cocreativity in Cyber–Human Musicianship (REACH) project, which studies distributed creativity as a general template for symbiotic interaction between humans and digital systems. It fosters mixed musical reality involving cocreative AI agents. The REACH project puts forward the idea that cocreativity in cyber–human systems results from the emergence of complex joint behavior, produced by interaction and featuring cross-learning mechanisms. Somax2 is a first step toward this ideal, and already shows life-size achievements. This article describes Somax2 extensively, from its theoretical model to its system architecture, through its listening and learning strategies, representation spaces, and interaction policies.

Somax2 est un système multi-agent basé sur l'intelligence artificielle (IA) pour la « coimprovisation » homme-machine qui génère des flux stylistiquement cohérents tout en écoutant et en s'adaptant continuellement aux musiciens ou à d'autres agents. Le modèle sur lequel il est basé peut être utilisé avec peu de configuration pour interagir avec les humains en toute autonomie, mais il permet également un contrôle fin en temps réel de ses processus de génération et de ses stratégies d'interaction, plus proche dans ce cas d'un instrument numérique « intelligent ». Issu du système Omax, conçu à l'Institut de recherche et coordination acoustique/musique (IRCAM), l'environnement Somax2 fait partie du projet REACH (Raising Cocreativity in Cyber-Human Musicianship) du Conseil européen de la recherche, qui étudie la créativité distribuée en tant que modèle général d'interaction symbiotique entre les humains et les systèmes numériques. Il favorise une réalité musicale mixte impliquant des agents IA cocréatifs. Le projet REACH avance l'idée que la cocréativité dans les systèmes cyber-humains résulte de l'émergence d'un comportement conjoint complexe, produit par l'interaction et comportant des mécanismes d'apprentissage croisé. Somax2 est un premier pas vers cet idéal et présente déjà des réalisations grandeur nature. Cet article décrit en détail Somax2, de son modèle théorique à son architecture système, en passant par ses stratégies d'écoute et d'apprentissage, ses espaces de représentation et ses politiques d'interaction.