On the Measurement of Realism in Synthetic Images. From Cornell Box Experiments to ImageNet and Inception Photorealism

Résumé En Fr

Just as in the (older) field of computer graphics, a key goal in the development of generative image models has been the achievement of photorealism—i.e., the making of images that are perceived as indistinguishable from those produced with a camera lens. This paper locates current techniques for assessing photorealism in synthetic images within a longer history of efforts to evaluate realism in computer-generated content. More precisely, I compare two current standards for assessing photorealism in AI-generated images (the so-called FID metric and Inception score) with the assessment methods used in the Cornell box experiments—a compilation of evaluation techniques that set the standard for how realism was evaluated in computer-generated images in the 1980s and onwards. Exploring how ideas about realism and photorealism become translated into algorithmic models, and drawing on the works of Lev Manovich and Hannes Bajohr, I observe a shift from simulative and sequential enactments of photorealism to predictive and connectionist enactments of photorealism, starting in the period between 2014 and 2016. I also reveal how a specific AI training dataset (ImageNet) and neural network (Inception model) has played a central role in shaping the aesthetics of photorealism in generative image making since 2016.

À l’instar du domaine plus ancien de l’imagerie de synthèse, l’un des principaux objectifs du développement des modèles génératifs d’images a été d’atteindre au photoréalisme, c’est-à-dire de fabriquer des images indiscernables de celles produites au moyen d’un véritable appareil photo. Cet article situe les techniques actuelles d’évaluation du photoréalisme appliquées aux images de synthèse à l’intérieur d’une histoire plus longue des efforts déployés pour évaluer le réalisme des contenus générés par ordinateur. Plus précisément, la métrique FID et l’Inception Score, deux techniques d’évaluation du photoréalisme dans les images générées par l’intelligence artificielle (IA) couramment employées aujourd’hui, sont comparées avec les méthodes d’évaluation tirées des expériences de la boîte de Cornell, une compilation de techniques qui ont servi de modèles sur la façon d’évaluer le réalisme dans les images générées par ordinateur à partir des années 1980. En explorant la manière dont les idées de réalisme et de photoréalisme sont traduites en modèles algorithmiques, et en se basant sur les travaux de Lev Manovich et Hannes Bajohr, on observe un tournant dans la mise en œuvre du photoréalisme, qui de séquentielle et simulative est devenue prédictive et connexionniste à compter de la période comprise entre 2014 et 2016. Cet article démontre également la façon dont un ensemble de données d’entraînement d’IA (ImageNet) et un réseau de neurones (le modèle Inception) ont contribué de façon décisive à façonner l’esthétique du photoréalisme dans le domaine de la création d’images de synthèse depuis 2016.