The problem of hallucinations in LLMs' access to reliable scientific information: obstacles and opportunities Le problème des hallucinations dans l'accès à l'information scientifique fiable par les LLMs: verrous et opportunités En Fr

Résumé En Fr

The evolution of LLMs (Large Language Models) has had a profound impact on the way people interact with information. Traditional search queries are being replaced by queries to generative AIs using LLMs. This article focuses on a critical aspect of LLMs, namely hallucination, focusing on the problem of automatic simplification of scientific texts. Hallucinations are characterized by the generation of plausible but incorrect data by LLMs. The article gives a formalization of this in terms of facts, context and document. This study then explores the limits of traditional textual quality assessment metrics such as BLUE or RED for evaluating hallucination, and argues that benchmarks based on adapted corpora, as well as methods of implication classifiers and entity recognition, will enable us to better assess the reliability of LLMs in scientific simplification. Similarly, we explore the limitations of standard scientific simplification models and argue that models based on entity recognition are an interesting way of improving the performance of methods for the automatic simplification of scientific texts.

L'évolution des LLMs (Large Langage Models) a profondément impacté la manière dont les individus interagissent avec l'information. Les requêtes de recherche traditionnelles sont remplacées par des requêtes à des IA génératives utilisant des LLMs. Cet article se concentre sur un aspect critique des LLMs, à savoir l'hallucination, en se concentrant sur le problème de la simplification automatique de textes scientifiques. Les hallucinations sont caractérisées par la génération de données vraisemblables mais incorrectes par les LLMs. L'article en donne une formalisation relative à des faits, un contexte et un document. Cette étude explore ensuite les limites des métriques traditionnelles d'évaluation de qualité textuelle comme BLEU ou ROUGE pour évaluer l'hallucination et argumente sur le fait que des benchmarks basés sur des corpus adaptés ainsi que des méthodes de classifieurs d'implication et de reconnaissances d'entités permettront de mieux évaluer la fiabilité des LLMs en simplification scientifique. De même, nous explorons les limites des modèles standards de simplification scientifique et donnons quelques argumentons sur le fait que les modèles basés sur la reconnaissance d'entités sont une piste intéressante pour permettre d'améliorer les performances des méthodes de simplification automatique de textes scientifiques.