Analyse qualitative et quantitative des « hallucinations » générées automatiquement dans un corpus de reformulations médicales

¹ ATILF UMR 7118 (CNRS - Université de Lorraine)
² MoDyCo UMR 7114 (Université Paris Nanterre)
³ LiLPa UR 1339 (Université de Strasbourg)

^* ioana.buhnila@univ-lorraine.fr

Résumé

Notre étude porte sur les « hallucinations », des productions langagières générées par des outils d’intelligence artificielle de type générateurs de textes, productions qui ne correspondent pas à ce qu’il est attendu de l’outil. Nous testons l’hypothèse selon laquelle il est possible de discerner des patrons langagiers dans ces générations inadéquates. Nous menons des analyses quantitatives et qualitatives des données, selon plusieurs entrées : le degré d’adéquation grammaticale et sémantique des séquences générées, les relations sémantiques, les fonctions sémantico-pragmatiques et les discrépances combinatoires. Nos analyses montrent que les outils de génération textuelle procèdent à de généralisations abusives en mettant en exergue des patrons dont la portée n’est pas validée par l’usage. D’un point de vue informatique, les « hallucinations » soulèvent des questions quant au paramétrage des modèles langagiers exploités par les réseaux neuronaux et la génération statistique. D’un point de vue linguistique, nos observations soulèvent la question de l’interface entre les usages purement linguistiques et leurs différents contextes sur le terrain des pratiques langagières qui ancrent ces patterns dans l’usage.