Nom de code LLMs

L’utilisation brute de ces corpus posent des problèmes parmi lesquels :

• Des questions éthiques avec la reprise d’un grand nombre de publications problématiques, incluant des contenus ouvertement toxiques, ou véhiculant des représentations misogynes, racistes et anti-scientifiques, notamment sur des sujets de santé (voir Luccioni et Viviano, 2021 ; Birhane, Luccioni 2023 ; OpenLLM, analyses réalisées sur le corpus Oscar du projet Bloom 2023).
• Des biais socio-culturels :
  • Avec une absence de maîtrise du corpus, de sa composition et des représentations sociales et culturelles qu’il relaie. On constate, par exemple, une vision biaisée du réchauffement climatique véhiculée par les modèles bâtis sur des corpus majoritairement anglo-saxons. Il existe par ailleurs un risque de renforcement de ces biais par la diffusion des modèles qui les véhiculent.
  • Un risque d’homogénéisation culturelle au détriment de la diversité, avec une sous-représentation massive de textes en d’autres langues que l’anglais et une absence totale de prise en compte de langues minoritaires. Dans un LLM typique comme Llama, le français ne représente que 0,16 % du corpus alors même que 4,4 % des sites web sont en français (Touvron et al., Llama 2, p. 22 et voir également la représentation des langues dans Common Crawl).
• Des questions juridiques avec l’utilisation de contenus protégés par des droits d’auteur et faisant l’objet d’une valorisation commerciale : articles de presse, romans mais aussi des forums et d’autres communautés en ligne interdisant expressément la réutilisation de leurs contenus à des fins commerciales.
• Ainsi que des problèmes techniques :
  • Avec l’exclusion par défaut de nombreux documents de qualité sous d’autres formats que le HTML. Dans les principaux corpus aujourd’hui disponibles (Oscar, RefinedWeb, Laion, RedPyjama), les PDF sont exclus d’emblée en dehors de quelques sources (arXiv). Pourtant, le PDF reste encore aujourd’hui l’un des principaux standards de diffusion de contenus scientifiques.
  • Le traitement insuffisamment poussé des contenus qui aboutit à l’utilisation des jeux de données de qualité sous-optimale. L’utilisation des corpus de Wikipédia pose, par exemple, des problèmes de complétude de l’information du fait des particularités liées à l’usage de balises sur le site (par exemple lorsque le poids d’un objet peut être donnée dans plusieurs unités de mesure, le texte HTML brut récupéré inclut une balise de la forme {{convert|500|and|1000|g|lbs|sigfig=1}}, alors qu’il devrait simplement s’écrire « 500 et 1000 grammes (1 et 2 lb) ».). Celles-ci, lorsqu’elles ne sont pas traitées, font « sauter » des informations contextuelles.
  • Ou encore une sélection privilégiant les contenus de « flux », facilement accessibles, au détriment de grandes bases de référence, à la fois scientifiques et littéraires. Par exemple, le corpus Oscar ne contient que 5 000 fiches de theses.fr (mises à jour en 2022) sur environ 300 000 au total. Ce corpus ne contient pas non plus les archives du Web dans lesquelles figurent les contenus de grande valeur culturelle telle que l’ensemble de la première génération des journaux en ligne : Rue89, Bakchich, Streetpress etc.

À ce titre, plusieurs pistes peuvent être envisagées : 

• Utilisation privilégiée de ressources ouvertes ou, a minima, n’ayant plus de valorisation commerciale. Cela pourrait inclure notamment les journaux, les magazines ainsi que des ouvrages de petits et moyens éditeurs publiés entre 1950 et 2000. Ces corpus ne sont pas dans le domaine public et n’ont jamais été numérisés, faute d’un marché suffisant pour créer une offre commerciale rentable, ou n’ont pas été répertoriés dans les inventaires de plateformes marchandes, faute d’intérêt du public pour les ouvrages.
• Extension de la collecte des corpus sur des ressources moins connues et plus difficiles d’accès et qui nécessiteraient un traitement spécifique. Le PDF reste le format scientifique de référence mais nécessite un pré-traitement (document layout recognition) pour en tirer des données de bonne qualité.
• Ouverture des corpus patrimoniaux dont l’exploitation est aujourd’hui complexe. Plusieurs institutions appliquent des restrictions variables sur le domaine public allant de l’interdiction des usages commerciaux à l’appropriation (Pierre-Carl Langlais, 2017). Bien que découragées par la dernière Directive européenne du droit d’auteur, ces pratiques de « copyfraud  » restent encore en vigueur notamment sur le principal projet de diffusion de la presse ancienne Retronews.
• Mise en place de protocoles et de système de « niveaux d’ouverture » des corpus pour assurer à la fois la reproductibilité, l’auditabilité et l’avance scientifique et commerciale européenne. Cette évaluation pourrait notamment s’inspirer de FAIR (Findable, Accessible, Interoperable, Reusable), le standard de référence de la science ouverte. Plutôt que d’imposer d’emblée une seule définition de l’ouverture, FAIR repose sur une gradation tenant aussi compte de l’existence d’autres restrictions et régulations telles que la protection des données personnelles ou le respect du droit d’auteur.