Livraison du plus grand modèle de langue multilingue « open science » jamais entraîné

Langues utilisées pour l'entraînement de Bloom. 'Indic family' recouvre une quinzaine de langues du sous-continent indien (hindi, tamoul, ourdou, ..) et 'Niger-Congo family' une vingtaine de langues d'Afrique sub-saharienne (swahili, yoruba, wolof, ..). 10,8 % des données étaient constituées de code informatique, avec 13 langages différents. Source : Hugging Face - Les modèles de langue sont des intelligences artificielles dont les premières applications concernent les textes en langue naturelle : réponses à des questions, génération automatique de phrases, détection de « sentiments », résumé et simplification automatiques ou encore traduction automatique. Généralement conçus par des géants des nouvelles technologies, la plupart des modèles existants ont été entrainés seulement avec des textes écrits en anglais et selon des principes et méthodes difficiles à reproduire dans tous leurs détails. Il n'est par exemple pas possible de savoir, lorsqu'un modèle répond à une question, si la réponse est le fruit d'un calcul ou si la réponse figurait déjà dans ses bases de données d'apprentissage. Le projet BigScience a été initié au printemps 2021 par la start-up franco-américaine en intelligence artificielle Hugging Face, pour remédier à ces problèmes en entraînant un nouveau modèle : Bloom.