Un «chatGPT» public, suisse et ouvert

Cette croix suisse a été générée par intelligence artificielle. EPFL

Les écoles polytechniques fédérales ont annoncé la sortie d’un modèle de langage de grande taille répondant à des normes éthiques élevées.

Le terme modèle de langage de grande taille évoque ChatGPT pour la plupart d’entre nous. Pourtant, il existe plus d’un million de modèles différents, selon le site Hugging Face. L’annonce vient d’être faite qu’à la fin de l’été, un nouveau modèle entièrement suisse, public et libre, viendra s’ajouter à cette très longue liste. Il est développé par les deux écoles polytechniques fédérales de Zurich (EPFZ) et de Lausanne (EPFL).

Ce qui peut sembler une goutte d’eau dans l’océan est en réalité une étape majeure pour l’ensemble du secteur de l’intelligence artificielle, du moins en Europe, car elle représente un bastion de transparence et de valeurs éthiques.

Peu de transparence

Les systèmes actuels que nous utilisons, généralement développés aux États-Unis ou en Chine, sont souvent accusés de manquer de transparence envers le public et les experts. En effet, même les personnes qui disposent des compétences techniques nécessaires pour comprendre le code à la base des modèles de langage n’ont souvent pas accès aux codes qui les composent.

Ce manque d’ouverture empêche donc de faire pleinement confiance à ces outils, car il est par exemple impossible de vérifier si leurs réponses ont été artificiellement orientées dans une direction particulière, notamment sur des sujets politiques. Il n’est pas non plus possible de savoir où vont les données fournies lors de l’utilisation.

«Les modèles entièrement open source permettent de développer des applications hautement fiables et sont essentiels pour faire progresser la recherche sur les risques et les opportunités liés à l’intelligence artificielle. Des processus transparents facilitent également le respect des réglementations», déclare Imanol Schlag, chercheur à l’AI Center de l’EPFZ, qui dirige le projet aux côtés de ses homologues de l’EPFL, les professeurs Antoine Bosselut et Martin Jaggi.

Plus de 1000 langues différentes

«Contrairement aux modèles commerciaux développés à huis clos, nous espérons que notre approche entièrement ouverte pourra stimuler l’innovation en Suisse, dans toute l’Europe et à travers des collaborations internationales. De plus, elle constitue un élément clé pour attirer et valoriser les meilleurs talents», ajoute Martin Jaggi.

Le modèle de langage de grande taille suisse sera capable de communiquer couramment dans plus de 1000 langues différentes, sur les quelque 7000 existantes dans le monde. Le système a été entraîné sur une immense bibliothèque composée à 60% de documents en anglais et à 40% dans 1500 autres langues, ainsi que sur du code informatique et des formules mathématiques. Les données techniques permettent déjà aux chercheurs d’estimer que ce système sera parmi les modèles entièrement ouverts les plus puissants disponibles.

Le superordinateur Alps comme entraîneur

Le projet, actuellement dans sa phase finale de tests et encore dépourvu de nom officiel, respire l’air de la Suisse italienne, car les longs processus d’entraînement de l’intelligence artificielle ont été réalisés ces derniers mois à Lugano, au Centre suisse de calcul scientifique (CSCS).

Ici, sur l’infrastructure informatique appelée Alps, les ordinateurs ont analysé d’énormes quantités de données — principalement des textes et du code informatique — pour apprendre à répondre aux questions, traduire d’une langue à l’autre et converser avec l’utilisateur. Le modèle de langage a également été conçu avec une attention particulière portée au climat, puisque le Centre suisse de calcul scientifique fonctionne avec des émissions de dioxyde de carbone neutres. 

«L’entraînement de ce modèle n’est possible que grâce à notre investissement stratégique dans Alps, un superordinateur spécialement conçu pour l’intelligence artificielle», déclare Thomas Schulthess, directeur du CSCS et professeur à l’EPFZ. Notre collaboration de longue date avec NVIDIA et HPE (deux entreprises américaines spécialisées dans les composants informatiques, NDLR) est un exemple concret de la manière dont le travail conjoint entre institutions publiques de recherche et leaders du secteur peut renforcer des infrastructures souveraines, en promouvant l’innovation ouverte, non seulement pour la Suisse, mais aussi pour la science et la société à l’échelle mondiale.»

Il ne reste donc plus que l’épreuve du terrain, pour permettre aux utilisateurs de voir si ce modèle est réellement capable de rivaliser avec les solutions des grandes entreprises. Ce qui est certain, en revanche, c’est que sa fiabilité et sa transparence seront des éléments clés pour permettre à d’autres scientifiques de créer des solutions innovantes pour des projets de toute nature. Comme le conclut Antoine Bosselut: «En tant que chercheurs d’institutions publiques, notre objectif est de faire progresser les modèles open source et de permettre aux organisations de développer leurs propres applications à partir de ceux-ci.»

Texte traduit de l’italien à l’aide de l’IA/op