Faits et mythes sur le nouveau modèle suisse d’intelligence artificielle Apertus

Depuis son lancement début septembre, beaucoup a été dit et écrit sur le modèle d'IA suisse Apertus. Qu'est-ce qui est vrai et qu'est-ce qui est faux? Keystone / Gaetan Bally

Les écoles polytechniques fédérales de Suisse viennent de lancer Apertus, un nouveau grand modèle de langage (Large Language Model / LLM) d’intelligence artificielle (IA). II a suscité des réactions contrastées, chaleureusement accueilli par certains, critiqué par d’autres. Nous sommes allés vérifier ce qui se cache derrière les allégations les plus fréquentes au sujet de cette nouvelle technologie.

Après des semaines d’attente, l’École polytechnique fédérale de Zurich (EPFZ) et celle de Lausanne (EPFL) ont dévoilé Apertus, un nouveau grand modèle de langage national. Ses développeuses et développeurs le présentent comme «open source», ce qui signifie que toutes les données de ce modèle sont disponibles en libre accès par le public, et parlent d’un «jalon dans l’IA générative en termes de transparence et de diversité». Diverses allégations circulent sur ce qu’il peut, ou ne peut pas faire. Qu’est ce qui est vrai, qu’est ce qui est faux?

Swissinfo a testé Apertus. Pour ce faire, nous avons demandé à nos développeurs, ainsi qu’à quelques autres spécialistes en IA de démêler le vrai du faux et de mettre en lumière les principales forces et faiblesses du modèle.

Apertus est le ChatGPT suisse: Faux

Apertus n’est pas conçu pour l’usage personnel comme ChatGPT, l’outil d’OpenAI. Il s’agit d’un modèle d’IA de base, développé pour être adapté à différentes applications et services, notamment dans l’économie et dans la recherche. Il pourrait par exemple être utilisé dans le commerce électronique ou dans le domaine médical pour filtrer les informations essentielles à partir de données multilingues.

«Le grand public n’est pas notre cible principale», déclare Imanol Schlag, chercheur à l’EPFZ qui a dirigé le développement technique d’Apertus.

C’est pour cette raison qu’à son lancement, Apertus ne comporte pas beaucoup de fonctionnalités à destination des utilisatrices et utilisateurs ou une application mobile dédiée.

«Notre intention n’a jamais été de développer la réponse suisse à ChatGPT», explique Maria Grazia Giuffreda, directrice associée au Centre suisse de calcul scientifique (SCSC) à Lugano, où est basé le supercalculateur qui opère Apertus.

Pour donner au grand public l’occasion de tester cette nouvelle IA, l’ONG Public AI a rendu publiques certaines fonctions de son chat sur son site internetLien externe.

>> Découvrez toutes les nouveautés à venir dans le domaine de l’IA en Suisse:

Apertus ne peut pas concurrencer les LLM les plus répandus: Vrai

A notre connaissance, Apertus est le LLM entièrement ouvert le plus puissant à ce jour, avec 70 milliards de paramètres (une valeur qui indique sa capacité d’apprentissage) pour sa plus grande version. Mais il ne joue pas dans la même cour que les modèles brevetés tels que GPT-4, Gemini ou Claude, entraînés à partir d’ensembles de données beaucoup plus volumineux et bénéficiant d’une puissance de calcul considérable. En comparaison, GPT-3 a 175 milliards de paramètres (les détails ne sont pas publics concernant les versions ultérieures).

«Comparer Apertus aux modèles IA des grosses compagnies américaines, c’est comme comparer un petit agriculteur du Valais à un gros producteur de bœuf», déclare El Mahdi El Mhamdi, professeur à l’Ecole polytechnique de Paris.

Les plus petits modèles, toutefois, peuvent se montrer plus productifs, plus accessibles aux petites et moyennes entreprises (PME) et moins gourmands en énergie. «On est en train de prendre conscience que la qualité des données est plus importante que leur quantité», ajoute Mete Ismayilzada, chercheur à l’EFPL et à l’Université de la Suisse italienne.

Certains intellectuels de renom demeurent sceptiques. Bruno Frey, professeur émérite à l’université de Zurich, a déclaré que le modèle suisse lui avait fourni une source scientifique incorrecte: «Je ne l’ai pas trouvé très convaincant.» Le mathématicien Xavier Comtesse a déclaré sur LinkedinLien externe que le modèle produit de nombreux résultats qui paraissent exacts mais sont faux (des hallucinations).

Imanol Schlag défend la performance d’Apertus, et note que sa version réduite (8 milliards de paramètres) dépasse déjà des modèles comparables chez Mistral, Meta, Alibaba, et toutes les autres institutions publiques.

Apertus est éthique et transparent comparé à d’autres modèles IA: Vrai

Apertus est le premier grand modèle de langage IA conçu et développé pour répondre aux critères clés de l’European AI Act, entré en vigueur en 2024. Ces derniers incluent la transparence, la traçabilité des données et le respect de la propriété intellectuelle et de la vie privée. L’architecture du modèle, ses poids (soit les paramètres qui déterminent comment les réseaux neuronaux fonctionnent) et les instructions pour l’entraîner, sont tous publics. Les bases de données utilisées pour l’entraîner proviennent de sources publiques et légales, et n’incluent aucun contenu protégé par le droit d’auteur ou de sites internet qui ont choisi de ne pas être inclus dans les bases de données d’entraînement.

Par contraste, les géants de la tech exploitent depuis longtemps les données de milliards d’usagers sans leur consentement, y compris celles qui sont protégées par le droit d’auteur. Ces données sont souvent compilées par des travailleurs sous-payésLien externe dans des pays en développement, souligne El Mahdi El Mhamdi. «Nous n’avons pas encore conscience du degré d’exploitation qui est normalisé dans la chaîne d’approvisionnement de l’IA moderne à destination grand public.», dit-il.

C’est pourquoi Apertus est particulièrement attractif pour les entreprises, les instituts de recherches et les organismes publics qui veulent développer des applications IA de manière éthique et en conformité avec les réglementations. «Nous montrons qu’il est possible d’entraîner une IA de manière responsable, sans piller la propriété intellectuelle d’autrui», affirme Imanol Schlag.

Apertus maîtrise plus de 1 800 langues: Trompeur

Les développeurs n’ont pas ménagé leurs efforts pour entraîner Apertus sur une grande variété de langues, plus de 1 800, selon eux, dont des langues minoritaires et des dialectes souvent ignorés par les LLM populaires, tels que le romanche et le suisse allemand. Un détail important, quand on sait que la plupart des modèles IA ne se concentrent que sur les langues les plus largement répandues.

Mais la compréhension d’une langue est une chose. La parler correctement en est une autre. Et surtout dans des langues peu répandues, Apertus peut commettre de grossières erreurs. Au cours de notre test, par exemple, Apertus a parfois produit des phrases bancales ou incorrectes en italien. En romanche, il a donné la mauvaise traduction du mot «grand-père».

Le directeur du développement d’Apertus, Imanol Schlag, reconnaît que les capacités conversationnelles du modèle nécessitent d’être améliorées. Toutefois, il souligne qu’il surpasse déjà d’autres modèles de langages pour certaines tâches, notamment en traduction de l’allemand au romanche, selon son dernier rapport techniqueLien externe.

Cela ne convainc pas tout le monde. «Quel est l’intérêt d’un modèle qui parle romanche si sa performance moyenne est largement inférieure à des modèles comparables, sans même parler des meilleurs?» interroge Aldo Podestà, PDG de la startup up suisse Giotto.ai, qui soutient le projet Apertus mais en reconnaît aussi les limites.

Mary-Anne Hartley, professeure et directrice du laboratoire pour les technologies intelligentes de santé globale et de réponse humanitaire à l’EPFL, conteste cette vision: «Les gens qui parlent des langues qui ne sont pas répandues méritent d’être représentés au sein de la technologie. C’est ce que tente de faire Apertus», estime-t-elle. Pour les développeuses et développeurs, ces défauts initiaux sont le prix temporaire à payer pour une approche plus inclusive et éthique.

Apertus n’est destiné qu’à la Suisse: Faux

Bien qu’il ait été élaboré en Suisse par les institutions du pays, il serait erroné de limiter Apertus à une application en Suisse. La plupart des données d’entraînement proviennent de sources internationales. Parmi les exceptions, on retrouve les données en langue romanche et suisse allemande, et l’intégration d’une «charte de valeurs suisses» qui établit certains principes comme la neutralité et la diversité linguistique, auxquels l’IA doit se conformer. «Mis à part ces aspects, notre modèle n’a rien de spécifiquement suisse», déclare Imanol Schlag.

L’équipe d’Apertus espère que d’autres pays vont s’intéresser au projet et contribuer à son développement en fournissant des infrastructures, du personnel qualifié et des ressources. «Notre ambition est de développer Apertus à un niveau européen, sinon mondial», prévoit Maria Grazia Giuffreda, du centre de calcul à Lugano.

Apertus ne peut pas se mettre à jour en temps réel parce qu’il n’est pas connecté à internet: Trompeur

Aucun LLM ne peut se mettre à jour en temps réel. Une fois entraînés, ils restent tous statiques, même quand on les intègre dans des produits qui peuvent se connecter à internet, comme ChatGPT. La seule manière d’intégrer des changements et des corrections dans un modèle IA, c’est de l’entraîner de nouveau. Mais c’est un processus très coûteux, que seules les entreprises dotées de larges ressources peuvent se permettre de faire fréquemment. «C’est la limite principale de cette technologie», explique Imanol Schlag.

Pour son prochain entraînement, Apertus bénéficiera d’un financement fédéral de 20 millions de francs et du supercalculateur Swiss Alps, exclusivement alimenté par de l’énergie hydroélectrique, afin d’économiser des ressources. Mais à long terme, il faudra davantage de sources de financement. «Je voudrais voir plus d’investissements dans cette technologie, qui est si cruciale pour notre souveraineté numérique», déclare Imanol Schlag.

Relu et corrigé par Gabe Bullard. Traduit de l’anglais par Pauline Grand d’Esnon/rem.