ETH plant ein Schweizer «ChatGPT»

Mit künstlicher Intelligenz erstelltes Bild. EPFL

Die beiden Eidgenössischen Technischen Hochschulen kündigen die Veröffentlichung eines grossen Sprachmodells mit hohen ethischen Standards an.

Wer «grosses Sprachmodell» hört, denkt meistens an ChatGPT. Doch laut der Website «Hugging Face» gibt es über eine Million verschiedene solche Modelle einer künstlichen Intelligenz.

Kürzlich wurde bekannt, dass Ende des Sommers ein neues, vollständig schweizerisches, öffentliches und kostenloses Modell, entwickelt von den beiden Eidgenössischen Technischen Hochschulen in Zürich (ETH) und Lausanne (EPFL), zu dieser sehr langen Liste hinzukommen soll.

Was wie ein Tropfen auf den heissen Stein wirkt, sei ein Meilenstein für den gesamten Sektor der künstlichen Intelligenz, zumindest in Europa, heisst es. Denn das Sprachmodell soll eine Bastion der Transparenz und der ethischen Werte werden.

Geringe Transparenz

Die derzeitigen Systeme wurden in der Regel in den Vereinigten Staaten oder in China entwickelt. Daher hört man oft den Vorwurf, dass sie für die Öffentlichkeit und für Fachleute nicht offen genug seien.

Tatsächlich haben selbst diejenigen, die über die technischen Fähigkeiten verfügen, den Code hinter den Sprachmodellen zu verstehen, oft keinen Zugang dazu.

Die Abschottung verhindert also, dass man diesen Werkzeugen vollständig vertrauen kann, weil man beispielsweise nicht überprüfen kann, ob ihre Antworten künstlich in eine bestimmte Richtung gelenkt wurden, etwa bei politischen Fragen, und weil man nicht weiss, wo die bei der Nutzung eingegebenen Daten landen.

«Vollständig quelloffene Modelle ermöglichen die Entwicklung höchst zuverlässiger Anwendungen und sind der Schlüssel, um die Erforschung der mit künstlicher Intelligenz verbundenen Risiken und Chancen voranzutreiben. Transparente Prozesse erleichtern auch die Einhaltung von Vorschriften», sagt Imanol Schlag.

Der Forscher am ETH-Zentrum für KI hat das Projekt zusammen mit den EPFL-Professoren für künstliche Intelligenz, Antoine Bosselut und Martin Jaggi, geleitet.

Über 1000 verschiedene Sprachen

«Im Gegensatz zu kommerziellen Modellen, die hinter verschlossenen Türen entwickelt werden, hoffen wir, dass unser völlig offener Ansatz die Innovation in der Schweiz, in ganz Europa und durch internationale Kooperationen anregen wird. Ausserdem ist dies ein Schlüsselelement, um die besten Talente anzuziehen und zu nutzen», fügt Jaggi hinzu.

Das grosse Schweizer Sprachmodell soll in der Lage sein, fliessend in mehr als 1000 der etwa 7000 Sprachen zu kommunizieren, die es weltweit gibt.

Das System wurde mit einer riesigen Bibliothek trainiert, die zu 60% aus englischen und zu 40% aus weiteren 1500 Sprachen sowie aus Programmiercodes und mathematischen Formeln besteht.

Anhand der technischen Daten können die Forschenden bereits abschätzen, dass das System zu den leistungsfähigsten vollständig offenen Modellen gehören wird.

Die KI wird vom Supercomputer Alps trainiert

Das Projekt, das sich derzeit in der letzten Testphase befindet und noch keinen offiziellen Namen hat, hat auch einen starken Bezug zur italienischsprachigen Schweiz: Die langwierigen Trainingsprozesse der künstlichen Intelligenz wurden in den letzten Monaten in Lugano am Centro Svizzero di Calcolo Scientifico (CSCS) durchgeführt.

Hier, auf der Computerinfrastruktur namens Alps, liest das Sprachmodell enorme Datenmengen, in der Praxis vor allem Texte und Computercodes, um zu lernen, wie man Fragen beantwortet, von einer Sprache in eine andere übersetzt und sich mit den Benutzerinnen und Benutzer unterhält.

Das Sprachmodell wurde zudem mit Rücksicht auf das Klima entwickelt, da das Swiss National Supercomputing Center CO2-neutral ist.

«Das Training dieses Modells ist nur dank unserer strategischen Investition in Alps möglich, einem Supercomputer, der speziell für die künstliche Intelligenz entwickelt wurde», sagt Thomas Schulthess, Direktor des CSCS und Professor an der ETH Zürich.

«Unsere langjährige Zusammenarbeit mit Nvidia und HPE (zwei amerikanischen Computerkomponenten-Unternehmen, NdR) ist ein konkretes Beispiel dafür, wie die gemeinsame Arbeit von öffentlichen Forschungsinstitutionen und führenden Unternehmen der Industrie die staatlichen Infrastrukturen stärken und die offene Innovation fördern kann – nicht nur für die Schweiz, sondern für Wissenschaft und Gesellschaft weltweit.» 

Es bleibt nur noch der Praxistest, damit die Nutzenden sehen können, ob dieses Modell wirklich mit den Sprachmodellen der grossen Unternehmen mithalten kann.

Auf jeden Fall aber werden seine Zuverlässigkeit und Transparenz wichtige Voraussetzungen dafür sein, dass andere Forschende innovative Lösungen für Projekte aller Art entwickeln können, wie Bossolut abschliessend festhält.

«Als Forschende in öffentlichen Einrichtungen ist es unser Ziel, Open-Source-Modelle voranzutreiben und Organisationen die Möglichkeit zu geben, auf dieser Grundlage ihre eigenen Anwendungen zu entwickeln.»

Was ist Ihre Meinung? Debattieren Sie mit:

Übertragung aus dem Italienischen mithilfe von Deepl: Christian Raaflaub/me