Was kann Apertus? Fakten und Mythen über das neue Schweizer KI-Modell

Seit seiner Einführung Anfang September wurde viel über das Schweizer KI-Modell Apertus gesagt und geschrieben. Was ist wahr und was ist falsch? Keystone / Gaetan Bally

Die Eidgenössischen Technischen Hochschulen haben kürzlich Apertus vorgestellt, ein neues grosses KI-Modell. Die Reaktionen sind gemischt. Wir schauen uns an, was hinter den häufigsten Behauptungen über die neue Technologie steckt.

Die Präsentation von Apertus, einem nationalen grossen Sprachmodell (Large Language Model / LLM) durch die ETH Zürich und die EPFL war mit Spannung erwartet worden. Die Entwickler:innen beschreiben es als «vollständig offen» – was bedeutet, dass alle Teile des Modells für die Öffentlichkeit frei zugänglich sind – sowie als «Meilenstein in der generativen KI-Entwicklung hinsichtlich Transparenz und Vielfalt». Es kursieren verschiedene Behauptungen darüber, was Apertus leisten kann und was nicht. Was ist wahr?

Swissinfo hat Apertus getestet und die Entwickler:innen sowie weitere Expert:innen auf dem Gebiet der KI gebeten, Fakten von Fiktion zu trennen und die wichtigsten Stärken und Schwächen des Modells zu beleuchten.

Apertus ist das ChatGPT der Schweiz: Falsch

Apertus ist, anders als ChatGPT von OpenAI, nicht für den persönlichen Gebrauch konzipiert. Es handelt sich um ein grundlegendes KI-Modell, das für verschiedene Anwendungen und Dienste, insbesondere in Wirtschaft und Forschung, angepasst werden kann. Es könnte beispielsweise im E-Commerce eingesetzt werden oder in der Medizin aus mehrsprachigen Informationen Wesentliches herausfiltern.

«Die breite Öffentlichkeit ist nicht unsere Hauptzielgruppe», sagt Imanol Schlag, Forscher an der ETH Zürich und Leiter der technischen Entwicklung von Apertus. Aus diesem Grund wurde Apertus nicht mit vielen benutzerorientierten Funktionen oder einer speziellen App für mobile Anwendungen veröffentlicht.

«Es war nie unsere Absicht, eine Schweizer Antwort auf ChatGPT zu entwickeln», erklärt Maria Grazia Giuffreda, stellvertretende Direktorin des Swiss National Supercomputing Centre CSCS in Lugano. Dort steht der Supercomputer, auf dem Apertus läuft.

Um der Öffentlichkeit die Möglichkeit zu geben, die neue KI auszuprobieren, hat die NGO Public AI auf ihrer WebsiteExterner Link einige Chat-Funktionen zur Verfügung gestellt.

Lesen Sie alle Neuigkeiten aus dem Bereich KI in der Schweiz:

Apertus kann nicht mit den am weitesten verbreiteten LLMs mithalten: Stimmt

Apertus ist unseres Wissens nach mit 70 Milliarden Parametern (ein Wert, der die Lernfähigkeit angibt) in seiner grössten Version das leistungsstärkste vollständig offene LLM. Es kann jedoch nicht mit von einzelnen Unternehmen betriebenen und kontrollierten Modellen wie GPT-4, Gemini oder Claude mithalten. Diese werden mit weitaus grösseren Datensätzen trainiert und von enormer Rechenleistung unterstützt. Im Vergleich: GPT-3 von OpenAI besitzt 175 Milliarden Parameter. Details zu späteren Versionen wurden nicht veröffentlicht.

«Apertus mit den KI-Modellen grosser amerikanischer Unternehmen zu vergleichen, ist wie der Vergleich eines Kleinbauern im Wallis mit einem riesigen Rindfleischproduzenten», sagt El Mahdi El Mhamdi, Professor an der École Polytechnique in Paris.

Kleinere Modelle können jedoch effizienter, für kleine und mittlere Unternehmen (KMU) leichter zugänglich und weniger energieintensiv sein. «Es setzt sich zunehmend die Erkenntnis durch, dass Datenqualität wichtiger ist als Quantität», fügt Mete Ismayilzada, Forscher an der EPFL und der Universität der italienischen Schweiz USI, hinzu.

Einige bekannte öffentliche Stimmen bleiben skeptisch. Bruno Frey, emeritierter Professor an der Universität Zürich, sagte, das Schweizer LLM habe ihm eine falsche wissenschaftliche Quelle genannt: «Ich fand das nicht sehr überzeugend.» Der Mathematiker Xavier Comtesse schrieb auf LinkedInExterner Link, das Modell liefere viele Ergebnisse, die auf den ersten Blick richtig erschienen, aber tatsächlich falsch seien (Halluzinationen).

Schlag verteidigt die Leistung von Apertus und weist darauf hin, dass bereits die kleinere Version (8 Milliarden Parameter) vergleichbare Modelle von Mistral, Meta, Alibaba – und allen anderen öffentlichen Institutionen – übertreffe.

Apertus ist im Vergleich zu anderen KI-Modellen ethisch und transparent: Richtig

Apertus ist das erste KI-Modell dieser Grösse, das unter Einhaltung der wichtigsten Anforderungen des 2024 in Kraft getretenen Europäischen KI-Gesetzes entwickelt wurde. Dazu gehören Transparenz, die Rückverfolgbarkeit von Daten sowie die Achtung des geistigen Eigentums und der Privatsphäre. Die Modellarchitektur, die Gewichte (numerische Werte, die die Funktionsweise der neuronalen Netze bestimmen) und die Trainingsanweisungen sind öffentlich zugänglich. Die für das Training verwendeten Datensätze stammen aus öffentlichen und legalen Quellen und enthalten keine urheberrechtlich geschützten Inhalte oder Daten von Websites, die der Verwendung ihrer Daten für das Training der KI widersprochen haben.

Im Gegensatz dazu nutzen Tech-Giganten seit langem die Daten von Milliarden von Nutzer:innen ohne deren Zustimmung, einschliesslich urheberrechtlich geschützter Inhalte. Diese Daten werden oft unter Ausnutzung unterbezahlter, oft illegaler ArbeitskräfteExterner Link in Entwicklungsländern gesammelt, wie El Mahdi El Mhamdi anmerkt. «Wir sind uns noch nicht bewusst, in welchem Ausmass Missbrauch in der Entwicklung der modernen Mainstream-KI die Normalität», sagt er.

Deshalb ist Apertus besonders attraktiv für Unternehmen, Forschungseinrichtungen und öffentliche Einrichtungen, die KI-Anwendungen ethisch und im Einklang mit den gesetzlichen Anforderungen entwickeln wollen. «Wir zeigen, dass man generative KI verantwortungsbewusst und ohne Diebstahl des geistigen Eigentums anderer trainieren kann», sagt Schlag.

Apertus beherrscht mehr als 1800 Sprachen: Irreführend

Die Entwickler:innen haben grosse Anstrengungen unternommen, um Apertus in einer Vielzahl von Sprachen zu trainieren – laut eigenen Angaben mehr als 1800. Darunter sind auch Minderheitensprachen und Dialekte, die von gängigen LLMs oft übersehen werden, wie Rätoromanisch und Schweizerdeutsch. Dies ist bemerkenswert, da sich die meisten KI-Modelle in erster Linie auf weit verbreitete Sprachen konzentrieren.

Eine Sprache zu verstehen ist jedoch eine Sache, sie korrekt zu sprechen eine andere. Insbesondere bei weniger verbreiteten Sprachen kann Apertus auffällige Fehler machen.

In unserem Test erzeugt Apertus beispielsweise zuweilen holprige oder falsche Sätze auf Italienisch. Im Rätoromanischen lieferte es eine falsche Übersetzung für das Wort «Grossvater».

Schlag, Entwicklungsleiter bei Apertus, räumt ein, dass die Konversationsfähigkeiten des Modells verbessert werden müssen. Er weist jedoch darauf hin, dass es laut dem aktuellen technischen BerichtExterner Link bei bestimmten Aufgaben, beispielsweise bei der Übersetzung von Deutsch ins Rätoromanische, andere Sprachmodelle bereits übertrifft.

Das beeindruckt jedoch nicht jeden. «Was nützt ein Modell, das Rätoromanisch spricht, wenn seine durchschnittliche Leistung weit unter der vergleichbarer Modelle liegt – ganz zu schweigen von jener der Spitzenmodelle?», fragt Aldo Podestà, CEO des Schweizer KI-Start-ups Giotto.ai. Er unterstützt das Apertus-Projekt, sieht aber auch dessen Grenzen.

Mary-Anne Hartley, Professorin und Direktorin des EPFL Laboratory for Intelligent Global Health & Humanitarian Response Technologies (Light) teilt diese Ansicht nicht: «Auch Menschen, die eine seltene Sprache sprechen, sollten in der Technologie vertreten zu sein. Das ist, was Apertus versucht», sagt sie. Für die Entwickler:innen sind diese anfänglichen Mängel der vorübergehende Preis für einen integrativeren und ethischeren Ansatz.

Apertus ist nur für die Schweiz gedacht: Falsch

Obwohl es in der Schweiz von Schweizer Institutionen entwickelt wurde, wäre es falsch, Apertus nur als nützlich für Anwendungen in der Schweiz anzusehen. Die meisten Trainingsdaten stammen aus internationalen Quellen. Ausnahmen bilden Daten in Schweizerdeutsch und Rätoromanisch sowie die Integration einer «Schweizer Werte-Charta», die Grundsätze wie Neutralität und sprachliche Vielfalt festlegt, an denen sich die KI ausrichten muss. «Abgesehen von diesen Aspekten hat unser Modell nichts spezifisch Schweizerisches», sagt Schlag.

Das Apertus-Team hofft, dass andere Länder Interesse amProjekt zeigen und zu dessen Weiterentwicklung beitragen, indem sie Infrastruktur, Fachkräfte und Ressourcen bereitstellen. «Unser Ziel ist es, Apertus auf europäischer, wenn nicht sogar auf globaler Ebene weiterzuentwickeln», sagt Giuffreda vom Rechenzentrum in Lugano.

Apertus kann sich nicht in Echtzeit aktualisieren, da es nicht mit dem Internet verbunden ist: Irreführend

Kein grosses Sprachmodell kann sich in Echtzeit aktualisieren. Nach dem Training bleiben sie statisch, selbst wenn sie in internetfähige Produkte wie ChatGPT integriert sind. Änderungen und Korrekturen in einem KI-Modell lassen sich nur durch erneutes Training implementieren. Diesen sehr kostspieligen Prozess häufig durchzuführen, können sich jedoch nur Unternehmen mit grossen Ressourcen leisten. «Das ist die grösste Einschränkung dieser Technologie», erklärt Schlag.

Für die nächste Trainingsphase erhält Apertus 20 Millionen Schweizer Franken an Bundesförderung und nutzt den Schweizer Supercomputer «Swiss Alps», der vollständig mit Wasserkraft betrieben wird und somit Ressourcen spart. Langfristig werden jedoch neue Finanzierungsquellen benötigt. «Ich würde mir mehr Investitionen in diese Technologie wünschen, die für unsere digitale Souveränität so entscheidend ist», sagt Schlag.

Editiert von Gabe Bullard, Übertragung aus dem Englischen mithilfe von Deepl: Petra Krimphove