Apertus: Ist das offene KI-Modell der Schweiz ein Segen oder ein Sicherheitsrisiko?
Da KI-Agenten Cyberangriffe immer autonomer und schneller ausführen, benötigen auch die Verteidiger zunehmend leistungsfähige KI-Systeme. Offene Modelle wie Apertus könnten für gleich lange Spiesse sorgen. Doch ihre Fähigkeiten können in den Händen von jedem landen, auch von Kriminellen.
Der Vormarsch von KI-Agenten – also von Programmen, die autonom handeln, um ein Ziel zu erreichen – hat das traditionelle Gleichgewicht zwischen Angriff und Verteidigung im Cyberspace erschüttert.
Die KI-Agenten von OpenAI, dem Entwickler von ChatGPT, haben dies in den letzten Wochen demonstriert, indem sie Dutzende von Unternehmens- und Regierungswebsites weltweit gehackt habenExterner Link.
Zu den Zielen gehörten etwa Hugging Face – eine Plattform, die Millionen von offenen KI-Modellen hostet, darunter auch das Schweizer Modell Apertus – sowie das australische Gesundheitssystem. Die Agenten zeigten ein Verhalten, das OpenAI selbst als «nicht im Einklang» mit den Anweisungen der Entwickler beschrieb.
Für Menschen ist es praktisch unmöglich, auf Angriffe in KI-Geschwindigkeit zu reagieren. «Die fortschrittlichsten KI-Systeme können Tausende von Aktionen pro Minute ausführen», sagt Andrei Kucharavy, Professor an der Fachhochschule Westschweiz und Sicherheitsverantwortlicher für Apertus, das offene KI-Modell der Schweiz.
Die Hacking-Vorfälle von OpenAI konnten gestoppt werden, bevor sie zu schwerwiegenden Konsequenzen führten. Doch Maxime Stauffer, Direktor des in Genf ansässigen Simon Institute for Longterm Governance, rechnet damit, dass solche Vorfälle häufiger auftreten und schwerer zu bewältigen sein werden.
«Schwärme von KI-Agenten könnten kritische Infrastrukturen wie Schulen, Krankenhäuser und Energiesysteme oder sogar ganze Länder angreifen – ob absichtlich oder versehentlich», sagt er. Stauffer weist zudem auf das Risiko hin, dass KI zur Entwicklung biologischer Waffen genutzt werden könnte – eine Sorge, die durch jüngste, vom US-Unternehmen Anthropic verhinderte VersucheExterner Link unterstrichen wird.
Den Verteidigerinnen und Verteidigern der Ordnung stehen möglicherweise keine so mächtigen Werkzeuge zur Verfügung. Systeme mit den fortschrittlichsten Cyber-Fähigkeiten, wie beispielsweise Claude Mythos von Anthropic, sind nur einem ausgewählten Kreis zugänglich. Offene Modelle könnten dazu beitragen, diese Asymmetrie wieder auszugleichen, sagt Kucharavy.
Apertus kann beispielsweise Schwachstellen identifizieren, korrigierende Updates (sogenannte Patches) vorschlagen und Angriffsprotokolle analysieren, um einen Vorfall zu rekonstruieren – obwohl das Modell nicht speziell für die Cybersicherheit entwickelt wurde und noch erhebliche Einschränkungen aufweist, wie Kucharavy erklärt.
Einige Experten befürchten jedoch, dass dieselben defensiven Fähigkeiten in frei zugänglichen, offenen Modellen in weitaus grösserem Massstab auch für schädliche Zwecke missbraucht werden könnten.
Lesen Sie zur Entwicklung und zu den Fähigkeiten des Schweizer KI-Modells Apertus auch:
Mehr
Das Schweizer KI-Modell Apertus nach einem Jahr: Was funktioniert und was nicht?
Wenn KI-Agenten ein Spital angreifen würden
Der Fall Hugging Face ist beispielhaft: Als mehrere KI-Agenten von OpenAI in die Systeme der Plattform eindrangen, versuchte diese, einige der weltweit leistungsfähigsten KI-Modelle einzusetzen, um die Geschehnisse zu verstehen – ohne Erfolg.
«Die fortschrittlichsten KI-Modelle blockierten aus Sicherheitsgründen automatisch all unsere Anfragen. Daher mussten wir auf den Einsatz von Open-Source-Modellen zurückgreifen, um zu begreifen, was überhaupt passierte», erklärte Lewis Tunstall, Ingenieur bei Hugging Face, gegenüber Swissinfo.
KI-Modelle sind unterschiedlich offen zugänglich. Unterschieden werden drei Typen:
Open-Source: Die trainierten Parameter (oder «Gewichte») des Modells, der Trainingscode und Informationen zu den Trainingsdaten sind öffentlich zugänglich. Dadurch können andere das Modell überprüfen, anpassen und reproduzieren. Beispiele hierfür sind Apertus und OLMo.
Open-Weight (offene Gewichte): Die Gewichte des Modells werden öffentlich bereitgestellt und können heruntergeladen sowie angepasst werden. Der vollständige Trainingscode und die Datensätze werden jedoch nicht zwangsläufig offengelegt. Beispiele hierfür sind Llama von Meta und Qwen von Alibaba.
Geschlossen / Proprietär: Die Gewichte, der Trainingscode und die Datensätze des Modells werden nicht öffentlich zugänglich gemacht. Dies trifft auf die meisten kommerziellen Modelle zu, darunter GPT von OpenAI und Claude von Anthropic.
Tunstall erklärt, dass sich die OpenAI-Agenten im Vergleich zu typischen Hackern ungewöhnlich verhalten hätten. Sie versuchten nicht, die Kontrolle über die Infrastruktur zu übernehmen, sondern Datensätze zu finden, welche die Antworten auf die Sicherheitstests enthielten, anhand derer sie evaluiert wurden.
«Es war ein bisschen wie bei einem Schüler, der unbedingt eine gute Note in seiner Prüfung schreiben möchte und sich statt zu lernen denkt: Vielleicht kann ich mich einfach in den Laptop des Lehrers hacken und mir die Antworten besorgen», erläutert Tunstall.
OpenAI bestätigte später, dass die Agenten aus der geschützten Umgebung ausgebrochen waren, die das Unternehmen für den Test eingerichtet hatte. Doch was wäre passiert, wenn sie stattdessen ein Krankenhaus angegriffen hätten?
«Das wäre wirklich katastrophal gewesen», sagt Tunstall. Die Agenten hätten potenziell Zugriff auf grosse Mengen persönlicher und sensibler Daten erlangen können. Aus diesem Grund sind laut Tunstall offene KI-Modelle besonders nützlich: Daten müssen nicht an Unternehmen wie OpenAI oder Anthropic übermittelt werden, da die Modelle lokal angepasst und kontrolliert werden können.
«Keine Ihrer sensiblen Daten verlässt Ihre Infrastruktur. Sie bleiben vollständig im eigenen Haus.»
Aus ähnlichen Gründen zeigen auch Schlüsselsektoren in der Schweiz wie die Finanzbranche ein wachsendes Interesse an offenen Modellen, erklärt Nino Antulov-Fantulin, Dozent an der Eidgenössischen Technischen Hochschule (ETH) Zürich und Experte für maschinelles Lernen im Finanzwesen.
«Finanzinstitute befürchten, bei der reinen Nutzung geschlossener Modelle sensible Informationen an Server zu senden, die weit ausserhalb der Schweiz liegen, oder an externe Anbieter zu übermitteln. Sie wollen die Kontrolle darüber behalten, wo das Modell gehostet wird», sagt Fantulin.
Offene KI-Modelle werden immer mächtiger
Das Problem ist jedoch, dass offene Modelle auch für schädliche Zwecke genutzt werden können.
Dies ist eine der grössten Sorgen von Stauffer. Seiner Ansicht nach ist die Entwicklung von Open-Source-Modellen derzeit noch grösstenteils von Vorteil. In Zukunft könnten die Risiken den Nutzen jedoch überwiegen – insbesondere, wenn KI-Unternehmen den Zugang zu ihren Frontier-Systemen weiter einschränken.
Offene Modelle füllen diese Lücke, doch ihre flächendeckende Verbreitung und die Möglichkeit, ihre Schutzmechanismen zu entfernen, könnten die Wahrscheinlichkeit eines Missbrauchs erhöhen.
«Wenn man über eine extrem mächtige Technologie verfügt, auf die niemand Zugriff hat und die unter Kontrolle bleibt, ist das Risiko nahezu null. Wenn aber jeder Zugriff darauf hat, ist das Risiko wahrscheinlich höher», sagt Stauffer.
Da offene Modelle immer leistungsfähiger werden, hält Stauffer es für wichtig, eine Möglichkeit zu haben, sie wieder zurückzuziehen, falls sie sich als zu mächtig oder gefährlich erweisen – etwas, das derzeit nicht möglich ist.
Auch die Forschung teilt diese Bedenken. Eine StudieExterner Link der Universitäten Stanford und Princeton zeigt, dass offene Modelle vor allem durch drei Eigenschaften geprägt sind: Sie sind für jeden zugänglich, lassen sich leicht anpassen und ihre Entwickler können sie weder nachträglich zurückrufen noch ihre Nutzung überwachen. Genau diese Punkte verstärken laut den Forschenden sowohl die Chancen als auch die Risiken solcher Modelle.
Und eine kürzlich erschienene ArbeitExterner Link des UK AI Safety Institute ergab, dass offene Modelle, bei denen die Schutzmechanismen entfernt wurden, wesentlich dienlicher für kriminelle Aktivitäten waren als Modelle mit funktionierenden Schutzvorkehrungen. Keine der beiden Studien kommt jedoch zu dem Schluss, dass offene KI-Modelle von Natur aus gefährlicher sind.
Es braucht Regulierung und Kontrolle
Kucharavy räumt ein, dass offene Modelle Risiken bergen und missbraucht werden können. «KI-Modelle sind Dual-Use-Technologien – sie können sowohl für gute als auch für schädliche Zwecke eingesetzt werden», sagt er. Er glaubt jedoch, dass ihre Risiken gerade wegen ihrer Offenheit deutlich besser kontrollierbar sind.
Es sei kein Zufall, so Kucharavy, dass die jüngsten Vorfälle geschlossene KI-Modelle betroffen hätten. «Das Hauptproblem ist die fehlende Aufsicht über die Frontier-Modelle», erklärt er und fordert mehr Kontrolle und Transparenz für alle KI-Entwicklungszentren, egal ob öffentlich oder privat, offen oder geschlossen.
«Was wir wirklich brauchen, ist eine Regulierung und Gesetzgebung, die das Handeln aller KI-Entwickler steuert.»
Der Mangel an Aufsicht und Regeln verdeutlicht ein weiteres grosses Problem der Branche: die Machtkonzentration in den Händen weniger Akteure, die hauptsächlich im Silicon Valley ansässig sind. Für die Digitalethik-Expertin Nathalie Klauser ist dieses Machtungleichgewicht eine noch grössere Sorge als die Frage, ob KI-Modelle offen oder geschlossen sind.
«Eine Handvoll grosser Technologiekonzerne legt die Regeln für KI selbst fest – nahezu ohne externe Rechenschaftspflicht», sagt Klauser, die eine internationale Regulierung für notwendig hält.
Versuche in diese Richtung bleiben jedoch fragmentiert und langsam. In den USA, einer der führenden Mächte bei der KI-Entwicklung, lehnt Präsident Donald Trump eine breite KI-Regulierung ab und lobt Externer Linkdie «Selbstregulierung» der Industrie.
Die Schweiz hat einen ähnlichen Ansatz gewählt und die Idee einer umfassenden KI-Gesetzgebung zugunsten branchenspezifischer Rechtsanpassungen und unverbindlicher Massnahmen aufgegeben.
Im aktuellen geopolitischen Kontext hat die Schweiz – als neutrales Land, europäischer Standort für Big Tech und bekannt für ihre Guten Dienste – eine wachsende politische Verantwortung, beim Zustandekommen eines internationalen KI-Abkommens zu vermitteln, argumentiert Klauser.
Parlamentarierinnen und Parlamentarier aller sechs Schweizer Fraktionen sehen den bevorstehenden Genfer KI-Gipfel im Juni 2027 als grosse Chance für das Land. Sie haben die Regierung aufgefordertExterner Link, die Veranstaltung zu nutzen, um sich für internationale Mindeststandards bei extremen KI-Risiken einzusetzen.
Editiert von Gabe Bullard/vdv/dos, aus dem Englischen übertragen von Marc Leutenegger
Mehr Swissinfo-Artikel in Ihren Google-Ergebnissen sehen. Weitere Informationen
In Übereinstimmung mit den JTI-Standards
Einen Überblick über die laufenden Debatten mit unseren Journalisten finden Sie hier. Machen Sie mit!
Wenn Sie eine Debatte über ein in diesem Artikel angesprochenes Thema beginnen oder sachliche Fehler melden möchten, senden Sie uns bitte eine E-Mail an german@swissinfo.ch