オープンモデルAIはサイバー攻撃の切り札か？悪用リスクも
エージェント型AIによるサイバー攻撃のリスクが顕在化している。スイスのApertusのようなオープンモデルは防御力の増強に役立つ可能性がある一方、悪用されればより深刻な被害をもたらす恐れもある。
自律的に計画・選択・実行し目的を達成する能力を持つAI（人工知能）モデルは「エージェント型AI（自律型AI）」と呼ばれる。この技術が今、サイバー空間における攻撃と防御のバランスを大きく揺るがしている。
エージェント型AIのリスクが顕在化したのは7月。ChatGPTで知られる米OpenAIのAIエージェントが制御から外れて暴走し、世界中の数十もの企業や政府機関のウェブサイトをハッキングした外部リンク。攻撃対象には数百万件のオープンなAIモデルを公開するプラットフォームHugging Faceやオーストラリアの医療システムも含まれていた。OpenAIは、同社のAIエージェントが「開発者の指示から逸脱した挙動」を起こしたと説明した。
こうしたAIによる攻撃に対し、人間が同等のスピードで防御することは事実上不可能だ。西スイス応用科学技術大学のアンドレイ・クチャラヴィ助教は「最も高度なAIシステムは1分間に数千もの動作を実行できる」と話す。同氏はスイスの完全にオープンなAIモデルApertus（アペルトゥス）のセキュリティ責任者でもある。攻撃対象となったHugging FaceにはApertusも収容されている。
OpenAIのハッキング事件は、深刻な事態に至る前に食い止められた。だがジュネーブに拠点を置くシンクタンク、シモン長期ガバナンス研究所のマックス・シュタウファー所長は、こうした出来事は今後さらに頻発し、対応もより困難になると予測する。同氏は「意図的な攻撃であれ、偶発的な事故であれ、AIエージェント群が学校、病院、エネルギーシステムなどの重要インフラ、そして国家全体をも標的にする恐れがある」と話す。生物兵器の開発にAIが利用されるリスクも指摘する。この懸念は、米Anthropic（アンソロピック）が阻止した最近の事例外部リンクにより、現実的な驚異として可視化された。
おすすめの記事
公開から1年、スイスのAIモデルApertusの成果と課題
防御側は、攻撃側と同レベルの強力なツールを利用できない可能性がある。AnthropicのClaude Mythosのような最も高度なサイバー機能を持つシステムは、ごく一部の限られたユーザーしか利用できない。こうした不均衡を是正するのにオープンモデルが役立つ可能性があるとクチャラヴィ氏は言う。
例えば、Apertusは脆弱性の検出、パッチ（修正プログラム）の提案、攻撃ログ分析・インシデント再構築を実行できる。だがサイバーセキュリティ用に設計されていないApertusの利用には、依然として大きな限界があるとクチャラヴィ氏は説明する。一方、広く利用可能なオープンモデルの防御機能自体が逆に、より大規模な攻撃に悪用されるリスクを危惧する専門家もいる。
AIモデルは何がどれだけ公開されているかによって、大きく3種類に分類される。
①オープンソース（完全公開）
学習パラメーター（重み）・コード・データセットが全て公開されているもので、検証・改変・再現が可能。例えばApertus、 OLMoなど。
②オープンウェイト（重み公開）
学習パラメーターが公開されているもの。ダウンロード・利用可能だが、学習コード・データセットが全て公開されているとは限らない。例えばMetaのLlama、AlibabaのQwenなど。
③クローズド／プロプライエタリ（非公開／独占的）
学習パラメーター・コード・データセットのいずれも非公開のもの。OpenAIのGPT、AnthropicのClaudeなど、主要な商用モデルの多くはこのタイプ。
標的が病院なら「まさに大惨事」
Hugging Faceの事例は、まさにその危険性を象徴している。OpenAIの複数のAIエージェントがHugging Faceに侵入したとき、同プラットフォームは世界最強のAIモデル群を使って事態を把握しようとしたが失敗した。
Hugging Faceのエンジニア、ルイス・タンストール氏は「フロンティアモデル（最先端のAIモデル）は、セキュリティ上の理由から、こちら側からのリクエストを全て自動的にブロックした。そのため、事態の把握にオープンソースモデルを使用せざるを得なかった」とスイスインフォに語った。
OpenAIのAIエージェントの挙動は通常のハッカーのものとは異なっていたとタンストール氏は説明する。AIエージェントはインフラを支配しようとしていたのではなく、自らが評価対象とされているセキュリティテストの答えを含むデータセットを探していたのだという。
「それはまるで、試験でどうしても高得点を取りたい学生が、勉強する代わりに『先生のパソコンをハッキングして解答を盗めるかもしれない』と画策するような感じだった」
OpenAIは事後、AIエージェントがテスト用に構築された保護環境から脱出したことを認めた。だがもし病院が攻撃されていたなら、どのような事態を引き起こしていただろうか？
「まさに大惨事になっていただろう」とタンストール氏は言う。AIエージェントが大量の個人情報や機密データにアクセスできてしまう可能性があったからだ。この点にまさにオープンモデルの有用性があると同氏は強調する。モデルをローカル環境で調整・制御できるため、OpenAIやAnthropicなどの外部企業にデータを送信する必要がないからだ。
「機密データがそのインフラから外部に出ることは一切なく、完全にローカル環境内に保持される」
同様の理由から、スイスの金融セクターなどの重要産業において、オープンモデルへの関心が高まっていると、スイス連邦工科大学チューリヒ校（ETHZ）のニーノ・アントゥロフ・ファントゥリン氏は言う。同氏は金融分野の機械学習を専門とする。
「金融機関は、クローズドAIモデルの利用によって、機密データがスイスから遠く離れたサーバーや外部プロバイダーへ送信されることに不安を感じており、モデルのホスト環境を管理したいと考えている」
オープンモデルは諸刃の剣
だが問題は、オープンモデルが悪意のある目的に転用される可能性があることだ。
これはシュタウファー氏が最も危惧していることの1つだ。オープンモデルの開発は現時点では概ね恩恵をもたらしているが、将来的にはリスクが利益を上回る恐れがあると同氏は指摘する。特に、AI開発企業がフロンティアシステムへのアクセスをさらに制限した場合にその傾向が高まる。オープンモデルはクローズドモデルの制約で生じる穴を埋める役割を担うが、セーフガードを解除し得るオープンモデルが広く普及すれば、それが悪用されるリスクも高まる。
「極めて強力な能力があっても、誰もアクセスできず、管理下に置かれているのであれば、リスクはほぼゼロだ。だが誰もがアクセスできるようになれば、リスクが増大する可能性が高い」とシュタウファー氏は言う。
オープンモデルの性能が向上するにつれ、これらのモデルが過度に強力あるいは危険だと判断された場合に回収するような手立てが重要になるだろうと同氏は話す。だがこうした処置は現時点では不可能だ。
いくつかの研究も同様の懸念を提示している。米スタンフォード大学・米プリンストン大学を中心に行われた産学民協働の研究外部リンクも、誰でも利用可能なこと、容易に改変できること、配布された後は重み（学習プロセスで得られる数値パラメータ、モデルの性能を左右する）を開発者が回収したり、利用状況を監視したりできないことが、オープンモデルの恩恵とリスクの両方を増大させる要因だと結論付けている。イギリスのAIセキュリティ・インスティテュート（UK AISI）が2月に発表した論文外部リンクは、セーフガードを解除するように改変されたオープンモデルは、セーフガードが維持されているモデルに比べて、犯罪行為に加担する割合が高まるとしている。だがいずれの研究も、オープンモデルそのものが本質的に危険だと断じているわけではない。
「監視体制と法の整備」が必要
クチャラヴィ氏は、オープンモデルがリスク要因を有すること、それが悪用される可能性があることを否定しない。「AIモデルは良い方向にも悪い方向に使えるデュアルユース技術だ」と同氏は言う。だがリスク要因とされるオープン性こそが、制御のしやすさをもたらすと同氏は考えている。
AIが引き起こした最近のハッキング事件がいずれも閉鎖環境で起こったのは偶然ではないとクチャラヴィ氏は指摘する。「問題の核心は、フロンティアラボに対する監視体制が整っていない点にある」とし、公的か民間か、オープンかクローズドかを問わず、全てのAI開発施設への監視体制の強化と透明性の向上が必要だと唱える。
「真に必要なのは、全てのAI開発者の活動を律する監視体制と法の整備だ」
監視・規制の欠如は、AI開発の主導権が米シリコンバレーを中心とする少数の特定企業に偏在しているという、業界の深刻な構造的欠陥の存在を露呈させる。デジタル倫理の専門家、ナタリー・クラウザー氏は、この権力の不均衡はAIモデルがオープンかクローズドかよりも大きな懸念事項だと指摘する。
「一握りの巨大テック企業が、外部への説明責任をほとんど負うことなく、AIのルールを自分たちで勝手に決めている」とし、国際的ルールの必要性を唱える。
だがこうした取り組みはまだ断片的で進みも遅い。AI開発を先導する主要国の1つであるアメリカでは、ドナルド・トランプ大統領が広範な規制に反対し、業界による「自主的な規律（セルフ・ポリシング）」を称賛している外部リンク。スイスも同様の姿勢で、包括的なAI法整備は行わず、業界に特化した限定的な法改正や非拘束的な措置を優先している。
現在の地政学的状況において、中立国であり、ビッグテックの欧州ハブであり、外交的仲裁の実績を持つスイスは、AIに関する国際合意の形成を後押しする政治的責任が高まっているとクラウザー氏は主張する。
スイス連邦議会の全6会派に属する議員らは、2027年6月開催予定のジュネーブAIサミットは、スイスがその責務を遂行するための重要な機会だとしている。議員らは政府に対し、同サミットを活用し、重篤なAIリスクを回避するための最低限の国際的ルールの確立に向けて働きかけるよう強く求めている。
編集：Gabe Bullard/vdv/dos、英語からの翻訳：佐藤寛子、校正：大野瑠衣子
Google の検索結果で Swissinfo の記事をもっと見る。 さらに詳しく
JTI基準に準拠
swissinfo.chの記者との意見交換は、こちらからアクセスしてください。
他のトピックを議論したい、あるいは記事の誤記に関しては、japanese@swissinfo.ch までご連絡ください。