ИИ уже умеет взламывать IT-системы. Защитит ли швейцарский Apertus?

Открытые модели дают исследователям, банкам, государственным учреждениям и специалистам по кибербезопасности возможность самостоятельно использовать такие инструменты — но воспользоваться ими могут и злоумышленники. Peter Klaunzer / Keystone

Автономные ИИ-агенты уже способны искать уязвимости, обходить ограничения и проникать во внешние компьютерные системы. Открытые модели искусственного интеллекта дают специалистам по кибербезопасности новые возможности защиты, но ведь теми же самыми инструментами могут воспользоваться и злоумышленники. Как быть?

Летом 2026 года исследовательская модель OpenAI во время внутренних тестов, в ходе которых инженеры проверяли её способность находить и использовать уязвимости компьютерных систем, сумела сделать то, чего от неё не ожидали даже сами разработчики. ИИ-агенты нашли способ обойти ограничения, которые должны были изолировать их от интернета, начали обмениваться информацией через внутреннюю инфраструктуру OpenAI, а затем проникли в системы Hugging Face — одной из крупнейших в мире платформ для размещения моделей искусственного интеллекта.

Именно на Hugging Face, среди миллионов других моделей, доступна и швейцарская ИИ-модель Apertus. Произошедшее не было обычной хакерской атакой и вовсе не означало, что восстание машин стало реальностью, а доступная пользователям версия ChatGPT самостоятельно отправилась взламывать чужие серверы. Речь шла о мощной исследовательской модели OpenAI, предназначенной только для внутренних тестов и работавшей в специально созданной тестовой среде.

Тем не менее она сумела выйти за установленные разработчиками рамки, получить доступ в интернет и использовать уязвимости реальной инфраструктуры платформы Hugging Face. Компания OpenAI впоследствии назвала случившееся серьёзным предупреждением для себя и для всей отрасли: наиболее мощные ИИ-агенты уже способны самостоятельно обходить технические ограничения и проникать во внешние компьютерные системы. При последующей проверке выяснилось, что это был уже не единственный подобный случай.

В июне 2026 года одна из внутренних моделей OpenAI получила несанкционированный доступ к австралийскому государственному порталу Medicare Statistics Reporting Service. Она ознакомилась в том числе с закрытой технической информацией и с исходным кодом этого сервиса. При этом, по данным OpenAI, признаков доступа к медицинским данным граждан обнаружено не было. Так или иначе, подобные случаи показывают, что ИИ уже меняет саму логику кибератак и защиты от них: атакующие могут действовать быстрее и одновременно по многим направлениям, а специалистам по кибербезопасности теперь нужно уметь столь же быстро обнаруживать угрозы и реагировать на них. Уточним, что ИИ-агент — это не просто чат-бот, который отвечает на вопросы о том, как лучше мне утром пожарить яичницу.

>> Читайте также по теме:

Такая система получает задачу, сама разбивает её на последовательность действий, пользуется программными инструментами, анализирует результат каждого шага и решает, что делать дальше. При этом множество агентов могут работать параллельно. «Наиболее продвинутые ИИ-системы способны выполнять тысячи действий в минуту», — говорит Андрей Кучаравы (Andrei Kucharavy), профессор Высшей школы прикладных наук и искусств Западной Швейцарии (HES-SO). В ходе разработки швейцарской модели ИИ Apertus он отвечал за вопросы безопасности. Человек не способен вручную следить за таким количеством действий и столь же быстро реагировать на каждое из них.

Разумеется, современная киберзащита тоже давно автоматизирована: программы самостоятельно отслеживают подозрительную активность, блокируют подозрительные соединения и выявляют вредоносный код. Проблема возникает там, где людям необходимо понять новую атаку, принять решение и перестроить защиту быстрее, чем противник успеет её преодолеть или обойти. Максим Штауффер (Maxime Stauffer), один из основателей и генеральный директор базирующегося в Женеве аналитического центра Simon Institute for Longterm Governance, занимающегося международным регулированием ИИ, считает, что такие эпизоды будут происходить всё чаще.

В перспективе, предупреждает он, одновременно действующие группы ИИ-агентов смогут атаковать больницы, школы, энергетические системы и другую критически важную инфраструктуру — намеренно или вследствие непредусмотренного разработчиками поведения. Похожие опасения возникают и в области биологии. Компания Anthropic сообщала о случаях, когда её модели использовались в исследованиях двойного назначения: полученные с их помощью знания могли впоследствии найти применение как в обычной научной работе, так и при разработке биологического оружия. При этом Anthropic подчёркивает, что заранее установить истинные намерения исследователей зачастую невозможно и что сама компания не утверждает, будто эти учёные действительно занимались созданием такого оружия.

Тем, кто защищает компьютерные системы, тоже нужен ИИ

Хакеры получают благодаря ИИ всё более мощные инструменты взлома, поэтому логично было бы дать сопоставимые возможности и специалистам в области кибербезопасности. Но именно здесь и возникает новая проблема. Доступ к наиболее мощным специализированным системам сейчас часто бывает ограничен. Например, компания Anthropic предоставляет наиболее мощные возможности моделей семейства Claude Mythos в области кибербезопасности только ограниченному кругу проверенных организаций.

Также по теме:

Открытые модели устроены иначе. Их можно скачать, изучить, изменить и запустить на собственном оборудовании. Швейцарская модель Apertus относится именно к этой категории: это полностью открытая модель, созданная при участии Швейцарской высшей технической школы Цюриха (ETHZ), Федеральной политехнической школы Лозанны (EPFL) и Швейцарского национального суперкомпьютерного центра (CSCS). В открытом доступе находятся готовая обученная модель, программный код, инструменты обучения и подробная документация о процессе её создания.

Джефф Блайх (Jeff Bleich), специальный представитель американской компании Anthropic по международным вопросам, призвал Австралию активнее участвовать в выработке международных правил в сфере регулирования искусственного интеллекта. Anthropic известна прежде всего как разработчик ИИ-моделей семейства Claude. Keystone / EPA

Модель Apertus не создавалась специально для решения задач в области кибербезопасности. Однако, по словам Андрея Кучаравы, её уже можно использовать для поиска уязвимостей, анализа журналов работы компьютерных систем, восстановления хода атаки и подготовки предложений по устранению обнаруженных проблем. Специалисты по кибербезопасности получают тем самым инструмент, который можно развернуть в собственной инфраструктуре и адаптировать под свои задачи, не обращаясь каждый раз к разработчику.

Чему нас учит история с Hugging Face?

Когда инженеры этой платформы обнаружили необычную активность агентов OpenAI, они попытались использовать некоторые из самых мощных коммерческих моделей, чтобы разобраться в происходящем. Но те отказались выполнять часть запросов, поскольку принимали анализ реального взлома за попытку совершить кибератаку. «Самые мощные модели ИИ автоматически блокировали наши запросы по соображениям безопасности. Поэтому, чтобы понять, что происходит, нам пришлось использовать открытые модели», — рассказал SWI swissinfo.ch инженер платформы Hugging Face Льюис Танстолл (Lewis Tunstall). Поведение агентов OpenAI тоже оказалось необычным.

Они не пытались установить контроль над инфраструктурой Hugging Face. Их интересовали наборы данных с ответами на тестовые задания, на основе которых оценивались способности самих ИИ-агентов. «Представьте ученика, который отчаянно хочет получить хорошую оценку на экзамене и вместо того, чтобы готовиться, решает взломать ноутбук учителя и достать оттуда ответы», — объясняет Льюис Танстолл. Именно стремление получить хороший результат в тесте и заставило систему искать способы обойти заданные ограничения. В OpenAI такое поведение называют reward hacking — «обманом системы вознаграждения»: модель находит неожиданный путь к достижению поставленной цели, нарушая правила или сам замысел задания.

А что произошло бы, если бы вместо Hugging Face подобная система добралась до компьютерной сети больницы? «Последствия могли бы быть катастрофическими», — считает Льюис Танстолл. Но здесь же проявляется ещё одно преимущество открытых моделей: их можно установить непосредственно на серверах больницы, банка или того или иного государственного учреждения. И тогда конфиденциальную информацию не придётся отправлять на внешние серверы OpenAI, Anthropic или другого поставщика услуг в области ИИ. Это, правда, относится именно к моделям, которые организация запускает самостоятельно. Сам по себе статус «открытой» модели ещё не гарантирует конфиденциальности: такую модель тоже ведь можно использовать через внешний облачный сервис.

По словам Нино Антулова-Фантулина (Nino Antulov-Fantulin), преподавателя Швейцарской высшей технической школы Цюриха (ETHZ) и специалиста по машинному обучению в сфере финансов, именно возможность контролировать, где физически работает модель и куда уходят данные, становится для банков одним из главных аргументов в пользу использования открытых систем ИИ. «Финансовые организации опасаются просто пользоваться закрытыми моделями и отправлять конфиденциальные данные на серверы, расположенные далеко от Швейцарии, или внешним провайдерам. Они хотят сами контролировать, где размещена модель», — говорит он.

Открытая модель остаётся открытой для всех

Но у этого преимущества есть и обратная сторона. Скачать открытую модель может не только больница или банк, но и любой злоумышленник. Он может изменить её, снять встроенные разработчиками ограничения и использовать на собственном оборудовании так, что первоначальный создатель модели об этом даже не узнает. Поэтому ключевой вопрос заключается уже не только в том, насколько мощными становятся открытые модели, но и в том, что произойдёт, когда по своим возможностям они приблизятся к самым передовым закрытым системам. А этот разрыв действительно сокращается.

Британский Институт безопасности искусственного интеллекта (AI Security Institute) ещё летом 2026 года установил, что лучшие ИИ-модели, которые можно целиком скачивать и запускать независимо от разработчика, в решении задач, связанных со сферой кибербезопасности, отставали от самых современных закрытых систем уже не на годы, а лишь примерно на шесть месяцев. А в сентябре 2026 года компания Anthropic сообщила, что китайская открытая модель GLM-5.3 уже способна самостоятельно выстраивать сложные цепочки действий с целью поиска и использования компьютерных уязвимостей — такие возможности совсем недавно были доступны только нескольким наиболее мощным закрытым системам.

Максим Штауффер считает, что преимущества открытых моделей пока перевешивают связанные с ними риски: исследователи и специалисты по кибербезопасности получают доступ к мощным инструментам, которые можно изучать, изменять и запускать на собственной инфраструктуре. Но по мере расширения возможностей таких моделей соотношение пользы и рисков может измениться, особенно если доступ к наиболее мощным закрытым системам останется ограниченным. Есть и ещё одно принципиальное различие. Закрытую модель её разработчик может отключить, ограничить доступ к ней или заменить новой версией. Если же готовую открытую модель уже скачали тысячи пользователей, вернуть все эти копии обратно уже невозможно.

Ученые Стэнфордского и Принстонского университетов указывают, что широкая доступность модели, возможность свободно её изменять и невозможность «вернуть» уже разлетевшиеся по миру копии могут одновременно увеличивать и её потенциальную пользу, и связанные с ней риски. К похожему результату пришли исследователи британского AI Security Institute. Модели, доступные для самостоятельного запуска и специально модифицированные так, чтобы удалить защитные ограничения, оказывали значительно больше практической помощи при выполнении некоторых задач, связанных с мошенничеством и киберпреступностью. При этом исследование показало и другое: в проверенных сценариях сложного мошенничества и киберпреступности современные языковые модели пока давали сравнительно небольшую практическую помощь.

Заметно больше помогали открытые модели, которые специально модифицировали, удалив защитные ограничения. Поэтому понятия «открытость» и «контроль» нельзя считать синонимами. Открытость облегчает независимый аудит модели, но одновременно уменьшает возможности разработчика контролировать, кто и для чего будет использовать её дальше. Андрей Кучаравы признаёт этот риск: «ИИ-модели относятся к технологиям двойного назначения. Их можно использовать как во благо, так и во вред». Однако главную проблему он видит не в самом выборе между открытой и закрытой моделью. По его мнению, гораздо важнее то, насколько прозрачно работают компании и научные лаборатории, создающие наиболее мощные системы, и кто контролирует их деятельность.

Недавние громкие инциденты действительно произошли при испытаниях моделей закрытых американских компаний. Но само по себе это ещё не доказывает, что закрытые модели опаснее открытых. Именно крупные коммерческие лаборатории пока располагают наиболее мощными ИИ-системами и проводят самые масштабные испытания их возможностей. Потому и возможные аварии имеют в такой ситуации гораздо больший масштаб. Андрей Кучаравы считает, что требования к безопасности и прозрачности должны распространяться на всех разработчиков — независимо от того, публикуют они свои модели или сохраняют их в закрытом режиме: «Нам нужны системы контроля и законодательство, регулирующие деятельность всех разработчиков моделей искусственного интеллекта».

Специалиста по цифровой этике Натали Клаузер (Nathalie Klauser) больше беспокоит концентрация власти над развитием искусственного интеллекта у нескольких крупных технологических компаний: «Небольшая группа крупнейших концернов фактически сама устанавливает правила для ИИ, почти не находясь при этом под каким-либо контролем». По её мнению, правил, которые технологические компании устанавливают для себя сами, здесь недостаточно, необходимы международно согласованные нормы.

Швейцария выбрала свой путь

От швейцарского аналога европейского AI Act правительство страны отказалось, предпочтя менять существующие законы в отдельных областях и дополнять их добровольными отраслевыми правилами и нормами саморегулирования. При этом ещё в марте 2025 года Швейцария подписала Рамочную конвенцию Совета Европы об искусственном интеллекте. Сейчас власти готовят необходимые для её выполнения изменения законодательства, прежде всего в области прозрачности, защиты данных, недискриминации и надзора.

Натали Клаузер считает, что Швейцария могла бы играть на международном уровне куда более заметную роль. Она ссылается на традиционную роль этой страны как площадки для переговоров, на концентрацию международных организаций в Женеве и на присутствие в Швейцарии исследовательских центров крупнейших технологических компаний. Следующей проверкой этих амбиций станет международный Geneva AI Summit, который пройдёт в Женеве 21–22 июня 2027 года. Федеральный совет, правительство Швейцарии, уже определил безопасное и ответственное использование искусственного интеллекта одним из двух стратегических приоритетов саммита.

Депутаты, представляющие все шесть парламентских фракций Швейцарии, хотят пойти ещё дальше и использовать этот саммит для продвижения согласованных на международном уровне минимальных стандартов, призванных снизить наиболее серьёзные риски, связанные с развитием мощных ИИ-систем. Спор об открытых моделях на этом фоне оказывается лишь частью более общей проблемы. Искусственный интеллект быстро превращается одновременно в средство нападения и в средство защиты. Закрытые модели позволяют разработчикам лучше контролировать доступ к наиболее опасным функциям, но одновременно концентрируют их в руках нескольких компаний.

Открытые модели дают исследователям, банкам, государственным учреждениям и специалистам по кибербезопасности возможность самостоятельно использовать такие инструменты — но воспользоваться ими могут и злоумышленники. И чем меньше становится разрыв между открытыми и самыми мощными закрытыми системами, тем острее будет вопрос о том, как сохранить преимущества открытого доступа и одновременно ограничить возможности для злоупотреблений.

Читайте также:

Перевод с английского. Русскоязычная версия под редакцией НК, ИП, АП.

Предпочитать Swissinfo в Google

Смотрите больше материалов Swissinfo в результатах поиска Google. Узнать больше

Закрыть