Швейцария представит многоязычную ИИ-модель

Консорциум швейцарских вузов представит ИИ-модель (LLM), обученную на базе открытой инфраструктуры и ориентированную на поддержку 1500 языков. Keystone / Gaetan Bally

Консорциум швейцарских вузов представит языковую модель (LLM), обученную на базе открытой инфраструктуры и ориентированную на поддержку более чем 1500 языков. Разработка осуществляется при поддержке Швейцарского национального центра суперкомпьютинга (CSCS) и знаменует собой важный шаг в развитии открытых и воспроизводимых систем искусственного интеллекта.

Модель прошла обучение на суперкомпьютере Alps, расположенном в центре CSCS в Лугано, и, как подчеркивают её разработчики, представляет собой пример открытого научного подхода в эпоху увеличивающейся зависимости от закрытых коммерческих систем на основе ИИ. В проекте участвуют исследовательские группы из федерального Политеха Лозанны (EPFL), Высшей технической школы Цюриха (ETH Zurich), а также других академических учреждений страны.

Анонс модели состоялся в рамках первого международного саммита разработчиков открытых языковых моделей, проходившего на прошлой неделе в Женеве. Мероприятие собрало около пяти десятков международных организаций, работающих в области открытого ИИ и «ответственного развития языковых моделей». Саммит был организован при участии центров искусственного интеллекта EPFL и ETHZ и стал важным шагом к формированию глобальной экосистемы сотрудничества вокруг свободных моделей ИИ.

Как сообщили участники проекта, модель будет доступна в конце лета под открытой лицензией. Особое внимание уделено прозрачности: будут опубликованы как исходный код, так и корпус обучающих данных. Это позволит обеспечить воспроизводимость, научную проверяемость и адаптацию модели для нужд академических, правительственных и частных организаций. Цель инициативы — содействие инновациям и развитие инфраструктуры ответственного ИИ.

«Открытые лингвистические модели необходимы для устойчивых и надёжных способов применения ИИ. Они позволяют исследовать как возможности, так и риски, связанные с новыми языковыми архитектурами. Прозрачность критически важна также с точки зрения нормативно-правового соответствия», — объясняет Иманол Шлаг (Imanol Schlag), эксперт Центра ИИ при ETHZ и один из руководителей проекта наряду с Антуаном Босслю (Antoine Bosselut) и Мартином Ягги (Martin Jaggi) из EPFL.

Одной из ключевых особенностей модели является масштабное многоязычие. Базовая архитектура была обучена на корпусе текстов, включающем материалы более чем на 1 500 языках: 60% данных приходится на английский язык, а оставшиеся 40% — на самый широкий спектр других языков, включая малые и региональные языки. Кроме того, в обучение были включены программный код и математические форматы. По словам Антуана Босселе, такое лингвистическое разнообразие позволит применять модель в глобальном контексте с учётом локальных культурных и языковых особенностей.

Ожидается, что вместе с моделью будет опубликована исчерпывающая техническая документация, включающая описание архитектуры, методов обучения, критериев оценки и примеры практического использования. Инициатива, стартовавшая в декабре 2023 года под эгидой EPFL и ETHZ, поддерживается более чем десятью швейцарскими академическими учреждениями и является составным элементом стратегической программы по развитию в Европе ответственного и открытого ИИ.