Факты и мифы о швейцарской лингвистической модели Apertus

Что скрывается за наиболее часто повторяющимися утверждениями об этой технологии? Что тут факты, а что — домыслы? Keystone / Gaetan Bally

В Швейцарии представили Apertus — новую крупномасштабную модель искусственного интеллекта, разработанную федеральными политехническими школами Цюриха (ETH Zürich) и Лозанны (EPFL).

Реакция на релиз оказалась неоднозначной: одни встретили проект с энтузиазмом, другие подвергли его резкой критике. Что скрывается за наиболее часто повторяющимися утверждениями об этой технологии? Где факты, а где — домыслы?

По словам разработчиков, архитектура Apertus является «полностью открытой» — то есть все компоненты и исходные элементы этой «большой языковой модели» (LLM) находятся в свободном доступе. Авторы позиционируют её в качестве «важной вехи в развитии генеративного ИИ», подчеркивая при этом ее высокую степень «прозрачности и разнообразия».

Тем не менее вокруг проекта сразу начали распространяться самые разные слухи и интерпретации. Чтобы отделить факты от мифов и объективно оценить сильные и слабые стороны системы, портал Swissinfo протестировал Apertus и побеседовал как с её создателями, так и с независимыми экспертами в области искусственного интеллекта.

Модель Apertus — это швейцарский ChatGPT. Правда? Нет.

Модель Apertus изначально не создавалась в качестве инструмента для массового использования наподобие чат-бота ChatGPT от компании OpenAI. Это базовая модель искусственного интеллекта общего назначения (foundation model), разработанная для адаптации под различные приложения и сервисы, прежде всего в бизнесе и научных исследованиях. Например, она может применяться в электронной коммерции или для многоязычного извлечения информации в медицине.

«Широкая публика не является нашей основной целевой аудиторией», — подчёркивает Иманоль Шлаг (Imanol Schlag) из ETH Zürich, возглавлявший техническую часть процесса разработки Apertus. Именно поэтому модель не была выпущена с функциями для конечного пользователя и не получила собственного мобильного приложения. «Мы никогда и не ставили своей целью создать швейцарский ответ ChatGPT», — объясняет Мария Грация Джуффреда (Maria Grazia Giuffreda), заместитель директора Швейцарского центра научных вычислений в Лугано (Swiss Centre for Scientific Computing), на базе которого работает суперкомпьютер, обеспечивающий работу модели. Но чтобы все-таки дать публике возможность протестировать Apertus, некоммерческая организация Public AI сделала на своём сайтеВнешняя ссылка доступными некоторые его базовые функции.

Модель Apertus не способна конкурировать с самыми распространёнными LLM? Это правда.

Насколько известно исследователям, Apertus сегодня является самой мощной «полностью открытой» языковой моделью (LLM): в её максимальной версии используется 70 млрд параметров — показатель, характеризующий обучаемость системы. Однако по своим масштабам она уступает проприетарным решениям вроде GPT-4, Gemini или Claude, которые обучаются на значительно более крупных массивах данных и опираются на колоссальные вычислительные мощности. Для сравнения: у GPT-3 было 175 млрд параметров. Данные о более поздних версиях пока не раскрываются.

«Сравнивать Apertus с ИИ-моделями крупных американских корпораций — всё равно что сопоставлять небольшое фермерское хозяйство в кантоне Вале с гигантским промышленным производителем говядины», — говорит Эль Махди Эль Мхамди (El Mahdi El Mhamdi), профессор Парижской политехнической школы (École Polytechnique de Paris). При этом компактные модели обладают и собственными преимуществами: они эффективнее, доступнее для малого и среднего бизнеса (SMEs) и потребляют меньше энергии. «Всё больше специалистов приходят к пониманию того, что качество данных важнее их количества», — добавляет Мете Исмаилзада (Mete Ismayilzada), исследователь EPFL и Университета италоязычной Швейцарии (USI).

Скепсис, однако, сохраняется. Так, Бруно Фрай (Bruno Frey), почётный профессор Цюрихского университета, отметил, что однажды швейцарская модель сослалась на неверный научный источник: «Я не нашёл эту систему очень уж убедительной». А математик Ксавье Контесс (Xavier Comtesse) в публикации на LinkedIn указал, что Apertus часто выдаёт результаты, которые выглядят достоверно, но на деле являются ошибочными — так называемыми «галлюцинациями».

В защиту швейцарской модели выступает Иманоль Шлаг: по его словам, даже „облегчённая“ версия Apertus (8 млрд параметров) уже превосходит по ряду показателей сопоставимые разработки от Mistral, Meta, Alibaba, а также от государственных исследовательских организаций, работающих на основе принципа открытого доступа к исходным кодам.

Apertus — этичная и прозрачная система искусственного интеллекта, особенно на фоне других разработок. Это правда.

Модель Apertus стала первой крупномасштабной моделью искусственного интеллекта, изначально спроектированной и разработанной в соответствии с ключевыми требованиями Европейского акта об искусственном интеллекте (EU AI Act), вступившего в силу в 2024 году. Эти требования включают прозрачность, прослеживаемость данных, соблюдение прав интеллектуальной собственности и конфиденциальности.

Архитектура, весовые коэффициенты (числовые значения, определяющие работу нейросетей) и инструкции по обучению находятся в открытом доступе. Для обучения модели использовались только публичные и легальные источники, без привлечения материалов, защищённых авторским правом, а также сайтов, которые отказались предоставлять свои данные для подобных целей. Для сравнения: глобальные технологические гиганты уже много лет используют данные миллиардов пользователей без их согласия, включая материалы, защищённые авторским правом.

Зачастую, как отмечает Эль Махди Эль Мхамди, такие данные готовятся при помощи низкооплачиваемого труда работниковВнешняя ссылка в развивающихся странах. «Мы до сих пор не осознаём масштабы злоупотреблений, которые стали нормой в процессе создания современных мейнстрим-моделей ИИ», — говорит он. Именно поэтому Apertus особенно привлекателен для компаний, исследовательских центров и государственных структур, стремящихся разрабатывать ИИ-приложения с соблюдением этических принципов и юридических норм. «Наш пример доказывает: обучать генеративный ИИ можно ответственно и без кражи чужой интеллектуальной собственности», — подчёркивает Шлаг.

Модель Apertus владеет более чем 1800 языками. Правда? Нет!

Разработчики действительно приложили серьёзные усилия для того, чтобы обучить Apertus максимально широкому набору языков — по их словам, были учтены более чем 1 800 языков, включая малые языки и даже диалекты, которые обычно игнорируются популярными моделями, например ретороманский или швейцарский диалект немецкого языка. Это очень важное отличие, ведь большинство систем ИИ ориентируются в первую очередь на самые распространённые в мире языки.

Но всем очевидно: понимать язык — это одно, а правильно на нём говорить — совсем другое. На менее распространённых языках Apertus нередко допускает заметные ошибки. В наших тестах, например, модель иногда строила неуклюжие или некорректные фразы на итальянском. А слово «дедушка» модель не смогла корректно перевести на ретороманский язык. Иманоль Шлаг признаёт, что «разговорные способности» системы ещё требуют доработки.

Однако он подчёркивает, что уже сегодня по ряду задач эта модель превосходит другие языковые системы — например, при переводе с немецкого на ретороманский, что подтверждается последним техническим отчётомВнешняя ссылка. Данные результаты, впрочем, впечатляют далеко не всех экспертов. «Какой смысл в модели ИИ, которая формально „знает“ ретороманский, но при этом её средние показатели заметно ниже, чем у сопоставимых программ — не говоря уже о лидерах рынка?» — говорит Альдо Подеста (Aldo Podestà), генеральный директор швейцарского стартапа Giotto.ai. Он поддерживает проект Apertus, но открыто признаёт факт наличия у швейцарской модели очевидных недостатков.

Совсем иного мнения придерживается Мэри-Энн Хартли (Mary-Anne Hartley), профессор и руководитель Лаборатории интеллектуальных технологий для глобального здоровья и гуманитарного реагирования (Laboratory for Intelligent Global Health and Humanitarian Response Technologies) при EPFL: «Люди, которые говорят на малых языках, тоже заслуживают того, чтобы быть представленными в сфере передовых и высоких технологий. Именно к этому и стремится Apertus», — подчёркивает она. По словам разработчиков, нынешние ошибки — это лишь временная плата за более «инклюзивный и этичный» подход.

Модель Apertus предназначена только для Швейцарии? Нет, это не так.

Хотя модель и была разработана в Швейцарии при участии местных научных институтов, было бы неверно утверждать, что её применение ограничено только Швейцарией. Большинство обучающих пакетов данных (дата-сетов) взято из международных источников. Исключения составляют данные на швейцарском диалекте немецкого языка и на ретороманском языке, а также интеграция в модель так называемой «Хартии швейцарских ценностей», концепции, придуманной самими разработчиками Apertus и задающей принципы, с которыми должна соотноситься эта система ИИ, включая принципы нейтралитета и языкового разнообразия.

«Кроме этих аспектов, в нашей модели нет ничего специфически швейцарского», — подчёркивает Иманоль Шлаг. Команда разработчиков модели Apertus рассчитывает, что к проекту проявят интерес и другие страны, внося вклад в его развитие — будь то инфраструктура, специалисты или финансовые ресурсы. «Наша цель — продолжать развивать Apertus на европейском, если не на глобальном уровне», — говорит Мария Грация Джуффреда из Швейцарского Центра научных вычислений в Лугано.

Модель Apertus не способна обновляться в реальном времени, так как она не подключена к интернету? Нет, это не так!

Ни одна крупная языковая модель не может обновляться сама по себе в реальном времени. После завершения обучения модели остаются статичными, даже когда они встроены в решения и продукты с доступом в интернет, как, например, ChatGPT. Единственный способ вносить изменения и исправления — это повторное обучение модели, а этот процесс чрезвычайно дорог и доступен лишь компаниям с огромными финансовыми и вычислительными ресурсами. «Именно это и есть главный недостаток подобных технологий», — объясняет Иманоль Шлаг.

В следующий цикл обучения разработчики Apertus вложат 20 млн швейцарских франков федерального финансирования, используя суперкомпьютер Swiss Alps, работающий исключительно на гидроэнергии. Но в долгосрочной перспективе проекту все равно потребуются новые источники финансирования. «Я бы хотел, чтобы в эту технологию, имеющую решающее значение для нашего цифрового суверенитета, инвестировали больше — как государство, так и частные компании», — резюмирует И. Шлаг.