«Яндекс» открыли миру новую языковую модель - Alice AI Search Pretrain, созданную с нуля. Благодаря своей продуманной архитектуре она мгновенно выдаёт ёмкие ответы и справляется с огромным потоком запросов.
Модель уже прошла первый этап обучения и обросла широкими знаниями о мире. Она может быстро обработать большие объёмы документов, выдерживать высокую нагрузку и при этом не требует массивных вычислительных ресурсов благодаря своей компактности. Исследователи и разработчики могут изучать её структуру и внедрять в собственные проекты.
Alice AI Search Pretrain использует гибридную архитектуру, популярную в научных работах: сочетание «Энкодер-декодер» (Encoder-Decoder) и MoE (Mixture of Experts). Первая часть модели отбирает нужную информацию, а вторая генерирует лаконичный ответ. MoE ускоряет работу и экономит мощности - вместо того чтобы задействовать всю сеть, активируется только та её «часть», которая лучше разбирается в теме. Модель содержит 35 млрд параметров, но при обработке одного токена используется лишь около 600 млн (менее 2 %).
На русском языке Alice AI Search Pretrain превосходит другие компактные модели. Слово «слепой» тест в данном случае не лукавит: она выдаёт более качественные ответы, чем Qwen 3.5 2B и 4B, а также T5 Gemma 2 4B-4B Base. При этом её качество сопоставимо с Qwen 3.5 35B-A3B, но при этом потребляет значительно меньше ресурсов.
С июля в поиске «Яндекса» уже действует дообученная версия модели - Alice AI Search из семейства генеративных моделей Alice AI. Чтобы ответы были ещё более лаконичными и понятными, разработчики собрали пользовательские сигналы и обучили модель на реальных взаимодействиях с людьми. Ответы появляются прямо под строкой поиска, быстро помогая разобраться в теме. Каждый месяц быстрыми ответами пользуются более 49 миллионов людей - это крупнейший генеративный продукт «Яндекса», где пользователи чаще всего встречаются с искусственным интеллектом.
Фото: «Яндекс»