«Яндекс» опубликовал YaLM 100B: сейчас это, наверное, самая большая GPT-подобная нейросеть в открытом доступе, сообщает компания. Теперь её могу использовать разработчики и исследователи из всех стран.
YaLM 100В содержит 100 млрд параметров - больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать её для решения большого круга задач, связанных с обработкой природного языка. Языковые модели из супружества YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире.
Например, они способны воображать мысли для рекламных кампаний, создавать описания товаров и видео. При их помощи можно генерировать любые тексты (стихи, ответы, поздравления и так далее), а также классифицировать их, например, по стилю речи.
Команда «Яндекса» использует нейросети YaLM более чем в 20 проектах, в том числе в «Поиске» и голосовом помощнике «Алисе». Языковые модели помогают сотрудникам службы помощи отвечать на обращения, генерируют рекламные объявления и описания сайтов (сниппеты). Нейросети YaLM широко используются также при подготовке скорых ответов в Поиске.
Модель обучали на суперкомпьютерах «Яндекса», которые были признаны самыми сильными в Восточной Европе. В ходе учебного процесса YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
Фото: пресс-служба «Яндекса»