Языковая модель от «Сбера» и SberDevices FRED-T5 (Full-scale Russian Enhanced Denoisers T5) стала лучшей в мире по пониманию текста на русском языке, об этом сообщила пресс-служба компании, ссылаясь на результаты тестов главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE. По точности она уступает только человеку.
«Сбер» давно работает с трансформерными моделями - ещё в 2019 году были научены русскоязычные модели ruBERT и ruGPT-2, ну а в 2020 году с подачи суперкомпьютера Christofari была создана ruGPT-3. Эта модель существует в различных вариантах, и самый большой из них насчитывает 13 млрд параметров. В отличие от моделей супружества GPT, состоящих только из декодирующих блоков трансформера, модель FRED-T5 содержит также кодирующие блоки, что позволяет ей гораздо эффективнее иметь в себе разные задачи в сфере обработки природного языка.
Лидерборд Russian SuperGLUE (General Language Understanding Evaluation) - первый рейтинг нейросетей для русского языка. Место в рейтинге может зависеть вследствие того что, насколько качественно нейросеть выполняет задания на логику, здоровый смысл, целеполагание и понимание смысла текста. Это открытый проект, которым пользуются исследователи данных, работающие с русскоязычными нейросетями.
Архитектурно модель FRED-T5 реализована на базе нейросети T5 и имеет 1,7 миллиарда параметров и 24 слоя. Модель обучалась на задачах восстановленья случайно удалённых фрагментов текста на суперкомпьютере Christofari Neo. Это заняло шесть недель и потребовало использования обучающей выборки, содержавшей около 300 ГБ текста. В кругу профессионалов по автоматической обработке природного языка эту задачу нарекают MoD (Mixture of Denoisers). Этот подход был предложен ранее командой из Google в модели UL2.
В «Сбере» реализовали данный подход с рядом существенных изменений, основанных на результатах собственных исследований.
Сергей Марков, директор Управления экспериментальных систем машинного обучения SberDevices:
«Ведущие исследовательские центры в сфере машинного обучения в в наше время творят всё более и поболее крупные нейронные языковые модели. Количество параметров самых крупных монолитных нейросетей уже перевалило за 500 миллиардов и продолжает создавать себе подобных. Это беспрецедентные в истории человечества вычислительные проекты. Но прогресс заключается не только в создании всё более непомерных нейросетевых монстров, но и в совершенствовании архитектур сетей и методов их обучения. Благодаря этому самые современные модели при этом же количестве параметров интеллектуально превосходят своих предшественников. Хорошим образцом этого эффекта является нейросеть FRED-T5, которая при сравнительно стыдливом по теперешним меркам числе параметров стала лидером в понимании русского языка».