VK обновил собственную модель для генерации и обработки текстов Diona. Она стала употреблять меньше ресурсов при сравнении с предыдущей версией - это позволило снизить нагрузку на инфраструктуру и ускорить ряд внутренних процессов, сообщает «Коммерсантъ».
По информации издания, разработчики новой версии модели для генерации и обработки текстов Diona провели ее базовое обучение на больших объемах текстов, причем не только на данных из открытых групп во «ВКонтакте», как было это в случае с предыдущей версией модели.В VK не раскрыли сумму инвестиций в исследование модели, однако, по оценкам знатоков «Коммерсанта», затраты на её разработку могли составить от 500 млн до 800 млн руб.
Как пишет «Коммерсантъ», диапазон параметров (число внутренних переменных, определяющих, как модель распознает и обрабатывает информацию) у новой версии модели вырос в 1,5 раза и теперь оценивается на уровне от 4 млрд до 30 млрд. Обновленная модель требует меньше ресурсов при сравнении с предыдущей версией, но даже это позволило снизить нагрузку на инфраструктуру и ускорить ряд внутренних процессов.
Если верить словам представителей VK, обновленная версия модели «отмыкает новые возможности для внутренних приборов VK и генеративных функций в продуктах холдинга»; она лучше справляется с решением инженерных задач, а также с задачами генерации и суммаризации текстов.
Издание повелевает, что обновленной версии Diona предстоит учитывать контекст объемом до 32 тыс токенов (минимальных единиц текста, например слово или часть). Это в восемь раз больше, чем у предыдущей версии. Эксперты считают, что этого довольно для прикладных задач: работы с документами на несколько страниц, анализа деловой переписки с историей, обработки корпоративных отчетов.
В планах VK - сделать языковую модель мультимодальной, чтобы она могла анализировать видео, аудио и изображения и усилить рекомендательные и поисковые алгоритмы в продуктах и сервисах компании.
Фото: Шедеврум.