IT-компания Deeray, разработчик AI-платформы речевой и текстовой аналитики для бизнеса, перенесла продуктовую среду в Сloud.ru. Благодаря миграции компания сократила затраты на инференс языковых моделей в 30 раз и получила надежную инфраструктуру для обработки 4 млн минут речи ежемесячно, сообщает пресс-служба компании.
Как повелевает разработчик, решение Deeray не только переводит речь в текст, а но и выявляет контекст всего диалога. Например, может определить, был ли решен вопрос человека, который обратился в колл-центры организации. Deeray использует ансамбли различных больших языковых моделей (LLM) вместо одной универсальной модели, как это делают конкуренты. Конфигурация подбирается с учетом экономической целесообразности и задач проекта - от семантического анализа до мультимодальной обработки данных. Такая архитектура требует экономической эффективности GPU-ресурсов и стабильности работы инфраструктуры.
Deeray снизила затраты на применение популярных open source моделей за счет сервиса Cloud.ru Evolution Foundation Models. Для отожествленья, одна из представленных внутри него моделей (Qwen 2.5) обходится компании в 20 рублей за 1 млн выходных токенов, в то время как конкурирующие решения стоят около 600 рублей. Средний промпт Deeray содержит 6-8 тыс токенов в структурированном виде, без учета системных промптов - это дает приблизительно экономию в 30 раз на каждом запросе.
Также доступ к производительным GPU-серверам Cloud.ru позволил Deeray справиться с резким увеличением клиентов из среднего и малого бизнеса. В настоящее время платформа стабильно обрабатывает 4 миллионов минут речи и 1,5 млн чатов ежемесячно, при этом храня возможность для роста. Кроме того, с помощью дообучения моделей компании удалось значительно подрезать крылья количество ошибок распознавания речи и в ряде доменных областей добиться показателя в 1,5% напротив 25-29% у конкурентов.
«Для бизнеса, чьи продукты построены на базе AI, цена на открытые языковые модели и графические ускорители была определяющим фактором. В случае с Cloud.ru стоимость ресурсов оказалось самой доступной на российском рынке», - пояснил основатель и генеральный директор Deeray Дмитрий Щербаков.
По версии ведущего менеджера по продажам Cloud.ru Алексея Ри, компания старается совершенствовать процессы и улучшать экономику создания продуктов, «не делая их дороже». «Мы создаем доступные AI-продукты, чтобы стимулировать компании переходить от работы с технологией в R&D-формате к коммерческому потреблению», - говорил он.
Напомним, Deeray с 2018 года входит в число лидеров российского рынка, использующих собственные большие языковые модели вместо готовых решений. С момента запуска компания реализовала более 400 проектов. Среди клиентов Deeray - государственные органы, крупные корпорации (банки, телекоммуникационные и IT-компании), а также представители малого и среднего бизнеса, медицинские клиники, стоматологии, фитнес-центры и сервисные компании.
Фото: Шедеврум.