«Яндекс» запустил новую технологию прогноза погоды на основании машинного обучения Meteum 2.0. Как разъясняют в компании, впервые в мире нейросеть, предсказывающая погоду, обучается не только на данных инструментов и метеостанций, но и на известьях пользователей. Итого краткосрочный прогноз осадков на «Яндекс.Погоде» стал на 20% точнее.
Мы уже привыкли к информации пользователей в иных сервисах «Яндекса»: например, в «Картах» можно наносить свои слои данных, ну а в «Навигаторе» автовладельцы делятся друг с приятелем информацией о ДТП, дорожных событиях причем даже могут пресекать в корне маленькие заметки с привязкой к точке на карте (правда, за контентом в «Разговорчиках» стали следить более тщательно).
В общем, пользователи вносят большой вклад в big data, но теперь благодаря им станет безошибочнее даже прогноз погоды (чья актуальность остается предлогом для большого количества анекдотов и мемом). Все дело в том, что сделать актуальный прогноз на самом деле совсем непросто, объясняет «Яндекс» в блоге на «Хабре». «Мы пошли на такой шаг, потому что все модели и очаги прогнозов были не образцовы, основаны на эмпирически подобранных формулах и по временам заблуждались. Но эти оплошности не случайны. Между ними можно отыскивать закономерности», - говорят аналитики интернет-сервиса.
Первая версия Meteum была выпущена шесть лет назад а тогда использовала три очага данных. Сейчас их уже больше: из национальных центров США, Канады, Японии и ЕС, а также собственный прогноз «Яндекса» на основании модели с открытым исходным кодом WRF. Однако Meteum превосходно выучит локальные особенности там, где много станций, и худое там, где станций мало. Судя по карте расположения метеостанций, из-за неравномерного покрытия достоверное событие прогноза погоды в Центральном федеральном округе будет лучше, чем на севере Сибири, где станций практически нет.
Именно с этим дефектом сражается Meteum 2.0: теперь данные инструментов дополняют сами пользователи. Обыденно сервис получает больше миллионов известий об осадках. Это помогло улучшить краткосрочный прогноз осадков по всей стране, а особенно на Урале, в Сибири и на Дальнем Востоке. Прогноз осадков на два часа стал довольно безошибочен, чтобы решить, имеет ли резон именно сейчас выходить на прогулку или лучше переждать время.
«По нашим оценкам, в зонах, где были радары, мы смогли немножко поднять качество прогнозов, а где их не было - приблизили качество к радарным наблюдениям. Технология превосходно масштабируется. Например, теперь с вашей помощью мы сможем отразить нападки мёртвую зону в районе Енисея, куда раньше не добывали спутники», - пишет «Яндекс».
Отправить известье об осадках можно через приложение «Яндекс» или «Яндекс.Погода»: такие сообщения «Яндек»с отмечает зонтиками на карте осадков. И чем больше известий присылают пользователи, тем надёжнее прогноз.
Прогноз погоды на неделю тоже стал безошибочнее при сравнении с первой версией Meteum. Теперь используется не три, а пять разных моделей прогноза, в том числе своя собственная. К ним добавили также данные спутниковых снимков и радаров. Информация обрабатывается за счет модели машинного обучения на базе CatBoost и нейронных сетей.