Роскомнадзор (РКН) советовал хостинг-провайдерам ограничить сбор информации с российских ресурсов закордонными ботами, в том числе компаний Google, OpenAI и Apple, пишет «Коммерсант».
Соответствующее письмо направлено Центром управления связью общего пользования (ЦМУ ССОП) Роскомнадзора компаниям из реестра провайдеров хостинга в финале апреля. Письмо содержит рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах.
Собеседник издания на рынке интернет-провайдеров комментирует, что пойдет речь об иностранных ботах, в том числе поисковых сервисов Google (Googlebot) или GPTBot компании OpenAI, Apple Bot компании Apple и др.
Роботы, в автоматическом режиме навещающие веб-сайты, используются для их индексации поисковиками, в интернет-рекламе, для сбора данных для обучения нейросетей и т. п.
Технически роботы могут мимикрировать под обычных посетителей сайтов, однако легитимные боты отправляют владельцам веб-сайтов идентификатор, позволяющий выявлять его предназначение. Например, «Яндекс» использует YandexBot для индексации сайтов в целом, YandexImages - для индексации изображения для поиска по картинкам и т. д.
Ограничение доступа иностранных ботов к российским сайтам, по идеи творцов письма, необходимо для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации, следует из письма.
Согласно рекомендациям, провайдерам (в реестре на апрель 428 компаний) «необходимо провести анализ рисков в своей зоне ответственности а при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
Роскомнадзор желает блокировать OpenAI
В письме приведен и список идентификаторов (User-agent), по которым можно отличить вредоносных роботов и сканеры уязвимостей (642 идентификатора).
Получение письма доказывают в DDoS-Guard и сообщают, что принимают его к сведению. В компании говорят, что на настоящее время в «реестр блокировок» РКН указанные боты не включены.
Собеседник в крупной IT-компании отмечает, что список приведенных в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы IT-систем». Однако он находит, что компании, которые зрят актуальными для самого себя риски не нашего сукна епанча иностранных ботов, начнут использовать практику их массовой блокировки.
Гендиректор хостинг-провайдера RUVDS Никита Цаплин допускает, что в проекте рекомендации Роскомнадзора могут стать требованиями.
Фото: Freepik