Admin
04.10.2025
Компания Cloudflare анонсировала внедрение обновленных директив для файла robots.txt, учитывающих не только поисковые системы, но и чат-ботов с искусственным интеллектом. Данный файл, присутствующий почти на каждом сайте, содержит инструкции о том, какие страницы могут посещать боты. Хотя требования robots.txt не являются обязательными, с появлением ИИ ситуация изменилась. Чат-боты, как правило, не индексируют сайты, а используют их содержимое для обучения и генерации ответов.
Многие системы ИИ игнорируют robots.txt или маскируются под поисковые роботы. Cloudflare, защищающая около 20% интернет-ресурсов, представила «Политику сигналов о контенте», позволяющую владельцам сайтов контролировать использование их материалов ИИ. Новые инструкции robots.txt включают три варианта: search, ai-input и ai-train, каждую из которых можно настроить на «yes» или «no».
Cloudflare уже развернула эту функцию для более чем 3,8 миллиона доменов, фиксируя установки директив как юридически значимые. Это может установить новый стандарт для соблюдения правил в интернете. Кроме того, компания тестирует функцию «платы за сканирование», позволяя владельцам сайтов взимать плату за доступ ботов к их ресурсам.