Еженедельное исследование AI-поиска: доступ поисковых роботов регулируют разные правила

Этот выпуск рассматривает практическую ошибку «разрешить всех AI-ботов» или «запретить всех AI-ботов». В реальности публичный сайт может быть нужен поиску, answer-engine, обучающему сборщику, агенту, рекламной системе и мониторингу, причём у каждого класса свои цели и политика. Официальные документы OpenAI и Google дают названия и назначение части роботов, но не раскрывают полный путь от обхода к ответу. Поэтому результатом исследования является матрица решений, а не обещание индексации.

Источники раздела:[1] OpenAI[2] OpenAI Developers[3] Google Search Central

OpenAI отдельно описывает роботов для поиска, действий по запросу пользователя и сбора данных для обучения. Владелец сайта может разрешить поисковому роботу находить страницы, запретить сбор для обучения и отдельно решить, можно ли системе открывать страницу по просьбе пользователя. Одного названия робота в запросе недостаточно: если оператор публикует диапазоны IP-адресов или способ обратной проверки домена, используйте их. Любой может подделать имя в заголовке запроса. Сохраняйте историю изменений правил и объясняйте назначение каждого из них.

Источники раздела:[1] OpenAI[2] OpenAI Developers

Google определяет robots.txt как способ сообщить поисковому роботу, какие пути можно обходить. Это не пароль, не удаление уже известного адреса и не гарантия, что поисковая система не сохранит заголовок или ссылку. Закрытый в robots.txt путь всё равно может быть доступен обычному пользователю, если нет авторизации. Закрытые материалы нужно защищать на сервере. Для открытых страниц robots.txt следует проверять вместе с ответом сервера, указанным основным адресом, картой сайта, запретом индексации и фактическими визитами робота. Иначе одна строка robots.txt будет неправильно описана как полная политика видимости.

Источники раздела:[3] Google Search Central[4] Google Search Central

Эти четыре решения нельзя объединять в один переключатель. Поисковый робот помогает обнаруживать страницы; сбор данных для обучения регулируется отдельной политикой или лицензией; открытие страницы по просьбе пользователя связано с конкретным запросом; рекламный робот проверяет размещение рекламы. Разрешение одного типа робота не означает, что система покажет ссылку на сайт. Запрет другого не означает, что домен исчезнет из всех интерфейсов. В публичной документации нужна простая таблица: цель, название робота, разрешение и то, чего это разрешение не доказывает.

Источники раздела:[1] OpenAI[2] OpenAI Developers[3] Google Search Central[4] Google Search Central

Проверка начинается со списка адресов страниц и ожидаемых кодов ответа. Для каждого оператора сохраните заявленное имя робота, дату, результат проверки IP-адреса, адрес страницы, код ответа сервера, последовательность перенаправлений, размер ответа и запрещающие директивы. Отдельно откройте страницу в обычном браузере и через разрешённый тестовый путь. Не отправляйте закрытые снимки или клиентские адреса в публичный процесс публикации. Если сеть доставки контента показывает защитную проверку, это говорит о доступности страницы, но не доказывает запрет со стороны оператора. Повторяйте тест после изменения правила и сохраняйте список различий.

Источники раздела:[1] OpenAI[2] OpenAI Developers[3] Google Search Central[4] Google Search Central

Самая опасная ошибка — принять отсутствие замеченного визита за доказательство отсутствия сайта в AI-ответах. Нельзя доверять одному имени робота без проверки IP-адреса, считать разрешение в robots.txt гарантией обхода, смешивать OpenAI SearchBot и GPTBot, публиковать закрытый источник в сопровождающем JSON-файле или объединять техническую доступность и реальные ссылки в один балл. Каждое утверждение помечается как наблюдение, вывод или гипотеза. Если данных недостаточно, правильная запись — «нет данных», а не ноль.

Источники раздела:[1] OpenAI[2] OpenAI Developers[3] Google Search Central[4] Google Search Central

Публичная политика GeoAeoAle должна быть адресной: перечислять классы доступа, цель, техническое правило и границу вывода. Контент можно разрешать поиску и пользователю, не открывая закрытые артефакты и не обещая цитирование. Следующий пересмотр нужен при изменении документации, IP-диапазонов, CDN-политики или появлении нового типа робота. Дата 11 октября 2026 года — контрольная точка, а не декоративная дата обновления.

Источники раздела:[1] OpenAI[2] OpenAI Developers[3] Google Search Central[4] Google Search Central

Реестр должен хранить не только решение «разрешить» или «запретить», но и цель правила, дату проверки и фактический результат. Для одного адреса страницы нужны отдельные строки для поискового робота, открытия по просьбе пользователя и сбора для обучения. Рядом отмечается, подтверждён ли оператор по официальным диапазонам IP-адресов или обратной проверке домена. При изменении сети доставки контента, защиты сайта или robots.txt старую запись нельзя молча перезаписывать. История позволяет сравнить заявленные правила с реальным доступом и не делать громкий вывод по одному техническому заголовку. Читатель увидит, что, когда и как проверялось и какой вывод пока сделать нельзя.

Источники раздела:[1] OpenAI[2] OpenAI Developers[3] Google Search Central[4] Google Search Central

Перед публикацией редактор должен ответить на четыре вопроса. Какая цель доступа описывается: поиск, обучение, пользовательский запрос, агент или реклама? Какой оператор и какой путь подтверждены документом? Что действительно наблюдалось в обмене данными с сервером или в интерфейсе, а что осталось неизвестным? Когда нужно провести следующую проверку, если политика или инфраструктура изменятся? Ответы записываются рядом с тезисом, а не прячутся в техническом приложении. Такой контроль защищает читателя от распространённой ошибки: превратить разрешение robots.txt в обещание индексации или принять один неудачный запрос за полное отсутствие страницы. Он также делает выпуск полезным для инженера: из текста можно сразу получить тест, ожидаемый результат и условие остановки.

Источники раздела:[1] OpenAI[2] OpenAI Developers[3] Google Search Central[4] Google Search Central

Публичная документация описывает границы доступа, но не раскрывает весь внутренний путь выбора источника. Поэтому корректная публикация должна показывать точную формулировку документа, дату проверки и область его действия. Там, где документация молчит, мы пишем «нет данных» и предлагаем воспроизводимый тест. Это сохраняет пользу материала и не превращает предположение о поведении робота в факт.