ChatGPT Search: обнаружение, источники и границы наблюдения

ChatGPT Search может объединять ответ с ссылками на веб-источники. Публичная документация OpenAI не даёт детерминированной формулы появления в ответе, поэтому доступ, retrieval, упоминание и citation нужно считать разными событиями.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

OpenAI описывает OAI-SearchBot как робота для показа сайтов в поисковых результатах, GPTBot как робота для возможного обучения, а ChatGPT-User как пользовательский fetch. У ролей разные задачи. robots.txt выражает политику, но разрешение остаётся только предусловием запроса.

• Записывать User-Agent, время, URL, status и размер.
• Разделять политику поиска и обучения.
• Подтверждать бота по User-Agent и официальной сети.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Ссылка в ответе — сильный публичный сигнал выбора страницы. Визит OAI-SearchBot слабее: он доказывает запрос, а не использование материала. Эксперимент должен хранить вопрос, локаль, дату, полный ответ и различать прямую цитату и предварительный визит.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Общей панели, показывающей каждый retrieval или citation ChatGPT Search, нет. Логи могут классифицировать задокументированные роли, если совпали User-Agent и опубликованные диапазоны IP. Actual AI visibility требует отдельного набора наблюдений prompt→answer→links.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

robots.txt — сигнал политики, а не контроль доступа. Публичную страницу могут получить другие клиенты. Закрытые материалы нужно защищать авторизацией. Для GeoAeoAle политика OAI-SearchBot, GPTBot и ChatGPT-User фиксируется отдельно.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

OpenAI не раскрывает полный индекс retrieval, ranking weights, query fan-out, thresholds, freshness windows или причины выбора ссылки. Визит бота не устанавливает ни одно из этих внутренних состояний.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Проверить URL с отключённым JavaScript, status, canonical, текст, ссылки, robots и sitemap. Проверить IP/rDNS роботов. Повторить фиксированную панель запросов, сохранить ответы и ссылки, указать размер выборки и неопределённость.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Проверять профиль каждые 30 дней и при изменении документации OpenAI. Это operational guide по публичным источникам, а не обещание обнаружения или цитирования.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Строка с OAI-SearchBot подтверждает обращение к URL из заявленной роли робота. Она не подтверждает, что текст попал в ответ пользователю. Для такого вывода нужна отдельная запись prompt→answer→link, сохранённая с датой, локалью и полным ответом.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Сначала зафиксируйте политику robots.txt для OAI-SearchBot, GPTBot и ChatGPT-User отдельно. Затем проверьте HTML и доступность страницы обычным запросом. После этого повторяйте одну и ту же панель вопросов и отмечайте отдельно упоминание бренда, ссылку на страницу и отсутствие цитаты.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Для каждого прогона сохраните точный prompt, дату, язык, регион или настройки интерфейса, полный ответ и все отображённые ссылки. В логах рядом держите время, URL, User-Agent, статус и факт проверки IP/rDNS. Тогда можно сказать «страница была запрошена OAI-SearchBot» или «страница была процитирована в этом ответе». Нельзя подменять второе первым и нельзя делать вывод о влиянии GPTBot на выдачу ChatGPT Search.

Источники раздела:[1] OpenAI Developers[2] Google Search Central

Если ответ содержит ссылку на материал, зафиксируйте её как citation в конкретном наблюдении, а не как постоянное свойство домена. Если ссылка исчезла в следующем прогоне, это изменение результата, а не доказательство, что страница стала «хуже». Отдельно храните ответы без ссылок: они помогают оценивать полноту наблюдения, но не объясняют внутреннюю причину выбора. Такой журнал делает вывод проверяемым другим редактором и показывает, где заканчивается публичное наблюдение и начинается неизвестная внутренняя логика системы. Поэтому отчёт должен хранить и отрицательные результаты, и повторные прогоны, а не только случаи, когда нужная ссылка появилась.

Источники раздела:[1] OpenAI Developers[2] Google Search Central