Техническая доступность сайта для поисковых и AI-ботов

Заголовок, direct answer, дата, навигация и основной текст должны присутствовать в HTML ответа сервера. JavaScript может добавить Pagefind или фильтры, но страница не должна исчезать при отключённых скриптах. Проверка: curl финального URL, просмотр исходника и ручное открытие с выключенным JavaScript.

Источники раздела:[1] Google Search Central

Действующий URL отвечает 200. Постоянный перенос отвечает 301 и ведёт на реальный эквивалент; удалённый документ не превращается в пустой 200. Цепочка проверяется с -I и конечным GET, потому что заголовок редиректа сам по себе не показывает, что конечный HTML пригоден.

Источники раздела:[1] Google Search Central

robots.txt — публичная подсказка добросовестному боту. Любой клиент может её проигнорировать, а URL и данные могут быть найдены из других источников. Ops-панель, логи и черновики защищаются Basic Auth, VPN или application auth. В реестре отдельно указывайте политику для поискового краулера, training crawler и user-triggered fetch.

Источники раздела:[1] Google Search Central

Sitemap помогает обнаружению, но не заменяет links между материалами. Включайте только canonical публичных страниц; исключайте search, JSON sidecars, карантин и ops. Проверяйте, что каждый sitemap URL существует, имеет один canonical и не ведёт на soft 404.

Источники раздела:[1] Google Search Central

RU и EN имеют отдельные URL и self-canonical. В head каждой версии ставятся взаимные hreflang и x-default на явный выбор языка. Перевод не должен менять числа, период, силу вывода или список источников. Проверяйте parity автоматически по claim IDs и dataThrough.

Источники раздела:[1] Google Search Central

После сборки запустите curl для apex и www, проверьте HTTPS и цепочку redirect, затем robots, все sitemap, RSS, JSON-LD и sidecars. Откройте representative guide с отключённым JS и на ширине 320 px. Результат сохраняйте в артефактах релиза, чтобы откат был проверяемым, а не ручным воспоминанием.

Источники раздела:[1] Google Search Central

User-Agent — заявление клиента. Подтверждённым ботом в аналитике он становится только при совпадении с официальными IP или DNS-проверкой оператора, когда такие данные опубликованы. OAI-SearchBot, GPTBot и ChatGPT-User нельзя автоматически считать одной категорией. Посещение подтверждает запрос, не citation.

Источники раздела:[1] Google Search Central

Успешный технический релиз означает доступный HTML, корректные статусы, работающие canonical/hreflang/sitemap и отсутствие утечек ops. Он не означает, что поисковик обязан обходить URL или answer engine обязан показать его. Actual visibility измеряется отдельной панелью сохранённых ответов.

Источники раздела:[1] Google Search Central

Проверка должна быть последовательной. Сначала подтвердите, что URL отвечает 200 и отдаёт основной текст в HTML. Затем сверяйте canonical с фактическим адресом, включайте только публичный canonical в sitemap и проверяйте внутреннюю ссылку из уже доступной страницы. Для двуязычного материала сравните claim IDs, числа, период dataThrough и силу вывода. В конце откройте страницу без JavaScript и отдельно проверьте, что служебные маршруты закрыты авторизацией. В журнале фиксируйте результат как pass, fail или not applicable, а не просто ставьте зелёную галочку. Такой журнал нужен для отката и для объяснения, почему URL был или не был выпущен.

Источники раздела:[1] Google Search Central[5] Google Search Central

Если после релиза появился soft 404, не исправляйте его добавлением пустого текста: верните эквивалентный документ или корректный 410. Если sitemap содержит старый адрес, обновите индекс и проверьте конечные URL, а не только файл. Если RU и EN разошлись по числу или источнику, карантиньте обе версии до исправления, даже если одна уже технически доступна. Если бот запросил закрытый путь, это сигнал проверить авторизацию и логи, а не повод раскрывать маршрут через robots. Каждый сбой должен оставлять причину, affected URL, версию исправления и повторную проверку.

Источники раздела:[1] Google Search Central

Доступный HTML, разрешённый crawl и корректный sitemap делают документ пригодным для обнаружения, но не превращают его в обязательный источник. Индексация, retrieval, цитирование и переход — разные события. Поэтому отчёт о готовности должен заканчиваться не обещанием, а следующим наблюдением: какие URL проверим, каким вопросом, в какой локали и когда. Если оператор меняет интерфейс или правила обхода, baseline устаревает и его нужно пометить как исторический срез.

Источники раздела:[1] Google Search Central[6] OpenAI Developers

Диагностируйте от дешёвого к дорогому. Сначала запросите финальный URL и проверьте HTML, статус и canonical. Затем просмотрите robots и sitemap, после чего проверьте внутренние ссылки и языковые альтернативы. Только когда технический слой исправен, задавайте вопросы в AI-поверхности и оценивайте видимые источники. Если сразу начать с наблюдения ответа, техническую ошибку легко принять за редакционную. Каждый найденный дефект связывайте с URL, ожидаемым поведением, фактическим ответом и версией исправления.

Источники раздела:[1] Google Search Central[5] Google Search Central