краулер — Crawler

Краулер следует набору адресов, получает ответы сервера и может передавать содержимое в следующий этап системы. Разные роботы одного провайдера могут иметь разные назначения: поиск, обучение модели или получение страницы по запросу пользователя. Поэтому имя провайдера нельзя использовать как единственную классификацию.

Источники раздела:[1] Google Search Central[2] OpenAI Developers

Краулер не равен браузеру человека, индексатору или компоненту, который выбирает материалы для ответа. Сервер видит сетевой запрос, статус и переданные заголовки, но обычно не видит, сохранила ли система документ, по какому запросу его выбрала или показала ли пользователю.

Источники раздела:[1] Google Search Central[2] OpenAI Developers

Запрос с техническим именем робота (User-Agent) OAI-SearchBot и успешным ответом сервера (HTTP 200) показывает, что клиент с таким заголовком получил страницу. Чтобы назвать его подтверждённым ботом OpenAI, нужно дополнительно сверить его сетевой адрес по официальной процедуре. Даже после этого событие остаётся получением страницы, а не её цитированием.

Сохраняйте время запроса, адрес страницы, код ответа сервера, объём ответа, техническое имя робота (User-Agent) и защищённый сетевой идентификатор. Сверяйте запрос с официальным списком ботов, диапазоном сетевых адресов или проверенной обратной DNS-записью. Отдельно отмечайте поддельное имя робота или автоматизацию, которую не удалось подтвердить.

Отсутствие визита за короткий период не означает, что страница неизвестна системе: её могли получить раньше, по другому адресу или через другую часть системы. Визит также не доказывает сохранение страницы, её положительную оценку или использование текста в ответе.