Почему ссылки под AI-ответом не показывают весь путь поиска

Обычный читатель видит готовый ответ и несколько ссылок. Это первый слой доказательств: название источника, адрес страницы и место, рядом с которым ссылка показана. Он позволяет проверить, подтверждает ли открытая страница соседнее утверждение. Но этот слой ничего не говорит о страницах, которые сервис мог найти, прочитать и не показать. Поэтому формулировка «система использовала только эти источники» слишком сильна, если у исследователя нет отдельного журнала работы поиска.

Второй слой возникает только тогда, когда исследователь действительно получил журнал запросов и найденных страниц. В нём можно увидеть больше адресов, чем в готовом ответе, и сопоставить содержание каждой страницы с отдельными утверждениями. Третий слой остаётся неизвестным: закрытые правила отбора, внутренние оценки, данные обучения и шаги, которые сервис не записал в доступный журнал. Полезная проверка не заполняет этот пробел догадками, а сохраняет его как неизвестное значение.

• Показано человеку: текст ответа и видимые ссылки.
• Доступно исследователю: запросы и найденные страницы, если сервис сохранил их в выгрузке.
• Неизвестно: внутренние веса, полный набор рассмотренных страниц и точная причина выбора.

Источники раздела:[1] Mahsa Amani et al. / arXiv

Работа от 16 сентября 2026 года сочетает два разных способа наблюдения. В первой части авторы использовали разговоры, добровольно переданные пользователями. Набор включает 171 264 разговора от 613 человек в ChatGPT, Claude, Grok и DeepSeek. В выгрузках были промпты, поисковые запросы, найденные страницы, показанные ссылки и ответы. Это редкий случай, когда исследователь видит больше, чем финальный интерфейс, но выборка всё равно зависит от людей, согласившихся передать свои данные.

Во второй части один и тот же набор из 1 000 обезличенных промптов отправляли GPT-5.3-chat, Claude Sonnet 4.6, Grok-4.3 и DeepSeek-v4-flash через программные интерфейсы. Такой повтор уменьшает различия между пользовательскими наборами и помогает сравнить поведение выбранных моделей в заданных условиях. Однако это снимок проверенных версий и условий, описанных в препринте от 16 сентября 2026 года. Результат нельзя переносить на любую будущую версию приложения или на другой язык без новой проверки.

Источники раздела:[1] Mahsa Amani et al. / arXiv

Авторы разбили ответы на отдельные фактические утверждения и проверяли, поддерживается ли каждое утверждение текстом страниц. Сначала они смотрели на ссылку рядом с утверждением, затем на другие ссылки в том же ответе, затем на страницы, которые поиск вернул сервису, но которые в ответ не попали. Для ChatGPT, Claude и Grok последняя группа поддерживала от 14% до 53% всех утверждений в разных сервисах и двух видах выборки. Это доля утверждений, а не доля сайтов, промптов, ответов или переходов.

Диапазон широк, потому что сервисы, модели и условия отличались. Его нельзя превращать в среднюю норму рынка или обещание для конкретного домена. В опубликованной формулировке авторы не включили DeepSeek в этот диапазон, поэтому добавлять четвёртый сервис к числу недопустимо. Корректный вывод уже и полезнее: в исследованных данных видимый список ссылок не покрывал все страницы, содержание которых совпадало с утверждениями ответа.

• Числитель: утверждения, поддержанные найденной, но не показанной страницей.
• Общее число: все выделенные утверждения в соответствующей группе ответов.
• Не измерялось этим числом: переходы, продажи, позиция страницы или причинное влияние публикации.

Источники раздела:[1] Mahsa Amani et al. / arXiv

Если найденная страница содержит факт, похожий на утверждение ответа, это поддержка по тексту, но не запись внутреннего рассуждения модели. Тот же факт мог присутствовать на нескольких страницах, в предыдущих репликах разговора или в знаниях модели. Авторы прямо отмечают, что не видят скрытые рассуждения, формулы ранжирования и закрытые процессы поиска. Поэтому даже их богатый журнал не равен полному объяснению причины каждого слова.

Проверка поддержки тоже не была полностью ручной. Автоматическая оценка сравнивала утверждения с содержанием страниц, а люди проверили случайную выборку из 30 примеров. Три разметчика достигли 78,2% согласия между собой; автоматическая оценка совпала с итоговой человеческой меткой в 93,1% случаев. Это полезная проверка метода, но 30 примеров не устраняют все возможные ошибки. В своей аналитике стоит оставлять категорию «неясно», а не заставлять каждую строку стать подтверждённой или опровергнутой.

Источники раздела:[1] Mahsa Amani et al. / arXiv

Владелец сайта обычно не получает внутренний журнал поиска ChatGPT, Claude или Grok. Поэтому воспроизводимая проверка должна опираться на наблюдаемые события. Для каждого запуска сохраните точный промпт, дату, язык, страну, режим сервиса, полный ответ и все показанные адреса страниц. Затем разбейте ответ на короткие утверждения и откройте каждую показанную ссылку. Отметьте, подтверждает ли страница соседний текст полностью, частично, не подтверждает или результат неясен.

Рядом можно хранить журналы своего сервера, но их роль другая. Они показывают, что программа запросила страницу в определённое время и получила определённый код ответа. Они не показывают, попала ли страница в конкретный ответ. Если сервис не раскрывает найденные страницы, поле «найдено, но не показано» должно оставаться неизвестным. Нельзя заполнять его по сходству формулировок или по близкому времени визита робота.

• Утверждение: короткий фрагмент ответа, который можно проверить отдельно.
• Показанная ссылка: адрес, видимый человеку в этом ответе.
• Поддержка: полностью, частично, нет или неясно.
• Запрос страницы сервером: отдельное событие с датой и кодом ответа.
• Найденная, но не показанная страница: только из доступного журнала сервиса; иначе неизвестно.

Источники раздела:[1] Mahsa Amani et al. / arXiv

Представим, что ответ говорит: «Сервис подходит небольшим командам и хранит историю изменений», а рядом показывает ссылку только на страницу о тарифах. Разделите фразу на два утверждения. Страница о тарифах может подтверждать размер команды, но ничего не говорить об истории изменений. Первое утверждение получает отметку «подтверждено показанной ссылкой», второе — «не подтверждено показанной ссылкой». Это не означает, что второе утверждение выдумано: оно могло опираться на другую найденную страницу, прежний контекст или знания модели.

Если у вас есть доступный журнал поиска и в нём присутствует документация об истории изменений, второе утверждение можно отметить как поддержанное найденной, но не показанной страницей. Если журнала нет, правильная отметка — «происхождение неизвестно». В отчёте эти варианты нельзя объединять: видимая ссылка описывает то, что получил читатель, а найденная страница описывает дополнительное наблюдение исследователя. Ни один вариант сам по себе не подтверждает переход пользователя или влияние страницы на выбор сервиса.

Источники раздела:[1] Mahsa Amani et al. / arXiv

Для сравнения используйте один и тот же набор промптов, одинаковый язык, страну, режим и число повторов. Отдельно считайте ответы с упоминанием объекта, ответы с любой показанной ссылкой, ответы со ссылкой на нужный домен и утверждения, которые эта ссылка действительно поддерживает. Рядом с каждой долей показывайте исходное количество: например, «подходящая ссылка появилась в 8 из 40 запусков». Это позволяет увидеть, изменился ли видимый результат, не выдавая изменение за объяснение его причины.

Новая версия сервиса, другой набор людей, изменение интерфейса или обновление страницы могут повлиять одновременно. Поэтому фраза «после публикации ссылок стало больше» остаётся наблюдением. Фраза «публикация вызвала рост» требует отдельного опыта с контрольной страницей и сопоставимым периодом. Исследование 2026 года особенно хорошо показывает, почему нельзя использовать число показанных ссылок как полный показатель работы поиска: часть поддерживающих страниц может оставаться за пределами ответа.

Источники раздела:[1] Mahsa Amani et al. / arXiv

Сильный результат проверки не обязан быть положительным. Если ссылка показана и подтверждает утверждение, сохраните снимок и продолжайте наблюдение. Если ссылка показана, но не подтверждает текст, это проблема качества связи между ответом и источником. Если бренд назван без ссылки, зафиксируйте упоминание без видимого источника. Если робот запросил страницу, но в ответе её нет, сохраните два независимых события. Такая запись подсказывает следующий тест и не создаёт вымышленной причинности.

Для редакции практический вывод состоит не в том, чтобы угадывать скрытые правила. Страница должна ясно называть предмет, отделять факты от рекомендаций, указывать период и ставить первичный источник рядом с важным утверждением. Это облегчает проверку для людей и систем, но не обещает показ ссылки. Работа Amani и соавторов подтверждает более узкую вещь: видимые ссылки неполны как описание поиска. Она не раскрывает формулу позиций, не даёт владельцу сайта доступ к скрытым страницам и не гарантирует трафик после изменения текста.

Источники раздела:[1] Mahsa Amani et al. / arXiv