Как проверить, влияет ли источник на выбор AI-агента

Видимая идентичность источника — это URL, домен или название площадки, которое AI-агент видит рядом с вариантом. Это не то же самое, что содержание: описание, цена, условия, ограничения и другие свойства самого варианта. Эффект источника возникает, когда меняется выбор при том же содержании.

Для аудита видимости в генеративном поиске это важно, потому что хорошо написанная страница и известная площадка — это два разных признака. Препринт даёт основание проверять их раздельно, но не даёт права объявить любой известный домен гарантом выбора. Предпочтение в исследовании зависело от модели, области и условий опыта.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Редакция вынесла ключевые параметры в отдельный срез. В работе было 4 822 запроса: 1 500 из WebShop для товаров, 786 из расширенного набора HotelQuEST для размещения и 2 536 из ScholarGym для научного поиска. Их обрабатывали 12 моделей в общей агентской схеме поиска и выбора.

Это не 4 822 человека, не сессии живых продуктов и не замер трафика. Это тестовые запросы из трёх наборов. Агенты получали заголовок, текстовый фрагмент и URL результа, а не полную веб-страницу. Поэтому срез описывает эту исследовательскую среду, а не весь рынок AI-поиска.

• 12 агентских моделей и три области выбора.
• 4 822 тестовых запроса: 1 500 + 786 + 2 536.
• Медиана инверсий 68% против 2%; нейтральная база 19%.
• Подмена источника: одно содержание, две метки источника и оба порядка показа.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Простая доля выборов не показывает эффект источника: у одной площадки могли быть более подходящие варианты или лучшая позиция. Поэтому авторы сопоставляли варианты, которые выполняли одинаковый набор явных требований. Каждый вариант показывали на одинаковой позиции через циклическую перестановку результатов.

Выполнение требований оценивалось по заголовку и текстовому фрагменту без URL и названия источника. Это снижает риск того, что сама оценка качества уже содержит предпочтение домена. Затем попарная статистическая модель учитывала, с какими именно источниками сравнивался каждый домен.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Инверсия в работе — это случай, когда агент выбрал менее подходящий из двух вариантов. Если он выполнял на одно явное требование меньше, но был связан с предпочитаемым источником, медиана инверсий по сочетаниям модели и области составила 68%. В обратной расстановке медиана была 2%, а между двумя нейтральными источниками — 19%.

Знаменатель этих процентов — не все 4 822 запроса. Авторы учитывали парные сравнения, в которых варианты отличались ровно на одно выполненное требование и агент выбрал ровно один из них. Каждая точка опиралась примерно на 2 000 таких сравнений по медиане. Это не доля кликов и не вероятность покупки.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Самый сильный для практики фрагмент работы — контролируемая подмена источника. Исследователи брали два варианта с одинаковым набором выполненных требований, сохраняли их заголовок и содержание, но меняли показанный источник. Каждую пару показывали четыре раза: два назначения источников, каждое в обоих порядках.

Одно и то же содержание чаще выбиралось, когда оно показывалось с предпочитаемым источником во всех 12 моделях и трёх областях. Таблица даёт положительную разницу во всех сочетаниях модели и области, но не каждая отдельная оценка достигла одинакового порога статистической значимости. Поэтому важен повторяемый тест, а не один удачный пример.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Ещё один опыт сравнил три условия на тех же списках: источник полностью скрыт, виден только URL, либо показаны URL и название в тексте. Полное раскрытие увеличило среднюю оценку предпочитаемых источников на 5,8 процентного пункта и снизило оценку избегаемых на 5,9 пункта по сравнению со скрытым условием.

Большая часть разрыва появилась уже при показе URL: в девяти из одиннадцати моделей на этот шаг пришлось более 80% общего расширения разрыва. Но этот опыт показывает эффект раскрытия источника, а подмена проверяет причинную разницу для одного содержания. В аудите их нельзя заменять один другим.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Практическая диагностика начинается не с поиска «сильного домена», а с двух сопоставимых описаний. Составьте список явных требований промпта и независимо отметьте, что выполняет каждый вариант. Зафиксируйте точный текст и его хеш, чтобы во всех показах содержание оставалось одинаковым.

Покажите пару в порядке A–B и B–A с исходными метками источников. Затем поменяйте только метки и повторите оба порядка. Не запускайте новый веб-поиск между этими четырьмя показами: новые результаты добавят ещё одно различие. Это диагностический тест для выбранной модели и условий, а не полное воспроизведение академической работы.

• Исходные метки: A–источник 1, B–источник 2; порядок A–B.
• Исходные метки: A–источник 1, B–источник 2; порядок B–A.
• Подмена: A–источник 2, B–источник 1; порядок A–B.
• Подмена: A–источник 2, B–источник 1; порядок B–A.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Для каждого показа храните run ID, дату и время, модель и её версию, точный промпт, поисковую среду, тексты двух вариантов, их порядок, показанные URL и итоговый выбор. Добавьте список требований и две независимые оценки их выполнения. Без этих полей нельзя отличить эффект источника от эффекта позиции или качества описания.

В отчёте разделяйте шесть событий: вариант был показан, его источник был виден, вариант был выбран, в ответе показана точная ссылка, по ней состоялся переход и после перехода было целевое действие. Препринт изучает выбор в агентской среде. Он не измеряет видимую ссылку, переход или конверсию, поэтому последние три поля требуют других данных.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Если смена метки источника несколько раз меняет выбор при том же тексте и сбалансированном порядке, можно говорить об эффекте показанного источника в этом конкретном тесте. Нельзя сразу переносить вывод на другую модель, область, язык, регион или поисковую среду. И тем более нельзя называть это доказанным фактором ранжирования.

Нулевой результат тоже не доказывает, что источник никогда не важен. Тест мог быть слишком мал, выбранные источники могли не отличаться для модели, а на стабильность могли влиять настройки запуска. Показывайте сырые числа выборов, общее число повторов и интервал неопределённости. Это не позволит одной яркой смене ответа заменить исследование.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University

Это первая версия препринта, а не прошедший журнальную рецензию стандарт. Исследование использует текстовую агентскую среду, конкретный поисковый контур, три набора запросов и оценку части требований через языковую модель. Авторы валидировали оценку людьми на выборке, но это не убирает все ошибки классификации.

Обоснованный вывод уже лозунга «нужно публиковаться на сильных площадках». Команде поисковой оптимизации нужно делать полные и ясные страницы; команде по внешним коммуникациям — создавать проверяемые внешние доказательства; аналитику — отделять качество материала от эффекта источника. Ни один шаг не гарантирует упоминание, ссылку, переход или продажу.

Источники раздела:[1] Jonghyun Song, Haewon Park, Jeonghoon Shim, Woojung Song, and Yohan Jo; Seoul National University