Почему API не заменяет проверку рекомендаций в интерфейсе AI-сервиса

Этот материал нужен команде, которая хочет понять, что именно видит пользователь, когда AI-сервис советует товар. Главный объект измерения — не абстрактная «видимость», а наблюдаемая рекомендация в конкретном пользовательском интерфейсе: сервисе, режиме, стране, языке, дате и состоянии аккаунта. Запрос через программный интерфейс — другой объект измерения. Его можно использовать для автоматизации и повторяемости, но нельзя автоматически объявлять заменой пользовательского интерфейса.

Разделяйте пять событий. Сервис может назвать товар; это рекомендация или упоминание. Он может показать ссылку; это видимый источник или переходный путь, а не доказательство клика. Человек может посетить страницу; это трафик. И только подтверждённое целевое действие является конверсией. Даже корректная ссылка не доказывает покупку, а запрос бота к странице не доказывает, что страница попала в ответ.

Перед запуском зафиксируйте задачу читателя: например, «какие товары и источники получает обычный пользователь при одинаковом промпте». Если запрос звучит как «какой сервис лучше», сначала уточните критерий: стабильность названного товара, точность характеристик, качество источников или действие после ответа. Это разные результаты, и для каждого нужен свой общий объём проверок.

• Интерфейс и API — отдельные условия.
• Рекомендация, ссылка, визит и заказ — отдельные события.
• Один скриншот — наблюдение одного запуска, не базовая частота.

Источники раздела:[1] Lucas G. Uberti-Bona Marin et al. / arXiv

В статье использован набор из 117 запросов о физических товарах. Каждый запрос запускали трижды в пяти условиях, что дало 1 755 наблюдений; в 1 536 случаях получился пригодный для анализа ответ. Три пользовательских условия — веб-интерфейсы ChatGPT и Gemini и AI Overviews в Google Search; ещё два — программные вызовы ChatGPT и Gemini. Запросы были преимущественно на английском, а браузер был настроен на английский язык для Нидерландов в сентябре 2026 года.

Исследование также сопоставляло интерфейс и API близко по времени, но это не превращает их в одинаковую среду. В интерфейсе модель и режим могли быть скрыты или изменены сервисом; в API авторы указывали конкретные модели и параметры. Поэтому вывод «интерфейс показывает другое» корректен только как наблюдение для выбранных условий. Вывод «это сделал API» был бы причинным и не следует из дизайна.

Важно не расширять выборку. Результаты относятся к физическим товарам, английскому языку, Нидерландам, указанным датам и моделям. Они не дают измерения для приложений, услуг, Google Play, App Store, RuStore, русскоязычных запросов или другого региона. Это не недостаток оформления, а граница исследования.

• 117 запросов × 3 повтора × 5 условий = 1 755 наблюдений.
• 1 536 наблюдений дали анализируемый ответ.
• Физические товары, преимущественно английские запросы, Нидерланды, сентябрь 2026 года.

Источники раздела:[1] Lucas G. Uberti-Bona Marin et al. / arXiv

Если запустить промпт один раз, вы не знаете, увидели ли типичный результат или случайный вариант. В исследовании формулировка «лучший товар» менялась между повторами для 27–40% запросов в зависимости от интерфейса. Это не означает, что сервис всегда случаен. Это означает, что единичный ответ не оценивает устойчивость.

Авторы сравнивали множества названных товаров. Показатель Жаккара — доля общих позиций среди всех уникальных позиций в двух ответах — в среднем составил 0,178 для ChatGPT, 0,287 для Gemini и 0,421 для AI Overviews. Он описывает состав товарных множеств в повторных ответах, а не долю кликов или качество товара. При другом числе повторов, языке или состоянии пользователя значение может измениться.

Практическое правило: заранее задайте число повторов и не выбирайте самый удобный ответ из серии. Сохраняйте каждый полный ответ и считайте, в скольких запусках товар появился, был назван лучшим или получил видимую ссылку. Доля 8 из 30 прозрачнее, чем слово «часто».

• Стабильность — свойство серии, не одного скриншота.
• Показатель Жаккара сравнивает множества, но не объясняет причину различий.
• Храните все повторы, включая неудобные результаты.

Источники раздела:[1] Lucas G. Uberti-Bona Marin et al. / arXiv

Ответ может назвать товар без ссылки, показать ссылку без рекомендации или назвать товар и дать ссылку на страницу, которая не подтверждает формулировку. Поэтому таблица аудита должна иметь отдельные поля: назван ли товар, назван ли бренд, заявлен ли «лучший» вариант, показана ли ссылка, ведёт ли она на точную страницу и подтверждает ли текст страницы утверждение.

В повторных ответах сходство видимых сайтов, посчитанное по их доменам, составило 26,0% для ChatGPT, 29,8% для Gemini и 45,9% для AI Overviews. Для точных страниц — 18,1%, 28,4% и 41,4%. Это измерение видимого источника, а не позиции в поиске и не посещаемости. Совпадение сайта также не означает совпадение содержания: две его страницы могут отвечать на разные части утверждения.

Отдельно отмечайте «источник показан», «страница поддерживает утверждение» и «пользователь перешёл». Если сервис не раскрывает найденные, но не показанные страницы, записывайте «неизвестно». Не заменяйте неизвестность догадкой по серверным журналам или сходству фраз.

• Упоминание не равно ссылке на источник; ссылка не равна переходу.
• Видимый домен и точная страница — разные единицы.
• Честная отметка «неизвестно» лучше, чем выдуманное происхождение.

Источники раздела:[1] Lucas G. Uberti-Bona Marin et al. / arXiv

Запускайте два параллельных протокола. В пользовательском интерфейсе фиксируйте видимый режим, состояние входа, модель, если она известна, язык, страну, дату, полный текст ответа и все ссылки. Для программного интерфейса фиксируйте конкретный метод, модель, настройки, версию клиентской библиотеки, служебную инструкцию, если она есть, параметры случайности и полный ответ. Эти записи нельзя сводить в одну строку «AI ответил».

Исследование обнаружило среднее сходство показанных доменов между пользовательским интерфейсом и программным интерфейсом 12,0% для ChatGPT и 14,8% для Gemini. Это важный сигнал: автоматический запрос не следует считать заменой того, что видит пользователь. Но числа не говорят, почему условия разошлись: среди объяснений могут быть модель, настройки, инструменты, персонализация, формат ответа и момент снимка.

Сравнивайте только сопоставимые единицы. Например, сначала оцените долю запусков, где точный товар был назван, затем долю запусков с видимой ссылкой и отдельно долю ссылок, подтверждённых страницей. Если одновременно меняются модель и интерфейс, называйте результат сравнением двух условий, а не экспериментом с одной причиной.

• API помогает повторять вызовы, но не копирует интерфейс автоматически.
• Храните конфигурацию рядом с каждым ответом.
• Не называйте различие причинным без контролируемого дизайна.

Источники раздела:[1] Lucas G. Uberti-Bona Marin et al. / arXiv

Минимальная строка должна содержать идентификатор промпта, дату и время, язык, страну, пользовательский интерфейс или программный интерфейс, режим, модель или отметку «неизвестно», номер повтора, полный ответ, названные товары, бренды, формулировку рекомендации, показанные URL и состояние страницы. Для каждого URL добавьте тип: точная страница товара, сайт бренда, обзор, маркетплейс, справочный материал или другой источник.

Затем отмечайте результаты раздельно: явная рекомендация, простое упоминание, видимая ссылка, подтверждение утверждения открытой страницей, зафиксированный переход и подтверждённое целевое действие. Ноль в одной колонке нельзя автоматически переносить в другую.

Для каждого числа показывайте и число случаев, и общий объём проверок: «товар назван в 18 из 30 запусков», «точная ссылка показана в 9 из 30», «страница подтверждает 6 из 9 проверенных ссылок». Если страницу не удалось открыть, ставьте отметку «не измерено», а не «не подтверждено». Так аудит остаётся воспроизводимым и не превращает отсутствие данных в отрицательный результат.

• Одна строка = один запуск одного промпта в одном условии.
• Сохраняйте полный ответ, а не только итоговый бренд.
• Отметки «неизвестно» и «не измерено» обязательны для честного отчёта.

Источники раздела:[1] Lucas G. Uberti-Bona Marin et al. / arXiv

Можно заключить, что в выбранной серии ответы, наборы товаров и видимые источники не были полностью стабильными и что пользовательский интерфейс не совпал с программным интерфейсом по показанным доменам. Можно использовать это для планирования мониторинга: повторять запуски, хранить условия и отделять результат, который видит пользователь, от автоматического запроса.

Нельзя заключить, что конкретный сайт занял место конкурента, что публикация страницы вызвала рекомендацию, что бот посещал страницу из-за ответа или что сервис ранжирует домены по одной общей формуле. Совпадение страницы с ответом может быть поддержкой текста, но не записью скрытого рассуждения. Связь между источником, упоминанием и конверсией требует отдельных наблюдений.

Если нужен следующий шаг, начните с малого контрольного набора: 20–30 промптов, одинаковые настройки языка и страны, три повтора для каждого условия и заранее определённые правила разметки. Через выбранный период повторите ту же процедуру. Изменение доли названных товаров — наблюдение. Причину изменения можно обсуждать только после проверки версии сервиса, модели, данных, промптов и других одновременно изменившихся факторов.

• Результат описывает условия и период, а не универсальное поведение всех AI-систем.
• Позиция, показ ссылки, переход и целевое действие требуют отдельных доказательств.
• Повторный контроль лучше красивого единичного ответа.

Источники раздела:[1] Lucas G. Uberti-Bona Marin et al. / arXiv