Одинаковый промпт в пяти сервисах – это пять разных тестов

Когда один промпт отправляют в несколько сервисов, визуально сравнивают ответы, но часто забывают про поле поиска. Где-то доступен веб-поиск, где-то – файлы или специальные базы, где-то ответ строится без внешних источников. Даже внутри одного сервиса режим и настройки меняют доступный контекст.

Это не делает сравнение невозможным. Это меняет его формулировку. Можно сравнивать пользовательский опыт как он есть или можно выровнять условия для контролируемого теста. Нельзя выдавать один дизайн за другой.

Контролируемый дизайн фиксирует режим, веб-поиск, язык, регион, аккаунт, дату и доступный контекст. Его цель – сделать сервисы максимально сопоставимыми, чтобы проверить конкретную гипотезу. Пользовательский дизайн сохраняет настройки по умолчанию и отвечает на другой вопрос: что увидит обычный человек в выбранной поверхности.

Перед запуском запишите, какой дизайн выбран. Если часть параметров неизвестна, укажите «неизвестно». Догадки о модели, персонализации или доступе к поиску нельзя подставлять задним числом.

Минимальный паспорт содержит сервис, режим, показанную модель или версию, наличие веб-поиска, язык, регион, тип аккаунта, дату и часовой пояс, полный промпт, полный ответ и все видимые источники. Если запрос выполнялся внутри продолженного диалога, сохраните предыдущий контекст или начните новый диалог.

Для повторного замера добавьте версию страницы, набор промптов и правила кодирования. Проверяющий должен понять, что именно считалось упоминанием, корректным фактом, цитатой, ссылкой и рекомендацией.

Ответ ChatGPT Search и ответ ChatGPT без поиска могут решать разные задачи. Режимы Perplexity также могут подключать разные наборы материалов. Google описывает разветвление запроса на подтемы для своих AI-функций; это не универсальное свойство всех сервисов и не причина переносить его результаты на остальные.

В таблице держите отдельные строки для сервиса и режима. Среднее по смешанным строкам выглядит точным, но скрывает, какая поверхность дала результат и какие условия его породили.

В одном ответе могут одновременно быть упоминание бренда, правильное описание, видимая ссылка и полезная рекомендация – или только первое из них. Кодируйте эти события раздельно. Особенно важно отличать ссылку на источник от ссылки, ведущей к нужному действию человека.

Если нужен показатель, публикуйте числитель, знаменатель, период и исключения. «Пять из двадцати запусков дали ссылку» проверяемо. «Сервис лучше цитирует» без определения поверхности и правила подсчёта – нет.

Даже паспорт не убирает динамику индекса, персонализацию и случайность генерации. Он лишь делает её видимой. Один запуск остаётся наблюдением; серия повторов с одинаковым протоколом даёт основание обсуждать устойчивость внутри выбранной поверхности.

Перед следующим сравнением выберите один запрос, один дизайн и один набор полей. Проведите пилот, проверьте, что архивируются полные ответы и URL, затем масштабируйте серию. Не добавляйте новые сервисы только ради более впечатляющей таблицы.