Как сравнивать AI-поиск на разных языках, не путая язык и платформу

Один и тот же смысл запроса на двух языках не создаёт два одинаковых опыта с заменой только одного слова. Поисковик может использовать другой набор доступных сайтов, по-разному показывать AI-обзор и учитывать язык интерфейса, страну, состояние аккаунта и время запуска. Если эти условия не записаны, фраза «язык изменил результат» скрывает сразу несколько возможных причин.

Полезная единица сравнения — конкретное сочетание платформы, языка и условий сбора. Сначала редакция описывает, что именно увидела, а уже затем предлагает объяснение. Такой порядок оставляет результат проверяемым: другой исследователь понимает, что нужно повторить, а владелец сайта не получает ложного обещания, будто перевод страницы сам по себе изменит видимость.

• Наблюдение: что показал интерфейс в заданных условиях.
• Вывод: осторожное объяснение нескольких наблюдений.
• Гипотеза: причина, которую ещё нужно проверить отдельно.

Источники раздела:[1] Yibo Li et al. / arXiv

Авторы взяли 500 английских запросов из набора MS MARCO и перевели их на упрощённый китайский с помощью машинного перевода Google. Затем проверили четыре условия: Baidu на китайском, Baidu на английском, Google на китайском и Google на английском. Из-за двух пропущенных записей Google итоговый массив содержит 1 998 наблюдений: 500, 500, 499 и 499.

Сбор шёл с 20 июня по 10 июля 2026 года из Милана через Chrome и Playwright. В Google исследователь был авторизован, интерфейс был английским; Baidu использовался с китайским интерфейсом. Режим инкогнито, виртуальная частная сеть и посредник для смены адреса не применялись. Эти детали входят в результат, а не являются неважной технической сноской.

• Основа: 500 намерений пользователя.
• Языки запросов: английский и упрощённый китайский.
• Платформы: Baidu и Google.
• Всего: 1 998 наблюдений в четырёх группах.

Источники раздела:[1] Yibo Li et al. / arXiv

В китайской группе Baidu обзор появился в 410 из 500 запусков, то есть в 82%. В английской группе Baidu он появился только в 20 из 500 запусков, или в 4%. Google показал обзор в 487 из 499 китайских запусков и в 484 из 499 английских — 97,6% и 97,0%. Эти доли описывают доступность функции в исследованных условиях, а не качество ответа.

Авторы исключили английскую группу Baidu из дальнейшего разбора тем и источников: двадцати успешных случаев недостаточно для равного сравнения с группами по четыре сотни ответов. Это важный пример редакционного решения. Нельзя складывать ошибки, отсутствие функции и ответы без ссылок в один ноль. Сначала показывают, сколько запусков было запланировано, сколько состоялось и сколько действительно содержало нужный элемент.

• Baidu, китайский: 410 из 500.
• Baidu, английский: 20 из 500; дальше не сравнивался как полная группа.
• Google, китайский: 487 из 499.
• Google, английский: 484 из 499.

Источники раздела:[1] Yibo Li et al. / arXiv

Для каждой группы исследователи посчитали, насколько показы сосредоточены вокруг небольшого числа доменов. Коэффициент Джини равен нулю при равномерном распределении и приближается к единице при сильной концентрации. Для китайского Baidu он составил 0,895, а самый частый домен получил 27,1% показов. Для китайского Google значения были 0,500 и 6,6%, для английского Google — 0,462 и 5,5%.

Другой показатель отвечает на иной вопрос: насколько совпадают сами списки доменов. Коэффициент Жаккара делит число общих доменов на число всех уникальных доменов двух списков. Он составил 0,034 между китайским и английским Google, 0,032 между китайскими Baidu и Google и 0,008 между китайским Baidu и английским Google. Низкое совпадение не говорит, какой список лучше, и не доказывает причину разницы.

• Концентрация показывает, насколько часто повторяются лидирующие домены.
• Совпадение показывает, какая доля уникальных доменов общая у двух групп.
• Ни один показатель не измеряет переходы, продажи или качество поддержки отдельного утверждения.

Источники раздела:[1] Yibo Li et al. / arXiv

Для 331 намерения, где ответы можно было сопоставить во всех трёх основных группах, авторы измерили смысловое сходство текста по шкале от нуля до единицы. Медиана составила 0,813 для китайских Google и Baidu, 0,791 для китайского и английского Google и 0,701 для английского Google и китайского Baidu. Это показывает заметную близость содержания, но не равенство фактов или доказательств.

Рядом с этим списки видимых доменов почти не совпадали. Поэтому две проверки нельзя заменять одной: сходство формулировок ответа не говорит, что система показала те же сайты, а совпадение домена не доказывает одинаковую поддержку каждого тезиса. Для практического аудита нужны отдельные поля для текста ответа, точных показанных адресов и того, подтверждает ли открытая страница соседнее утверждение.

• Сходство текста — не проверка фактической точности.
• Список доменов — не перечень страниц, поддержавших каждый тезис.
• Показ ссылки — не доказательство перехода пользователя.

Источники раздела:[1] Yibo Li et al. / arXiv

Авторы извлекали домены из ссылок, которые были видны рядом с AI-обзором, и убирали повторы одного домена внутри ответа. Они не наблюдали полный список найденных страниц, скрытые шаги поиска или внутреннюю причину выбора источника. Поэтому корректная формулировка — «домен был показан пользователю», а не «система использовала только эти источники».

Эта граница важна и для владельца сайта. Запрос робота в серверном журнале означает, что программа получила страницу в определённое время. Показанная ссылка означает, что адрес появился в конкретном интерфейсе. Упоминание бренда, поддержка утверждения, позиция в выдаче и переход человека — ещё четыре отдельных события. Их нельзя объединять в одно число видимости или восстанавливать одно событие по другому.

• Сохраняйте полный ответ и точный адрес каждой показанной страницы.
• Проверяйте, какое утверждение действительно поддерживает открытая страница.
• Если внутренний журнал платформы недоступен, помечайте полный путь поиска как неизвестный.

Источники раздела:[1] Yibo Li et al. / arXiv

Сначала зафиксируйте набор исходных запросов, правила перевода и допустимые различия терминов. Для каждого запуска сохраните платформу, язык запроса и интерфейса, страну, состояние аккаунта, режим продукта, дату, полный ответ и все показанные адреса. Повторяйте каждый запрос одинаковое заранее установленное число раз. Ошибка, отсутствие ответа, отсутствие AI-обзора и отсутствие ссылки получают разные отметки.

После сбора сравнивайте только сопоставимые группы. Отдельно покажите: долю запусков с обзором; число видимых доменов; долю лидирующих доменов; совпадение списков; сходство ответов; поддержку ключевых утверждений. У каждой доли должны быть исходное количество и общее число, например 41 из 50, а не только 82%. Затем перечислите исключённые запуски и объясните, почему они не вошли в расчёт.

• Не меняйте набор запросов между языками без отдельной отметки.
• Не объединяйте разные режимы продукта в одну долю.
• Сохраняйте исходный текст, перевод и правило сопоставления.
• Публикуйте условия, исключения и следующую проверку вместе с результатом.

Источники раздела:[1] Yibo Li et al. / arXiv

Допустимый вывод узкий: в одном сборе из Милана четыре сочетания платформы и языка по-разному показывали AI-обзоры и видимые домены; похожесть текста ответа не означала похожесть совокупного списка доменов. Исследование полезно как образец измерения нескольких сторон результата. Оно не отделяет влияние языка от влияния платформы, доступного поиска, интерфейса и других условий.

Нельзя утверждать, что перевод страницы повысит вероятность показа, что Google всегда разнообразнее Baidu или что для русских запросов повторятся те же числа. В исследовании не было русского языка, Яндекса, проверки переходов, продаж или формулы ранжирования. Следующий честный шаг — повторить заранее описанный опыт в нужной стране и на нужных платформах, сохранив те же запросы и правила подсчёта.

• Не переносите результат на русский язык и Яндекс без нового измерения.
• Не называйте наблюдаемую разницу причинным эффектом языка.
• Не обещайте рост ссылок, трафика или позиций после перевода.

Источники раздела:[1] Yibo Li et al. / arXiv