{ "@context": "https://schema.org", "@type": "Article", "schema_version": "1.1", "content_item_id": "cross-language-ai-search-measurement.ru", "translation_group_id": "cross-language-ai-search-measurement", "locale": "ru", "type": "guide", "section": "knowledge", "slug": "cross-language-ai-search-measurement", "title": "Как сравнивать AI-поиск на разных языках, не путая язык и платформу", "description": "Практический протокол для сравнения переведённых запусков AI-поиска: что считать, какие условия сохранять и почему разницу нельзя сразу объяснять языком.", "direct_answer": "Переведённые запросы нужно сравнивать как четыре отдельных сочетания платформы и языка, а не как чистую проверку влияния языка. В исследовании Baidu и Google один набор из 500 запросов дал 1 998 наблюдений, но одновременно менялись поисковая система, язык запроса и доступная среда источников. Поэтому отдельно считайте появление AI-обзора, показанные домены, их концентрацию, совпадение между группами и сходство текста ответа. Всегда сохраняйте страну, состояние аккаунта, интерфейс, период сбора и абсолютные числа. Показанный домен — это только видимая часть ответа, а результаты из Милана нельзя автоматически переносить на русский язык или Яндекс.", "sections": [ { "heading": "1. Какую ошибку предотвращает этот протокол", "paragraphs": [ "Один и тот же смысл запроса на двух языках не создаёт два одинаковых опыта с заменой только одного слова. Поисковик может использовать другой набор доступных сайтов, по-разному показывать AI-обзор и учитывать язык интерфейса, страну, состояние аккаунта и время запуска. Если эти условия не записаны, фраза «язык изменил результат» скрывает сразу несколько возможных причин.", "Полезная единица сравнения — конкретное сочетание платформы, языка и условий сбора. Сначала редакция описывает, что именно увидела, а уже затем предлагает объяснение. Такой порядок оставляет результат проверяемым: другой исследователь понимает, что нужно повторить, а владелец сайта не получает ложного обещания, будто перевод страницы сам по себе изменит видимость." ], "bullets": [ "Наблюдение: что показал интерфейс в заданных условиях.", "Вывод: осторожное объяснение нескольких наблюдений.", "Гипотеза: причина, которую ещё нужно проверить отдельно." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] }, { "heading": "2. Что именно сделали авторы исследования", "paragraphs": [ "Авторы взяли 500 английских запросов из набора MS MARCO и перевели их на упрощённый китайский с помощью машинного перевода Google. Затем проверили четыре условия: Baidu на китайском, Baidu на английском, Google на китайском и Google на английском. Из-за двух пропущенных записей Google итоговый массив содержит 1 998 наблюдений: 500, 500, 499 и 499.", "Сбор шёл с 20 июня по 10 июля 2026 года из Милана через Chrome и Playwright. В Google исследователь был авторизован, интерфейс был английским; Baidu использовался с китайским интерфейсом. Режим инкогнито, виртуальная частная сеть и посредник для смены адреса не применялись. Эти детали входят в результат, а не являются неважной технической сноской." ], "bullets": [ "Основа: 500 намерений пользователя.", "Языки запросов: английский и упрощённый китайский.", "Платформы: Baidu и Google.", "Всего: 1 998 наблюдений в четырёх группах." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] }, { "heading": "3. Сначала считайте появление AI-обзора", "paragraphs": [ "В китайской группе Baidu обзор появился в 410 из 500 запусков, то есть в 82%. В английской группе Baidu он появился только в 20 из 500 запусков, или в 4%. Google показал обзор в 487 из 499 китайских запусков и в 484 из 499 английских — 97,6% и 97,0%. Эти доли описывают доступность функции в исследованных условиях, а не качество ответа.", "Авторы исключили английскую группу Baidu из дальнейшего разбора тем и источников: двадцати успешных случаев недостаточно для равного сравнения с группами по четыре сотни ответов. Это важный пример редакционного решения. Нельзя складывать ошибки, отсутствие функции и ответы без ссылок в один ноль. Сначала показывают, сколько запусков было запланировано, сколько состоялось и сколько действительно содержало нужный элемент." ], "bullets": [ "Baidu, китайский: 410 из 500.", "Baidu, английский: 20 из 500; дальше не сравнивался как полная группа.", "Google, китайский: 487 из 499.", "Google, английский: 484 из 499." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] }, { "heading": "4. Затем отделяйте концентрацию от совпадения доменов", "paragraphs": [ "Для каждой группы исследователи посчитали, насколько показы сосредоточены вокруг небольшого числа доменов. Коэффициент Джини равен нулю при равномерном распределении и приближается к единице при сильной концентрации. Для китайского Baidu он составил 0,895, а самый частый домен получил 27,1% показов. Для китайского Google значения были 0,500 и 6,6%, для английского Google — 0,462 и 5,5%.", "Другой показатель отвечает на иной вопрос: насколько совпадают сами списки доменов. Коэффициент Жаккара делит число общих доменов на число всех уникальных доменов двух списков. Он составил 0,034 между китайским и английским Google, 0,032 между китайскими Baidu и Google и 0,008 между китайским Baidu и английским Google. Низкое совпадение не говорит, какой список лучше, и не доказывает причину разницы." ], "bullets": [ "Концентрация показывает, насколько часто повторяются лидирующие домены.", "Совпадение показывает, какая доля уникальных доменов общая у двух групп.", "Ни один показатель не измеряет переходы, продажи или качество поддержки отдельного утверждения." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] }, { "heading": "5. Похожий ответ может опираться на другой видимый список", "paragraphs": [ "Для 331 намерения, где ответы можно было сопоставить во всех трёх основных группах, авторы измерили смысловое сходство текста по шкале от нуля до единицы. Медиана составила 0,813 для китайских Google и Baidu, 0,791 для китайского и английского Google и 0,701 для английского Google и китайского Baidu. Это показывает заметную близость содержания, но не равенство фактов или доказательств.", "Рядом с этим списки видимых доменов почти не совпадали. Поэтому две проверки нельзя заменять одной: сходство формулировок ответа не говорит, что система показала те же сайты, а совпадение домена не доказывает одинаковую поддержку каждого тезиса. Для практического аудита нужны отдельные поля для текста ответа, точных показанных адресов и того, подтверждает ли открытая страница соседнее утверждение." ], "bullets": [ "Сходство текста — не проверка фактической точности.", "Список доменов — не перечень страниц, поддержавших каждый тезис.", "Показ ссылки — не доказательство перехода пользователя." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] }, { "heading": "6. Что означает показанный домен", "paragraphs": [ "Авторы извлекали домены из ссылок, которые были видны рядом с AI-обзором, и убирали повторы одного домена внутри ответа. Они не наблюдали полный список найденных страниц, скрытые шаги поиска или внутреннюю причину выбора источника. Поэтому корректная формулировка — «домен был показан пользователю», а не «система использовала только эти источники».", "Эта граница важна и для владельца сайта. Запрос робота в серверном журнале означает, что программа получила страницу в определённое время. Показанная ссылка означает, что адрес появился в конкретном интерфейсе. Упоминание бренда, поддержка утверждения, позиция в выдаче и переход человека — ещё четыре отдельных события. Их нельзя объединять в одно число видимости или восстанавливать одно событие по другому." ], "bullets": [ "Сохраняйте полный ответ и точный адрес каждой показанной страницы.", "Проверяйте, какое утверждение действительно поддерживает открытая страница.", "Если внутренний журнал платформы недоступен, помечайте полный путь поиска как неизвестный." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] }, { "heading": "7. Протокол собственного двуязычного сравнения", "paragraphs": [ "Сначала зафиксируйте набор исходных запросов, правила перевода и допустимые различия терминов. Для каждого запуска сохраните платформу, язык запроса и интерфейса, страну, состояние аккаунта, режим продукта, дату, полный ответ и все показанные адреса. Повторяйте каждый запрос одинаковое заранее установленное число раз. Ошибка, отсутствие ответа, отсутствие AI-обзора и отсутствие ссылки получают разные отметки.", "После сбора сравнивайте только сопоставимые группы. Отдельно покажите: долю запусков с обзором; число видимых доменов; долю лидирующих доменов; совпадение списков; сходство ответов; поддержку ключевых утверждений. У каждой доли должны быть исходное количество и общее число, например 41 из 50, а не только 82%. Затем перечислите исключённые запуски и объясните, почему они не вошли в расчёт." ], "bullets": [ "Не меняйте набор запросов между языками без отдельной отметки.", "Не объединяйте разные режимы продукта в одну долю.", "Сохраняйте исходный текст, перевод и правило сопоставления.", "Публикуйте условия, исключения и следующую проверку вместе с результатом." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] }, { "heading": "8. Какой вывод допустим, а какой нет", "paragraphs": [ "Допустимый вывод узкий: в одном сборе из Милана четыре сочетания платформы и языка по-разному показывали AI-обзоры и видимые домены; похожесть текста ответа не означала похожесть совокупного списка доменов. Исследование полезно как образец измерения нескольких сторон результата. Оно не отделяет влияние языка от влияния платформы, доступного поиска, интерфейса и других условий.", "Нельзя утверждать, что перевод страницы повысит вероятность показа, что Google всегда разнообразнее Baidu или что для русских запросов повторятся те же числа. В исследовании не было русского языка, Яндекса, проверки переходов, продаж или формулы ранжирования. Следующий честный шаг — повторить заранее описанный опыт в нужной стране и на нужных платформах, сохранив те же запросы и правила подсчёта." ], "bullets": [ "Не переносите результат на русский язык и Яндекс без нового измерения.", "Не называйте наблюдаемую разницу причинным эффектом языка.", "Не обещайте рост ссылок, трафика или позиций после перевода." ], "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ] } ], "published_at": "2026-09-28", "modified_at": "2026-09-28", "data_through": "2026-07-10", "next_review_at": "2026-10-28", "author": "GeoAeoAle Editorial", "origin": "editorial", "topics": [ "cross-language-search", "source-exposure", "measurement", "research-method" ], "publisher": "GeoAeoAle Editorial", "license": "https://creativecommons.org/licenses/by/4.0/", "canonical_url": "https://geoaeoale.com/ru/knowledge/cross-language-ai-search-measurement/", "claims": [ { "claim_id": "study-design", "text": "Исследование использовало 500 английских запросов MS MARCO и их перевод на упрощённый китайский, два поисковика и четыре сочетания платформы и языка; всего получилось 1 998 наблюдений.", "status": "observed", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" }, { "claim_id": "overview-availability", "text": "AI-обзор появился в 410 из 500 китайских запусков Baidu, 20 из 500 английских запусков Baidu, 487 из 499 китайских запусков Google и 484 из 499 английских запусков Google.", "status": "observed", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" }, { "claim_id": "host-concentration", "text": "Видимые домены в китайских ответах Baidu были заметно сильнее сосредоточены вокруг небольшого числа сайтов, чем в китайских и английских ответах Google в этой выборке.", "status": "observed", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" }, { "claim_id": "host-overlap", "text": "Совпадение совокупных списков видимых доменов между сравниваемыми группами было низким: от 0,008 до 0,034 по коэффициенту Жаккара.", "status": "observed", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" }, { "claim_id": "answer-similarity", "text": "Для 331 совпавшего намерения медианное смысловое сходство текстов ответов составляло от 0,701 до 0,813, хотя видимые домены почти не совпадали.", "status": "observed", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" }, { "claim_id": "visible-host-limit", "text": "Авторы собирали только домены, показанные в интерфейсе ответа, поэтому эти данные не являются полным журналом найденных или использованных страниц.", "status": "observed", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" }, { "claim_id": "no-pure-language-effect", "text": "Наблюдаемую разницу нельзя объяснить только языком, потому что исследование не отделяло независимое влияние языка от влияния платформы и среды сбора.", "status": "inference", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" }, { "claim_id": "no-russian-transfer", "text": "Полученные числа не доказывают такой же результат для русских запросов, Яндекса, другой страны или будущей версии платформы.", "status": "inference", "confidence": "high", "source_ids": [ "arxiv-cross-language-source-exposure-2026-09-21" ], "publication_status": "public", "confidentiality": "public" } ], "sources": [ { "source_id": "arxiv-cross-language-source-exposure-2026-09-21", "canonical_url": "https://arxiv.org/html/2609.24407v1", "title": "Auditing Source Exposure in Baidu and Google AI Search", "publisher": "Yibo Li et al. / arXiv", "source_type": "primary-research", "locale": "en", "published_at": null, "checked_at": "2026-09-28", "sha256": "392e5ef5c247c5932c63bd77037e839bad3352f89a2981be95aa90ce8a2bfb5a", "license": "arXiv.org perpetual non-exclusive license", "visibility": "public" } ], "related_slugs": [ "measuring-ai-visibility", "visible-links-search-record", "query-fan-out", "google-ai-search", "yandex-alice" ], "limitations": [ "Исследование использовало машинный перевод английских запросов, а не независимо написанные носителями китайские формулировки.", "Сбор проходил из Милана в одном временном окне; другая страна, дата, учётная запись или версия интерфейса могут дать другой результат.", "Google использовался с авторизованной учётной записью и английским интерфейсом, а Baidu — с китайским интерфейсом, поэтому условия не были полностью одинаковыми.", "Английская группа Baidu дала только 20 AI-обзоров из 500 запусков и была исключена из подробного сравнения источников.", "Извлекались видимые домены, а не точные роли каждой страницы и не полный внутренний путь поиска.", "Исследование не измеряло фактическую точность, качество источников, переходы, продажи, формулу позиций или причинное влияние языка." ], "corrections": [] }