Reddit Answers чаще сохраняет заметные голоса — и ослабляет личный опыт

Исследователи взяли 10 000 коротких запросов, созданных на основе реальных постов из 20 сообществ Reddit о финансах, поддержке, важных советах и жизненных решениях. Половина сообществ была крупной, половина — меньшей и более нишевой. Каждый запрос отправляли в Reddit Answers три раза с интервалом примерно пять часов. Всего получилось 30 000 ответов.

Для найденных системой материалов авторы собрали полные ветки обсуждений через официальный API Reddit. Итоговый корпус содержал 337 690 обсуждений и 14,68 млн комментариев из 8 590 сообществ. Такая схема позволяет смотреть не только на готовый текст, но и на три разных этапа: какие посты нашли, какие комментарии выбрали и как их переписали в итоговую сводку.

• 10 000 запросов и три повтора каждого запуска.
• 20 исходных сообществ: 10 крупных и 10 небольших.
• Измерялся путь от поиска источников до итогового текста.

Источники раздела:[1] arXiv

Для крупных сообществ полностью одинаковый набор найденных постов повторился в 41,8% пар запусков. Для небольших сообществ показатель составил 24,6%. Если набор не совпадал полностью, пересечение источников часто было слабым. Значит, один запуск не показывает устойчивый список материалов, которые система считает подходящими.

При этом готовые ответы оставались похожими по смыслу: медианная близость текстов была 0,91 для крупных и 0,89 для небольших сообществ. Читатель может видеть почти одинаковую формулировку, хотя основание ответа изменилось. Поэтому стабильный тон нельзя использовать как замену проверке ссылок и повторным запускам.

• Одинаковый текст не означает одинаковые источники.
• Небольшие сообщества в этой выборке дали менее стабильный поиск.
• Для аудита нужен набор повторов, а не один скриншот.

Источники раздела:[1] arXiv

Типичный ответ охватывал примерно семь разных сообществ. Только 17,7% найденных постов в группе крупных сообществ и 15,7% в группе небольших пришли из того сообщества, где появился исходный пост. Авторы не называют возврат в исходное сообщество идеальной целью: показатель нужен как ориентир, чтобы увидеть масштаб смешивания контекста.

Такое объединение может расширить набор полезных примеров, но одновременно меняет рамку. Нормы одного сообщества, местные условия или особенности аудитории могут раствориться, когда материалы из разных мест превращаются в один уверенно звучащий ответ. На странице с AI-сводкой поэтому важно показывать не только список ссылок, но и происхождение каждого фрагмента.

Источники раздела:[1] arXiv

Самым сильным признаком выбора была уже накопленная заметность комментария внутри ветки. Рост его положения по внутреннему рейтингу на одно стандартное отклонение был связан с увеличением шансов выбора в 2,88 раза. Комментарий первого уровня имел в 1,97 раза более высокие шансы, чем ответы глубже в ветке. Медианное положение выбранных комментариев составило 0,91 против 0,45 у пропущенных.

Это отношения шансов, а не обещанная вероятность для отдельного комментария. Исследование наблюдательное: оно показывает устойчивую связь, но не доказывает, что изменение одного признака само по себе вызовет выбор. Практический смысл уже виден без причинного обещания: AI-слой наследует заметность, которую раньше создали порядок публикации, голоса и структура обсуждения.

• Популярность внутри ветки была связана с последующим выбором.
• Ранние и верхнеуровневые комментарии проходили чаще.
• Результат нельзя превращать в совет искусственно накручивать голоса.

Источники раздела:[1] arXiv

Увеличение формальности текста на одно стандартное отклонение было связано с ростом шансов выбора на 49%: отношение шансов составило 1,488. Для речи о собственном опыте отношение шансов было 0,789, то есть такая форма встречалась среди выбранных комментариев реже. После учёта рейтинга и позиции отрицательная связь сохранилась — 0,860.

Это не значит, что личные истории бесполезны или что каждый автор должен писать канцеляритом. Работа показывает, что форма подачи может стать отдельным фильтром поверх уже существующей заметности. Если продукт обещает доступ к опыту людей, его качество нельзя оценивать только по гладкости и краткости сводки: нужно проверять, сохранились ли разные типы свидетельств.

Источники раздела:[1] arXiv

В цитируемых комментариях местоимения первого лица единственного числа составляли 3,3% токенов. В ответах Reddit Answers их доля снизилась до 0,06%. Авторы описывают двухступенчатый эффект: сообщения о собственном опыте реже проходят выбор, а у тех, что прошли, итоговая сводка дополнительно ослабляет признаки личного свидетельства.

Факт может остаться похожим, но его статус меняется для читателя. Фраза «у меня это сработало» сообщает границу опыта одного человека; без первого лица она может звучать как общий совет. Поэтому точность AI-сводки включает не только совпадение факта, но и сохранение типа доказательства — личного случая, общего правила, официального документа или предположения.

Источники раздела:[1] arXiv

Для аудита разделяйте три слоя. Сначала сохраните найденные посты и сообщества. Затем отметьте, какие комментарии система процитировала или пересказала. Наконец, сопоставьте готовые утверждения с исходными словами и запишите, был ли личный опыт превращён в безличный совет. Один общий показатель «качество ответа» скроет место, где именно потерялась перспектива.

Повторяйте одинаковые запросы и считайте пересечение источников между запусками. Показывайте читателю не только среднее, но и разброс. Для материалов о здоровье, деньгах и жизненных решениях отдельно проверяйте, представлены ли разные позиции и можно ли вернуться к исходному контексту. Это редакционная рекомендация GeoAeoAle, выведенная из метода исследования, а не заявленный Reddit фактор ранжирования.

• Поиск источников, выбор комментариев и переписывание — разные проверки.
• Схожесть итогового текста не заменяет сравнение источников.
• Цитата должна сохранять происхождение и тип свидетельства.

Источники раздела:[1] arXiv