модель ответа — Answer model

Разные модели могут по-разному сокращать контекст, выбирать формулировки и отображать ссылки. Если смешать их результаты, изменение доли цитирования будет невозможно интерпретировать. Фиксируйте название, если его сообщает интерфейс, и не угадывайте версию по стилю текста.

Поиск документов и написание ответа — разные этапы. Модель может получить материалы из поиска, памяти, файла пользователя или нескольких источников. Поэтому, если она назвала страницу, это ещё не доказывает, что она сама нашла или прочитала её во время текущего запроса.

Сохраняйте продукт, режим, отображаемое имя модели, настройки, запрос, входные документы, ответ и время. Если часть цепочки скрыта, помечайте её как неизвестную. Такая честная неопределённость полезнее ложной точности и позволяет повторить эксперимент после обновления продукта.

Сделайте контрольный набор вопросов с одинаковыми источниками и проведите его в двух режимах. Сравните не только текст, но и факты, ссылки, оговорки и пропуски. Повторите запуск в другой день: стабильность результата — отдельное наблюдение, а не свойство, которое следует из названия модели.

Публичный интерфейс может скрывать выбор модели и обновлять её без изменения названия. Поэтому в открытом исследовании «модель ответа» часто означает только зафиксированный режим, а не доказанное описание внутренней системы. Это нужно прямо указывать в методике и не выдавать подпись интерфейса за технический факт. Также объясняйте, что именно читатель может проверить, а что остаётся скрытым. Одинаковое название модели в разные даты не гарантирует одинаковый способ формирования ответа.