модель ответа — Answer model

Разные модели могут по-разному сокращать контекст, выбирать формулировки и отображать ссылки. Если смешать их результаты, изменение доли цитирования будет невозможно интерпретировать. Фиксируйте название, если его сообщает интерфейс, и не угадывайте версию по стилю текста.

Поиск документов и генерация ответа — разные этапы. Ответная модель может получить контекст от поиска, памяти, пользовательского файла или нескольких источников. Поэтому факт, что модель назвала страницу, не доказывает, что она сама её нашла или прочитала в текущем запросе.

Сохраняйте продукт, режим, отображаемое имя модели, настройки, запрос, входные документы, ответ и время. Если часть цепочки скрыта, помечайте её как неизвестную. Такая честная неопределённость полезнее ложной точности и позволяет повторить эксперимент после обновления продукта.

Сделайте контрольный набор вопросов с одинаковыми источниками и проведите его в двух режимах. Сравните не только текст, но и факты, ссылки, оговорки и пропуски. Повторите запуск в другой день: стабильность результата — отдельное наблюдение, а не свойство, которое следует из названия модели.

Публичный интерфейс может скрывать маршрутизатор и обновлять модель без смены названия. Значит, answer model в публичном исследовании часто является меткой наблюдаемого режима, а не доказанным описанием внутренней системы. Это различие следует явно указывать в методологии и не превращать интерфейсную подпись в техническое утверждение. В публикации также важно объяснить, какие части наблюдения доступны читателю, а какие остаются закрытыми. Если провайдер скрывает маршрутизацию, одинаковое имя модели не гарантирует одинаковый answer model между датами.