Эксперимент: как отличить шум HTML от изменения документации

Эксперимент отделяет технический шум от содержательного изменения. Шум — это разница в исходном коде, которая не меняет видимый тезис, дату, ссылку или структуру документа. Содержательное изменение добавляет, удаляет или исправляет факт, название объекта, ссылку, дату либо ограничение и поэтому может изменить понимание читателя. Это правило нужно записать до просмотра результатов, чтобы не подгонять оценку под понравившийся пример.

Источники раздела:[2] Google Search Central

Для пилота подходят общедоступные страницы, например Google Search Central и официальная документация о поисковых роботах. Для каждой страницы сохраните время проверки по UTC, код ответа сервера, тип файла, конечный адрес после перенаправлений, размер ответа, контрольную сумму и копию страницы. Не включайте закрытые клиентские материалы, файлы cookie, токены доступа, персональные данные или внутренние журналы. Вместе с методом опубликуйте список адресов и описание каждого сохранённого снимка.

Источники раздела:[1] Google Search Central

Загрузите код страницы обычной программой, которая честно указывает своё название серверу, и отдельно сохраните технические заголовки ответа. Проверьте robots.txt и условия использования источника; не обходите ограничения. Для повторения эксперимента нужны адрес страницы, команда или скрипт, дата, часовой пояс, все перенаправления и контрольная сумма файла. Снимок пригоден, если другой исследователь может открыть тот же публичный адрес и понять, из каких исходных данных получилось различие.

Источники раздела:[3] OpenAI Developers

Сначала сравните файлы целиком. Затем повторите сравнение после удаления заранее известных служебных значений: времени сборки, одноразовых идентификаторов и меток отслеживания. На третьем уровне сравните видимый текст, сохранив заголовки, списки и ссылки. На четвёртом — отдельно сравните названные объекты, тезисы, даты и внешние ссылки. Все правила удаления должны давать одинаковый результат при повторном запуске и иметь номер версии. Нельзя удалять всё незнакомое: правило, которое стирает настоящее предложение, скрывает важное изменение.

Источники раздела:[2] Google Search Central

Этот материал не сообщает долю важных изменений. Его результат — воспроизводимый способ найти фрагменты, которые нужно проверить. Два редактора независимо помечают каждое различие как технический шум, содержательное изменение или неясный случай и приводят изменившийся фрагмент. Расхождения разбирает третий редактор либо правило, записанное до начала проверки. Отдельно отмечайте различия, заметные только в исходном файле, и различия, которые остаются после всех этапов очистки.

Источники раздела:[2] Google Search Central

Без повторных снимков нельзя оценить, как часто появляется технический шум и насколько точно правило отделяет его от важных изменений. Динамическая загрузка, эксперимент с разными версиями страницы, страна пользователя, ограничение частоты запросов, сеть доставки и персонализация могут дать разные копии одной страницы. Автоматическое удаление времени может по ошибке стереть важную дату. Контрольная сумма доказывает, что файлы различаются, но не объясняет смысл различия. Даже подтверждённое изменение документации не доказывает, что AI-сервис обновил свои данные или стал показывать другую ссылку.

Источники раздела:[3] OpenAI Developers

1) Возьмите опубликованный список страниц. 2) Сохраните их в два заранее назначенных промежутка времени по UTC. 3) Проверьте коды ответов сервера, перенаправления и контрольные суммы файлов. 4) Примените ту же версию правил очистки. 5) Сравните четыре уровня данных. 6) Проведите независимую ручную оценку и сохраните решения редакторов. 7) Опубликуйте исходные снимки, очищенные версии, код, версии зависимостей и журнал ошибок. После этого можно добавить контрольные страницы и посчитать, как часто редакторы согласны друг с другом. Числа появляются только после реального запуска.

Источники раздела:[2] Google Search Central

Сначала программа сохраняет страницу и описание снимка. Затем отдельный шаг извлекает заголовки, текст, ссылки и даты. Третий шаг применяет правила очистки, четвёртый находит различия, а редакторы дают им оценку. Каждый шаг записывает версию инструмента, контрольную сумму входного файла и время запуска. Если страница недоступна, не подменяйте её новым адресом без записи: пропуск должен остаться видимым. Повторный запуск с тем же списком страниц не должен создавать лишние копии.

Источники раздела:[2] Google Search Central[3] OpenAI Developers

До анализа настоящих страниц создайте небольшой набор контрольных файлов. В один добавьте время сборки, одноразовый идентификатор и метку отслеживания. В другом измените предложение, заголовок, ссылку и важную дату. В третьем используйте динамическое меню. Ожидаемый результат запишите заранее: технический шум исчезает, а изменения смысла остаются. Проверяйте не только найденные различия, но и опасные пропуски. Любое изменение правил получает новый номер версии и повторную проверку контрольного набора.

Источники раздела:[2] Google Search Central

В публикации покажите четыре вещи отдельно: отличаются ли исходные файлы; осталось ли различие после очистки; как его оценили редакторы; может ли оно изменить понимание читателя или выбор источника системой. Последний пункт нельзя автоматически вывести из разницы файлов. Приведите изменившийся фрагмент, адрес страницы, время и уровень сравнения, на котором найдено отличие. Если редакторы не согласны, оставьте результат неясным. Такой формат помогает понять, какую страницу нужно прочитать и проверить, не создавая видимость точности, которой у метода нет.

Источники раздела:[3] OpenAI Developers[4] Microsoft Learn

Минимальный пакет для повторения эксперимента включает список страниц, исходные ответы серверов, очищенный текст, сравнение по четырём уровням, настройки и журнал решений редакторов. Для каждого файла сохраните контрольную сумму, время и версию формата. Не заменяйте старый снимок пересохранённой страницей: это уже новый файл с новой историей происхождения. Если публикуете фрагмент документации, проверьте лицензию и допустимый объём цитаты. Перечислите недоступные страницы, ошибки извлечения текста и ручные исправления. Тогда следующий исследователь увидит не только итог, но и места, где метод мог ошибиться.

Источники раздела:[2] Google Search Central[3] OpenAI Developers