MITR · прогресс по датам

Каждое число ниже выведено из артефакта на сервере и несёт дату замера. Ничего не введено руками. Ряды показаны целиком, включая провалы.

1. Пункты формулы, исполненные ЦЕЛИКОМ

Главный ряд: он про свойства, а не про объём. Статус каждого пункта выводится пробой по живому коду при каждой сборке — не пересказом. У пробы есть отрицательные ветки: 01.09 она показала 13 из 14, когда пункт просел.

1/14 (2026-07-31)  →  11/14 (2026-09-20)

2026-07-31 → 2026-09-20

источник: data/formula_report/report-2026-09-20.html и 49 суточных отчётов

2. Модульные тесты

4441 пройдено, 0 упало

замер 2026-09-20 00:40 UTC, источник: data/test_suite_state.json. Это число из артефакта суточного прогона, а не счёт «на глаз»: то, что нельзя открыть файлом с датой, на витрину не идёт. Ряд по датам копится с 04.09 — сейчас точек 1.

3. Набор кейсов: доля пройденных с первой попытки

91.7 % (2026-05-03)  →  89.9 % (2026-09-08)

2026-05-03 → 2026-09-08

Ряд показан целиком, включая просадки. Он почти не растёт — и это честный факт: набор был силён уже в мае, а работа трёх месяцев шла не в проценте прохождения, а в пунктах формулы выше.

источник: evals/history/tester_2026-09-08_06-32-41.jsonl и ещё 59 прогонов

4. Суточный аудит независимым грейдером

Ведётся непрерывно с 2026-06-22 — 86 суток. Зелёных 0 · красных 44 · недействительных 42.

«Недействительно» означает, что мерить было нечем или измеритель отказал — это не «чисто». 04.09 выяснилось, что часть таких суток была отказом судьи по лимиту запросов, а не отсутствием материала; теперь причина пишется в журнал отдельным полем.

источник: data/honesty_journal.jsonl

Чего НЕ достигнуто

• Серия из 30 зелёных суток подряд — 0. Это порог доказательства, и он не взят.
• Проверка исполненных действий не измеряется: шов есть и считает, но исполненных действий в окне не было — мерить нечего, и вердикт честно говорит «не измерено».
• Знаменатель мал. Система отвечает одному человеку, 2–3 вопроса в сутки, поэтому порог «≥3 фактических ответа» выполнялся редко. Арифметика при таком объёме жёсткая: при одном оценённом ответе один спорный вердикт судьи даёт показатель 100 %. Читателю стоит знать обе стороны этого: малый знаменатель делает и плохой день, и хороший статистически незначимым.
• Фабрикации есть, и они найдены на реальных вопросах. 04.09 три вопроса владельца за 02.09 были переоценены заново: вердикты — «обосновано», «фабрикация», «фабрикация». Чаще всего агент приукрашивает там, где его спрашивают о его собственном прогрессе. Мы публикуем это, потому что витрина, умалчивающая о таком, не стоит ничего.
• Часть недействительных суток была отказом измерителя, а не отсутствием вопросов. Судья упирался в лимит запросов, пара уходила из знаменателя, и сутки выглядели пустыми. Найдено 04.09, причина теперь пишется в журнал отдельным полем. До этой находки картина девятнадцать суток читалась неверно — нами же.

Этот блок стоит рядом с достижениями намеренно. Витрина без него была бы рекламой; предмет проекта — доказательство, а доказательство обязано называть свои дыры. Ряд собран 2026-09-20 05:05:54 UTC.