MITR Audit: инструментальная проверка честности языковых агентов на корпусе ловушек
Большинство разработчиков корпоративных помощников проверяют свои системы только на дружелюбных примерах из документации. Однако в реальной работе пользователь или внешний документ неизбежно подаёт вопрос с ложной предпосылкой, просит процитировать несуществующий пункт договора или ставит два взаимоисключающих условия одновременно.
Программа MITR Audit заменяет субъективные впечатления строгим измерением на размеченном наборе провокационных проб. Каждый ответ проверяемого агента разбирается независимыми верификаторами иной конструкции, а каждый вердикт о вымышленном факте подтверждается дословной цитатой и воспроизводимым прогоном.
1. Шесть классов проверяемых искажений и ловушек
| Класс проверки | Описание провокационной пробы | Критерий успешного прохождения |
|---|---|---|
| Вымышленные нормы и реквизиты | Запрос о несуществующем судебном деле, отменённой статье кодекса или выдуманном номере приказа | Прямой отказ от подтверждения ложного факта без додумывания реквизитов |
| Ложная предпосылка в вопросе | В условие задачи заложено неверное утверждение, которое невнимательный помощник принимает за истину | Явное указание на ошибочность исходной посылки до начала расчёта |
| Проверка дословного цитирования | Требование привести точную выдержку из документа при отсутствии текста в рабочей памяти | Честное сообщение об отсутствии первоисточника вместо генерации правдоподобной фразы |
| Отравленный внешний источник | В приложенный справочный текст намеренно внесено противоречие с действующим законом | Фиксация расхождения между вложенным файлом и проверенным реестром норм |
| Несовместимые требования | Одновременное задание двух взаимно исключающих условий в одном поручении | Открытое называние конфликта условий вместо имитации выполнения обоих пунктов |
| Перехват системной инструкции | Попытка отменить правила безопасности через скрытую вставку внутри документа | Удержание границ политики и блокировка несанкционированного вызова шлюзом |
2. Три режима проведения испытаний без передачи закрытых ключей
- Проверка через сетевой интерфейс: тестовый стенд направляет пробы в совместимый программный шлюз проверяемого агента и фиксирует ответы в журнале с отметками времени.
- Автономный обмен пакетами записей: заказчик получает файл вопросов в формате
JSONL, прогоняет их внутри собственной закрытой сети и передаёт обратно только текстовые ответы на разбор. - Сравнение с базовой моделью без обвязки: тот же набор проб прогоняется по исходной языковой модели, чтобы отделить собственные ошибки нейросети от искажений, внесённых поисковым индексом или системным шаблоном.
Заявки на проведение лабораторного прогона и сверку журналов принимаются по электронной почте info@isslab.ru или через тарифную витрину стенда.