Суть. Эталонный набор — это 50–300 реальных запросов пользователей с правильными ответами или критериями правильности, которые проверили эксперты. Каждое изменение — новая модель, промпт, настройка поиска — прогоняется по набору, и команда видит, стало ли лучше. Без набора споры о качестве ИИ сводятся к впечатлениям и отдельным примерам.
Какую боль решает
Команда меняет промпт, кому-то кажется, что стало лучше, а через неделю пользователи жалуются на ошибки в другом типе вопросов.
- Качество оценивают на трёх примерах
- Изменения ломают то, что работало
- Нет цифры качества
Ваш ли это случай
Проверьте ситуацию до того, как тратить время на рамку. Если ваш случай в правой колонке — возьмите указанную альтернативу.
| Ситуация | Подходит? | Что взять вместо |
|---|---|---|
| Ассистенты, поиск по базе знаний, извлечение данных | Да | — |
| Любой ИИ в продакшене | Да | — |
| Творческие задачи без правильного ответа | Частично | Критерии и экспертная оценка |
| Разовый эксперимент | Частично | Небольшой набор |
Как устроено
| Элемент | Как сделать |
|---|---|
| Источник примеров | Реальные запросы пользователей, а не придуманные |
| Покрытие | Типичные, сложные и пограничные случаи; вопросы без ответа |
| Эталон | Правильный ответ или критерии, проверенные экспертом |
| Метрики | Точность, полнота, доля честных «не знаю», соответствие формату |
| Процесс | Прогон перед каждой выкаткой, пополнение набора новыми ошибками |
Как применять
- Соберите 50–100 реальных запросов разных типов.
- Попросите экспертов дать эталонные ответы или критерии.
- Добавьте вопросы, на которые правильный ответ — «нет данных».
- Определите метрики и порог допустимого качества.
- Прогоняйте набор перед каждым изменением.
- Добавляйте в набор каждую найденную ошибку.
Пример: ассистент по базе знаний
Команда собрала 150 реальных вопросов сотрудников с ответами экспертов. Переход на новую модель поднял точность на типичных вопросах, но снизил долю честных «не знаю» — модель начала придумывать. Без набора это заметили бы только по жалобам.
Где ломается
| Симптом | Причина | Что делать |
|---|---|---|
| Придуманные примеры | Нет доступа к реальным | Собирать из журналов |
| Набор не обновляется | Разовая работа | Добавлять ошибки из эксплуатации |
| Одна метрика | Простота | Несколько метрик, включая «не знаю» |
До и после
Рамка редко работает одна. Вот что обычно стоит перед ней и что после.
| Этап | Что делаем | Чем |
|---|---|---|
| До | Сценарий | Приоритизация сценариев ИИ |
| Вместе | Оценка | Оценка LLM |
| После | Эксплуатация | LLMOps |
Частые вопросы
Отпечаток текста f79c559a2584… · проверить подлинность