---
title: "Эталонный набор для оценки ИИ (golden dataset)"
url: "https://kzsaleshub.com/framework/golden-dataset/"
type: "framework"
category: "AI и данные"
language: "ru"
source: "KZSalesHub"
published: "2026-11-14"
last_updated: "2026-11-14"
---

# Эталонный набор для оценки ИИ (golden dataset)

**Суть.** Эталонный набор — это 50–300 реальных запросов пользователей с правильными ответами или критериями правильности, которые проверили эксперты. Каждое изменение — новая модель, промпт, настройка поиска — прогоняется по набору, и команда видит, стало ли лучше. Без набора споры о качестве ИИ сводятся к впечатлениям и отдельным примерам.

## Какую боль решает

Команда меняет промпт, кому-то кажется, что стало лучше, а через неделю пользователи жалуются на ошибки в другом типе вопросов.

- Качество оценивают на трёх примерах
- Изменения ломают то, что работало
- Нет цифры качества

## Ваш ли это случай

Проверьте ситуацию до того, как тратить время на рамку. Если ваш случай в правой колонке — возьмите указанную альтернативу.

| Ситуация | Подходит? | Что взять вместо |
| --- | --- | --- |
| Ассистенты, поиск по базе знаний, извлечение данных | Да | — |
| Любой ИИ в продакшене | Да | — |
| Творческие задачи без правильного ответа | Частично | Критерии и экспертная оценка |
| Разовый эксперимент | Частично | Небольшой набор |

## Как устроено

| Элемент | Как сделать |
| --- | --- |
| Источник примеров | Реальные запросы пользователей, а не придуманные |
| Покрытие | Типичные, сложные и пограничные случаи; вопросы без ответа |
| Эталон | Правильный ответ или критерии, проверенные экспертом |
| Метрики | Точность, полнота, доля честных «не знаю», соответствие формату |
| Процесс | Прогон перед каждой выкаткой, пополнение набора новыми ошибками |

## Как применять

1. Соберите 50–100 реальных запросов разных типов.
2. Попросите экспертов дать эталонные ответы или критерии.
3. Добавьте вопросы, на которые правильный ответ — «нет данных».
4. Определите метрики и порог допустимого качества.
5. Прогоняйте набор перед каждым изменением.
6. Добавляйте в набор каждую найденную ошибку.

## Пример: ассистент по базе знаний

Команда собрала 150 реальных вопросов сотрудников с ответами экспертов. Переход на новую модель поднял точность на типичных вопросах, но снизил долю честных «не знаю» — модель начала придумывать. Без набора это заметили бы только по жалобам.

## Где ломается

| Симптом | Причина | Что делать |
| --- | --- | --- |
| Придуманные примеры | Нет доступа к реальным | Собирать из журналов |
| Набор не обновляется | Разовая работа | Добавлять ошибки из эксплуатации |
| Одна метрика | Простота | Несколько метрик, включая «не знаю» |

## До и после

Рамка редко работает одна. Вот что обычно стоит перед ней и что после.

| Этап | Что делаем | Чем |
| --- | --- | --- |
| До | Сценарий | [Приоритизация сценариев ИИ](https://kzsaleshub.com/framework/ai-use-case-prioritization/) |
| Вместе | Оценка | [Оценка LLM](https://kzsaleshub.com/framework/llm-evaluation/) |
| После | Эксплуатация | [LLMOps](https://kzsaleshub.com/framework/llmops/) |

## Частые вопросы

**Сколько примеров нужно?**

Для старта 50–100, для зрелой системы — несколько сотен по типам запросов.

**Можно ли оценивать моделью вместо людей?**

Да, как дополнение; эталон и выборочную проверку делают люди.

**Как часто прогонять?**

Перед каждым изменением и регулярно в эксплуатации.

---
Источник: https://kzsaleshub.com/framework/golden-dataset/