promptfoo прогоняет ваши подсказки по набору тестов и показывает, стала ли новая версия лучше или хуже. Заодно проверяет приложение на попытки обхода ограничений.
Что это
Утилита для проверки подсказок и приложений на моделях. Описываете набор тестовых случаев с ожидаемым поведением, и она прогоняет их по разным моделям и версиям подсказок, показывая сравнение.
Какую задачу закрывает
Правка подсказки — это изменение поведения продукта, но обычно её делают без тестов: поменяли, посмотрели один ответ, выкатили. Так неизбежно ломается то, что работало. promptfoo превращает подсказки в код, который можно тестировать.
Кому подходит, а кому нет
- Подходит: Командам, у которых подсказки влияют на пользователей
- Подходит: Тем, кто сравнивает несколько моделей для одной задачи
- Подходит: Проектам с требованиями к безопасности AI-функций
- Не подходит: Разовым экспериментам
- Не подходит: Тем, у кого нет набора эталонных примеров — сначала соберите его
Как проверить за час
- Соберите двадцать реальных запросов пользователей с эталонными ответами
- Опишите их как тестовые случаи
- Прогоните текущую подсказку и запишите результат как базовый
- Внесите правку и посмотрите, что улучшилось, а что сломалось
Частые вопросы
Если вы правите подсказки чаще раза в месяц, тесты окупятся. Собирать набор эталонных примеров скучно, но это единственное, что превращает подбор промтов в инженерию.