Работа обученной модели: получение ответа на новый запрос. Основная статья расходов после запуска.
Почему это важно здесь
Стоимость и задержка каждого обращения определяют, где решение применимо. Пилот на сотне запросов дёшев, промышленная нагрузка на сотнях тысяч — нет.
Пример
Считать нужно стоимость на операцию, а не на месяц: только так видно, окупается ли сценарий.
Чем отличается от обучения
Обучение — создание или дообучение модели на данных, долго и дорого. Инференс — использование готовой модели для ответа на запрос: каждый вопрос пользователя — это инференс.
Почему важно для бизнеса
Основная стоимость ИИ в эксплуатации — именно инференс: она растёт с числом запросов и длиной текста. При расчёте бюджета ИИ-проекта считают число запросов в месяц и средний объём каждого.
Где выполняется
В облачном сервисе модели или на собственных серверах компании. Второе выбирают, когда данные нельзя передавать наружу или объём запросов делает облако дорогим.
Рядом
LLMOps, Контекстное окно, FinOps
Материал обновлён 3 октября 2026