Инференс

Работа обученной модели: получение ответа на новый запрос. Основная статья расходов после запуска.

Почему это важно здесь

Стоимость и задержка каждого обращения определяют, где решение применимо. Пилот на сотне запросов дёшев, промышленная нагрузка на сотнях тысяч — нет.

Пример

Считать нужно стоимость на операцию, а не на месяц: только так видно, окупается ли сценарий.

Рядом

LLMOps, Контекстное окно, FinOps