«Мы всё протестировали» — фраза, которая не значит ничего, пока не сказано, что именно проверялось и чем. За ней может стоять автоматический набор из тысячи проверок, прогоняемых при каждом изменении, а может — один человек, который вчера вечером покликал основные экраны. Разница между этими двумя вариантами определяет, сколько раз клиент столкнётся с поломкой того, что вчера работало. И именно она стоит за оценкой сроков: система без автоматических проверок делается медленнее навсегда, потому что каждое изменение требует ручного обхода всего вокруг.
Четыре уровня, которые называют одним словом
Проверка отдельных кусков. Быстрые автоматические проверки логики: правильно ли считается скидка, корректно ли обрабатывается пустое поле. Дешёвые, мгновенные, ловят большинство глупых ошибок ещё до сборки.
Проверка стыков. Работают ли вместе части системы и внешние сервисы. Здесь ловится то, что каждый кусок по отдельности исправен, а вместе не работает, — самый частый класс проблем в интеграционных проектах.
Сквозные сценарии. Полный путь пользователя: зашёл, оформил, оплатил, получил документ. Медленные и хрупкие, поэтому их держат немного — но именно они отвечают на вопрос «работает ли продукт вообще».
Ручная проверка. Человек смотрит на то, что автоматика не проверяет: удобно ли, понятно ли, не поехала ли вёрстка. Незаменима, но не должна быть единственной.
Вопрос, который отличает предметный разговор: «Какая доля проверок выполняется автоматически при каждом изменении?» Ответ «почти всё вручную» означает, что любая ваша оценка сроков занижена, а любое обновление у клиента — это риск. Ответ с числом означает зрелого поставщика, и дальше можно обсуждать по существу.
Что клиент замечает, а объясняет неправильно
- Починили одно — сломалось другое. Классический признак отсутствия автоматических проверок: никто не может убедиться, что остальное цело, кроме как обойдя всё руками.
- Обновления выкатывают ночью и с волнением. Значит, уверенности нет, и её заменяют временем суток.
- Ошибки находят пользователи. Проверка происходит в бою, за счёт репутации.
- «Не воспроизводится». Обычно означает, что тестовая среда не похожа на боевую — другие данные, другие версии, другие настройки.
- Долгая приёмка. Если приёмка каждого этапа занимает недели, это ручная проверка, оплаченная временем сотрудников клиента.
Как об этом говорить с клиентом
Не «у нас высокое качество», а «после каждого изменения автоматически проверяется вот столько сценариев, и вот сколько это занимает». Число вместо прилагательного.
Не «тестирование увеличивает стоимость», а «увеличивает стоимость первой версии и уменьшает стоимость всех последующих». Это правда, и её лучше сказать самому.
Не «ошибок не будет», а «серьёзные ошибки не дойдут до пользователей, а мелкие мы найдём и исправим за такой-то срок». Обещание безошибочности не выдерживает встречи с реальностью, и первая же ошибка обнулит доверие.
Не «нагрузочное тестирование», а «проверим, что система выдержит ваш сезонный пик, и покажем, где предел». Особенно ценно для розницы, логистики и всех, у кого есть пики.
Где вендоры преувеличивают
«Покрытие 90 процентов». Покрытие показывает, какая доля кода выполнялась при проверках, а не какая доля сценариев проверена. Можно иметь высокое покрытие и не проверять ни одного осмысленного случая. Спрашивать надо про сценарии, а не про процент.
«Полностью автоматизировано». Полная автоматизация сквозных сценариев — дорогое и хрупкое удовольствие. Разумные команды автоматизируют нижние уровни густо, верхние — выборочно. Признание этого выглядит убедительнее заявления о стопроцентной автоматизации.
«ИИ пишет тесты». Помогает и заметно ускоряет рутину. Понять, какие сценарии важны для этого бизнеса, — пока задача человека, знакомого с предметной областью.
«Мы протестировали производительность». Уточняйте, на каком объёме данных. Система, проверенная на тысяче записей, ведёт себя иначе на миллионе, и обнаруживается это в бою через полгода.
Что спросить у своего инженера перед встречей
- Что у нас проверяется автоматически при каждом изменении, а что руками и когда?
- Насколько тестовая среда похожа на боевую по данным, версиям и объёму?
- Проверяли ли мы поведение на объёмах данных, сопоставимых с клиентскими?
- Что мы можем показать клиенту в подтверждение — отчёт, набор сценариев, статистику?
- Какой процент обновлений у нас откатывается и что мы делаем, чтобы это число снижалось?
Красные флаги на стороне клиента
- Нет тестовой среды. Проверять придётся на боевой, со всеми последствиями. Это отдельная работа, отдельный срок и отдельная строка в смете.
- Приёмку делает один человек «когда будет время». Проект встанет на приёмке, а виноватым окажется поставщик.
- Тестовые данные — копия боевых без обезличивания. Персональные данные разъезжаются по средам и подрядчикам; вопрос всплывёт при первой проверке.
- «Нам не нужны тесты, у нас простая система». Простых систем не бывает через два года; к этому моменту тесты писать дороже, чем было сразу.
Вопросы, которые задаст технический директор
«Сколько времени идёт полная проверка?» — если часы, изменения будут выпускаться редко. Если минуты, часто и спокойно.
«Что происходит, когда проверка не прошла?» — сборка останавливается или предупреждение игнорируют. Второй вариант означает, что проверки формальны.
«Как вы проверяете безопасность?» — отдельный класс проверок: зависимости с уязвимостями, права доступа, обработка чужого ввода. Ответ «отдельно не проверяем» звучит плохо.
«Кто отвечает за качество — отдельные люди или команда?» — вопрос про культуру. Модель «разработчики пишут, тестировщики ловят» медленнее и конфликтнее той, где ответственность общая.
Что забрать с собой
- «Мы протестировали» без указания, что и чем, — не информация; спрашивайте долю автоматических проверок.
- Четыре уровня: куски, стыки, сквозные сценарии, ручная проверка. Ловят разные классы ошибок.
- Покрытие кода не равно покрытию сценариев; высокий процент бывает бессмысленным.
- Тесты удорожают первую версию и удешевляют все следующие — говорить это самому.
- Проверка производительности без указания объёма данных ничего не гарантирует.
Клиент говорит: «зачем платить за тесты, вы и так должны делать без ошибок».
Согласиться, что ошибки — наша ответственность, и перевести разговор на скорость: без автоматических проверок каждое изменение требует ручного обхода, и это оплачивается временем в каждой последующей задаче. Тесты — способ сделать дешевле не сейчас, а на дистанции.
Как проверить заявления поставщика о качестве?
Попросить показать, что происходит при попытке выпустить заведомо сломанное изменение. Зрелая команда покажет остановку сборки за минуты. Уклончивый ответ здесь информативнее любого отчёта.
Нужно ли нагрузочное тестирование всем?
Нет. Оно нужно там, где есть пики или планируется рост: розница в сезон, отчётные периоды, запуск рекламной кампании. Для внутренней системы на двадцать человек это трата денег, и сказать об этом честно выгоднее, чем продать.
Что делать, если у клиента нет ресурса на приёмку?
Договориться о сокращённом наборе сценариев, которые проверяются обязательно, и зафиксировать их письменно. Растянутая неформальная приёмка — самая частая причина сорванных сроков, и она не про технологию.
С чего начать, если тестов нет вообще?
С трёх-пяти сквозных сценариев, которые приносят деньги: оформление заказа, оплата, выдача документа. Они дают наибольшую защиту при наименьших затратах и делают следующий разговор о качестве предметным.
Рамки по теме
Разобранное выше опирается на эти рабочие рамки — их можно открыть отдельно.
- CI/CD — непрерывная сборка и поставкаКаждое изменение автоматически собирается, проверяется и доводится до готовности к выпуску. Три ступени зре…
- Постепенный вывод измененийДве среды с мгновенным переключением или выпуск на малую долю трафика. Способы выпускать так, чтобы ошибка …
Ещё в серии «Технологии для продавца»
- Практический фреймворк продаж AWS традиционному энтерпрайзу
- AWS делит клиентов не на больших и маленьких: как устроена сегментация изнутри
- ИИ-агенты: что продавец обязан понимать до встречи с клиентом
- Кибербезопасность: как продавать слои, а не коробки
- Надёжность и SLA: что стоит за девятками
- Amazon Quick: что это на самом деле и как устроено
- Данные: что стоит за «озером» и «хранилищем»
- Amazon Quick по отделам: тринадцать сценариев, которые действительно окупаются
- Сколько на самом деле стоит Amazon Quick: расчёт на сто человек
- Интеграции: почему всегда дороже сметы
- Облако: откуда берётся счёт и почему он растёт
- Контейнеры: что это меняет для клиента
Отпечаток текста 1a793a2ffeac… · проверить подлинность
