Украинскую версию статьи можно прочесть тут.

Так или иначе, но несколько недель назад ко мне обратилась… моя семья, Дарья Алымова, с просьбой помочь с метриками, которые ее попросил разработать ее менеджмент. Она занимает должность Quality Assurance Manager в крупной международной компании. 

Дальнейшая серия статей - результат нашего многочасового брейншторма, который дополнен моими личными размышлениями по той или иной метрике. Итак, поехали.

Сомнительные метрики

Среднее количество дефектов на User Story. Тренд дефектов в динамике (over time)

Что показывает: фактически отображает тренд уменьшения или увеличения качества на одну пользовательскую историю. Интересно смотреть в динамике минимум за 2 месяца.

Требует адекватного ведения Backlog'а задач, где нарезка для команды идет в виде end-to-end функциональности, а также фактически заведения каждого дефекта (с привязкой его к каждой задаче).

Негативные последствия: на первый взгляд это полезная метрика, однако фактически она будет стимулировать следующие негативные последствия:
- Легко показать улучшения просто не заводя дефекты. У этого, однако, если и позитивный эффект - вы не будете тратить время на заведение дефектов :) (позитив при условии, что команда исправляет проблемы без заведения их)
- Если вы заставите тестирование заводить все дефекты, то подтолкнете команду к расслоению и конфликту между разработкой и тестированием.
- Увеличивается общее время на управление задачами за счет увеличения времени на заведение, ре-тест, чтение дефектов.

Разновидность: количество дефектов на Story Point, релиз, Epic и тд.
Общий вердикт - лучше не использовать или делать это так, что бы никто не знал.

Burn Down Chart

Что показывает: тренд сжигания времени/объема задач по отношению к идеальному тренду.

Как это должно быть (ожидание)

Классический Burn down показывает, на сколько команда хорошо… трекает время. Вот пример неэффективной работы в команде, где Burn down будет показывать идеальный тренд: Есть спринт, в котором есть 5 задач. Команда начинает выполнять 5 задач одновременно, все заняты и отлично списывают время. И вот, конец спринта и… очень много дефектов, что то не успели или что то не склеилось. Но 90% спринта ваш тренд по времени был идеален, вот как этот:

Но что то пошло не так и вы узнали об это поздно. Все потому, что:

Burn Down Chart не показывает КАК вы делаете работу. 

На этой строчке многие скажут, что тогда стройте чарт в Story Points. Вы будете правы, при следующих условиях:
1. Задачи оценены мелко
2. Вы выполняете задачу за задачей, а не начинаете все сразу (это справедливо и в случае с часами)

Но все же, пока история не будет закрыта, график будет строго горизонтален и, собственно, ничего не показывает. Как этот. На 25е число вы все еще не знаете, сможете ли что либо закрыть и хватит ли вам времени.

Разновидности: Epic Burn Down, Release Burn Down. Избегайте всего, что бёрнит даун.

Вывод: если хотите смотреть, как люди трекают время - burn down ваш выбор. Если хотите понимать, как улучшать работу команды, используйте физ доски и иные визуализации движения РАБОТЫ.

Committed vs. Delivered

Цель: мерять обещания команды и факт. Очень любима менеджерами разных уровней.

Что показывает: показывает, насколько хорошо ваша команда умеет вас обманывать. Шутка. Показывает спринты, в которых вашу команду спросят "ДОКОЛЕ?". Это не шутка.
Очень токсичная метрика. Обычно приводит к тому, что команда начинает делать следующее (одно или все сразу):
- Завышать оценки
- Занижать оценку производительности (velocity)
- Пренебрегать качеством ради завершения задач

Такая уж проблема, что в ИТ все очень относительно. Код и написание кода - очень творческий процесс, который сложно оценить по своей сути. 

Использование этой метрики ведет к тотальной демотивации команды, рождению фраз "ну вы же обещали!" или "вы всегда что то обещаете, но не делаете".

Никогда не используйте эту метрику.

Продолжение на следующей неделе!