Что такое метрики тестирования для тестировщиков программного обеспечения? (с примерами)
10 сентября 2021 г.
Вы можете использовать метрики данных практически в каждой отрасли, чтобы помочь измерить свою производительность и разработать планы по улучшению. Тестировщики программного обеспечения могут использовать метрики данных для улучшения своих процессов тестирования. Метрики тестирования могут помочь этим специалистам проанализировать свои процессы, чтобы выявить недостатки и найти решения. В этой статье мы обсудим метрики тестирования программного обеспечения, почему они важны, их типы и способы их расчета на примерах.
Что такое метрики тестирования программного обеспечения?
Метрики тестирования программного обеспечения — это метрики, которые количественно определяют успешность тестов, используемых тестировщиками программного обеспечения. Метрики тестирования программного обеспечения не определяют качество программного обеспечения. Вместо этого они помогают тестировщикам улучшать качество тестов, которые они используют для оценки качества. Команды тестирования, agile-команды и группы обеспечения качества используют эти показатели для улучшения своих собственных процессов. Включение этих показателей в процесс тестирования может помочь этим командам ответить на такие вопросы, как:
Сколько времени нам потребовалось, чтобы пройти этот тест?
Сколько денег мы потратили на тестирование этого программного обеспечения?
Сколько ошибок мы нашли и не смогли исправить?
Сколько ошибок мы пропустили?
Какую часть программного обеспечения мы смогли протестировать?
Было ли наше тестирование максимально эффективным?
Почему метрики тестирования программного обеспечения важны?
Вот несколько причин, по которым метрики тестирования программного обеспечения важны:
Экономьте время
Изучая процессы тестирования, вы можете определить процессы, которые занимают больше времени, чем ожидалось. Вы можете проверить каждый из ваших процессов на элементы, которые занимают много времени, и проанализировать, почему. Затем вы можете определить способы оптимизации ваших процессов и сокращения времени, которое вы тратите на каждый проект. Сокращение процессов без потери качества может помочь вам повысить производительность. Чем больше тестов вы можете выполнить с тем же или более высоким уровнем качества, тем больше вы сможете расширить свой бизнес по тестированию.
Улучшить качество
Использование тестовых метрик для оценки ваших процессов тестирования может помочь вам улучшить качество ваших тестов. Вы можете определить неэффективные процессы или элементы, которые не достигают ваших целей. Выявление измеримых недостатков в ваших текущих процессах может помочь вам найти новые способы выполнения тех же функций с лучшими результатами. Улучшение качества ваших тестов может помочь вам предоставлять более качественные услуги вашим клиентам.
Измеряйте прогресс
Эти тестовые метрики могут помочь вам выявить проблемы и измерить ваши улучшения. Как только вы определите проблемы в ваших текущих процессах, которые ограничивают качество вашего тестирования, вы сможете определить план улучшения ваших процессов. Постоянно измеряя метрики процессов тестирования, вы можете оценить, насколько вы продвинулись в устранении недостатков в своих процессах. Показатели могут меняться в зависимости от внесенных вами изменений. Например, если вы станете быстрее проводить тестирование, могут измениться метрики, которые тестируют скорость и производительность.
Типы метрик тестирования программного обеспечения
Вот список различных типов метрик тестирования программного обеспечения:
Метрики процесса
Метрика процесса отслеживает производительность ваших тестов программного обеспечения. Вы можете использовать этот тип метрики, чтобы определить, насколько эффективны ваши текущие тесты с точки зрения скорости, точности и полноты. Выполнение этих измерений и сравнение их с вашими предыдущими результатами может помочь вам вносить изменения для постоянного улучшения ваших процессов.
Эти типы показателей обычно представляют собой отношения и проценты. Существует три типа показателей процесса:
Метрики статического процесса**. Они измеряют свойства определенного процесса, например количество тестов, которые вы можете запустить.
Показатели динамического процесса**:** измеряют производительность процесса, например количество тестов, которые вы выполнили для части программного обеспечения.
Метрики эволюции процесса: они измеряют изменения, которые вы вносите в процесс с течением времени, например, увеличение количества тестов, которые вы можете запустить на программном обеспечении за год.
Метрики продукта
Метрики продукта измеряют качество вашего продукта. Если ваши процессы высокого качества, ваши услуги более ценны. Эти показатели могут использоваться для проверки таких элементов, как время, затраченное на каждый тест, или количество ошибок, которые вы смогли выявить. Вот некоторые показатели, которые вы можете рассчитать:
Общий процент критических дефектов: этот показатель определяет процент дефектов в продукте.
Распределение дефектов по компонентам: эта метрика определяет, к каким категориям вашего тестирования относятся ошибки или дефекты в вашей системе тестирования.
Удовлетворенность клиентов. Для этого показателя необходимо связаться с вашим клиентом, чтобы определить, удовлетворены ли они результатами вашего теста.
Метрики проекта
Метрики проекта или метрики группы тестирования измеряют эффективность команды при тестировании продукта. Эти метрики могут помочь вам определить, одинакова ли работа членов команды. Вот некоторые показатели, которые вы можете использовать для определения эффективности всей команды:
Распределение дефектов, возвращаемых каждым членом команды: этот показатель может сказать вам, какие члены команды выявляют большинство дефектов, а какие менее тщательно.
Тестовые наборы, которые получает каждый член команды: эта метрика может сказать вам, распределяете ли вы одинаковый объем работы с каждым членом команды.
Тестовые случаи, которые выполняет каждый член команды: этот показатель помогает вам измерить, сколько работы выполняет каждый член команды.
Экономические показатели
Экономические показатели относятся к сумме денег, которую стоит каждый проект. Тестирование стоит денег с точки зрения времени, инструментов и инфраструктуры для тестировщиков. Экономические показатели могут определить, насколько эффективно тестировщики используют эти ресурсы. Они также могут помочь вам определить, что вы можете сделать, чтобы улучшить свои процессы и повысить эффективность использования ресурсов. Вот некоторые экономические показатели:
Общие выделенные затраты на тестирование: измеряет общую стоимость, которую руководитель группы заложил в бюджет для каждого проекта.
Фактическая стоимость тестирования: эта метрика измеряет фактическую стоимость завершения тестирования.
Стоимость исправления ошибки: эта метрика определяет, сколько ресурсов уходит на проект по каждому отдельному дефекту.
Стоимость отсутствия тестирования: показатель стоимости отсутствия тестирования определяет стоимость расходов на тестирование продукта, то есть, как это повлияет на ценность продукта, если тестирование не будет проведено.
Как рассчитать тестовую метрику
Вот несколько шагов, которые вы можете выполнить, чтобы рассчитать тестовую метрику:
Определите процесс, который вы хотите измерить.
Определите свою цель или оптимальный результат в качестве основы для метрики.
Установите стандарт продолжительности теста и того, кто записывает результаты.
Запишите показатели во время выполнения теста.
Проанализируйте метрики, чтобы найти области для улучшения.
Пример тестовой метрики
Вот пример тестовой метрики, которую вы можете провести:
Шэрон — тестировщик программного обеспечения, которая хочет узнать, сколько тестов она может выполнить за одну восьмичасовую смену для одного проекта. Максимальное количество тестов, которое Шэрон когда-либо выполняла за одну смену, равно 20, так что это ее базовый уровень. Она устанавливает параметры метрики на одну восьмичасовую смену и решает отслеживать каждый тест, который она завершает в течение этого периода времени. Шэрон также решает сохранить свои регулярные запланированные перерывы в своем восьмичасовом периоде, чтобы отразить стандартное количество времени, которое у нее есть для тестирования в смену.
Шэрон начинает свою смену, выполняя как можно больше тестов, записывая каждый тест, который она завершила, и время, которое она потратила на его выполнение. По истечении восьми часов она смотрит на количество выполненных ею тестов, то есть 15. Она анализирует свои данные, чтобы выяснить, какие тесты заняли больше всего времени, и ищет способы ускорить свои процессы на более длинных тестах. Шэрон решает продолжать измерять свою скорость с восьмичасовыми интервалами, чтобы следить за своим прогрессом по мере изменения процессов.