Современный жизненный цикл разработки ПО позволяет разработчикам обеспечивать непрерывную интеграцию с возможностью создания и запуска автоматических тестов с почти одинаковой скоростью. В зависимости от размера команды разработчиков это может генерировать огромное количество данных результатов тестирования.
При эффективном представлении данных результатов тестов, полученных в следствии автоматизации, это позволяет быстрее обнаруживать, изолировать и исправлять ошибки и даже улучшать производительность.
Вот что можно сделать, чтобы обеспечить эффективную отчетность результатов в вашей команде.
Данные результатов не должны быть пустыми. Это первое, что нужно взять за правило: сохранять все ваши результаты теста, по крайней мере, на пару недель или, предпочтительно, на месяц.
Записанные результаты одного тестового прогона, это все же лучше, чем ничего, но сохранение истории всех ваших тестовых прогонов может помочь вам выполнить сравнения, отследить прогресс, идентифицировать регрессию и даже обнаруживать проблемы которые не всегда воспроизводимы, такие как распределение памяти, к примеру.
Самое главное, что хранение результатов позволяет анализировать данные. Вы можете узнать, какие изменения повлияли на сбои. Сохраняя последний номер версии или номер сборки с помощью тестового прогона, вы сможете определить, какие изменения спровоцировали проблему. Разработчики экономят часы своего времени благодаря этому.
Файлы и артефакты, созданные автоматическими тестами, такие как журналы, снимки экрана и файлы данных производительности, также должны храниться с данными результатов. Вместе все эти данные должны быть легко доступны всем в вашей команде на протяжении всего времени. Часто единственный способ найти данные - удаленный доступ на какой-нибудь сервер, где они, собственно, и хранятся. Не заставляйте свою команду полагаться только на одного или двух человек для получения этой информации, доступ должен быть у всех.
Описание багов должно быть достаточно подробным, чтобы предоставить точную информацию для разработчиков, которые в свою очередь смогут быстрее исправить проблемы. Важным фактором являются подробности поэтапного выполнения. Таким образом, даже тесты на системном уровне и интеграции могут выделить точный источник проблемы. Это имеет решающее значение, если ваша команда имеет небольшое количество модульных тестов (или вообще их не имеет).
Если ваши тесты хранят данные о производительности, вы можете отображать тенденции, чтобы увидеть, как вещи прогрессируют с течением времени. Это один из самых полезных результатов автоматических тестов и хранения данных.
Когда люди могут видеть, как часто проходят тесты, что они тестируют, какое количество новых тестов введено, какие существующие тесты уже были усовершенствованы, это может увеличить продуктивность и инвестиции в автоматизацию.
Стоит начать выводить результаты на проектор, чтобы они стали доступными для всех. Из-за того, что тесты, которые были записаны в консольный журнал с файлами в каталоге temp на сервере сборки, к ним никто не мог получить доступ, кроме разработчика, поэтому никто не понимал важность и ценность автоматизации.
Это также может помочь повысить надежность тестов, так как постоянное наблюдение за ненадежными тестами изменило скорость прохода.
Вот еще один совет: попробуйте сделать имя автора теста видимым. Люди могут видеть, кто писал тесты, кто фиксировал ошибки. Вы обнаружите, что релизы стали более качественными и отправка осуществляется быстрее. Таким образом, как показывает практика, от эффективного представления результатов тестирования может зависеть скорость разработки ПО в целом.
10 августа/2018
Comments