testrail что это такое
BYTEX BLOG
Подробный гайд по TestRail: тестирование ПО
Современный человек ежедневно пользуется различными программами на телефоне и компьютере, практически не задумываясь об особенностях разработки этого софта. В данном процессе важную роль играет тестирование, помогающее устранить ошибки в функционале, которое, в свою очередь, необходимо контролировать. В этом могут помочь специальные «инструменты управления тестированием», одним из которых является TestRail.
Предназначение TestRail
Во время тестирования выполняются различные процессы, направленные на улучшение качества продукта: анализ требований, составление плана тестирования, разработка тест-кейсов и т.д. Среди всех этих действий подготовка тест-кейсов играет очень важную роль.
Многие тестировщики предпочитают записывать тест-кейсы в Excel или другие таблицы. Но в эпоху автоматизации использовать Excel немного старомодно. Причем, существует немалая вероятность потери данных.
Чтобы избавиться от этой проблемы, немецкая компания Gurock Software разработала TestRail — специальное программное обеспечение, помогающее специалистам QA и разработчикам наладить процесс тестирования. Оно помогает контролировать и отслеживать все процессы тестирования программ и организовывать деятельность отдела QA. TestRail обладает простым веб-интерфейсом, что облегчает создание тест-кейсов, управление тестовыми прогонами и т.д. Благодаря ему легко следить за состоянием отдельных этапов тестирования, используя информационные панели и отчеты. Специальные фильтры, уведомления и списки задач помогают получать полную информацию о ходе тестирования.
Особенности TestRail
Основные вкладки TestRail
DashBoard
После авторизации в TestRail открывается стартовая страница. Это рабочий стол, на котором отображаются все проекты и диаграмма активности за последнее время (от 7 до 90 дней). При нажатии на проект открывается страница управления проектом.
Вкладка «Overview» представляет собой сводку по текущему состоянию проекта, которая содержит список недавно завершенных проверок, а также последние тестовые прогоны и предстоящие майлстоуны. На специальной диаграмме активности отображается общий результат тестирования за определенный промежуток времени. Можно посмотреть все пройденные тест-кейсы и их статусы: passed (пройден), failed (не удалось пройти), blocked (заблокирован) и retest (нуждается в повторном тестировании). Всякий раз, когда требуется переключиться на другой проект, нужно вернуться на стартовый экран, нажав на “Return to Dashboard” в верхнем левом углу.
Todo
TodoРаздел Todo является важной частью TestRail и считается отправной точкой для тестировщиков. В чем же заключаются его особенности? Todo-раздел:
Milestone
MilestoneТестировщики могут создавать и работать над несколькими тестовыми прогонами одновременно, более того, некоторые команды работают с различными версиями, итерациями, спринтами и майлстоунами в течении реализации проекта.
Пользователи могут использовать вкладку Milestone для создания отдельных этапов проекта, в которых поэтапно тестируются различные версии.
При создании нового этапа (майлстоуна) можно установить дату его начала и завершения, что помогает отслеживать сроки выполнения и порядок тестирования версий. Также можно добавить описание и пометить завершенные этапы, что поможет сконцентрироваться на активных задачах.
В этом разделе при необходимости можно создать тестовые планы и прогоны для конкретной версии, чтобы легко отслеживать прогресс в этой области. Если команда тестировщиков работает одновременно с несколькими папками, их прогресс отображается параллельно.
Test Runs & Results
Здесь осуществляется управление тест-кейсами и их выполнение в основной части тестирования. TestRail старается как можно сильнее упростить процесс ввода результатов и отслеживания прогресса тестирования.
Тестировщик может создать прогон чек-листа, благодаря кнопке “Add Test Run”. В начале ему потребуется указать имя для теста и по необходимости дополнительные данные:
Test Run можно редактировать и после его создания, изменять майлстоун или добавлять дополнительные кейсы.
После создания тестового прогона можно перейти к его непосредственному выполнению. Нужно будет на странице тест-рана указать статус отдельного тест-кейса, его исполнителя (проверяющего тестировщика) и следить за текущими результатами, статистикой и статусами кейсов. Для проверки кейса и добавления результата его необходимо открыть, ознакомиться с предложенными условиями и, после проведения теста, проставить статус. Также тестировщик может добавить собственный комментарий, указать время, потраченное на проверку, и выявленные баги. Поскольку TestRail может подключаться к Jira, Bugzilla и Firebug в пункте результата под названием “Defects” можно указать идентификатор конкретного бага, заведенного в данных сервисах.
Test Suites and Cases
Данная вкладка является неотъемлемой частью TestRail, здесь создаются и хранятся все тест-кейсы и чек-листы тестируемого приложения, которые необходимо проверять. В проекте может содержаться более тысячи тест-кейсов для различных версий, которые группируются в подразделы для удобного использования. Как правило, это позволяет разбить тестирование проекта на различные группы с определенными типами заданий. Например, одни отвечают за проверку механики или серверной части проекта, другие за проверку интерфейса, локализации и т.д.
Для того, чтобы добавить новый раздел, необходимо нажать на кнопку Add Subsection, и после создания перейти на его страницу, где уже создать необходимые тест-кейсы с помощью «Add Case».
Во время создания тест-кейса по необходимости заполняются следующие поля:
Сервис позволяет изменять или добавлять новые поля, настраивая функционал максимально практично для каждого проекта. Кейс может содержать не только текстовую информацию, но и графическую (картинки).
Также можно создавать таблички внутри кейса еще больше расширяя его возможности.
Готовые кейсы можно переносить между разделами, копировать, экспортировать в XML, Excel/CSV или импортировать из XML или CSV-файла в TestRail.
Report
Отчеты по тестированию важны как и сами задания. Функционал сервиса позволяет генерировать отчетности, отправлять их по почте, а также использовать для их создания готовые шаблоны.
Результат о проделанной работе состоит из фактической информации о проведенном тестировании. TestRail позволяет максимально детализировать отчет, указав в нем статусы кейсов и выявленные ошибки.
Заключение
TestRail — один из самых важных инструментов для управления тестированием программного обеспечения, который помогает в управлении всеми необходимыми процессами. Он включает в себя: создание проекта, подготовку тестовых кейсов, выполнение тестовых прогонов и генерацию подробной отчетности о тестировании.
Артём Здунов поздравил программистов с профессиональным праздником
C 26 по 28 августа 2021 в Уфе проходит финал IХ Национального чемпионата «Молодые профессионалы» (WorldSkills Russia)
В Саранске прошло главное киберспортивное событие этого лета
Артём Здунов посетил BYTEX
В компании BYTEX прошёл «День цифрового образования в играх».
© ООО “Байтэкс”, 2004-2021. Все права защищены
Как помочь мануальному тестировщику. Автоматизаторы спешат на помощь
В любой команде, которая уделяет должное время тестированию, приходит тот момент, когда задается вопрос об автоматизации этого процесса. Как это происходит? Есть несколько путей для развития: либо сами тестировщики начинают автоматизировать, либо нанимается специально обученный человек, который, как панацея, должен решить все проблемы. В независимости от того, как это происходит, в конечном итоге мы все сталкиваемся с тем, что нужно как-то показать, что происходит, какова реальность — что же было сделано. Как говорил один мой коллега, «автоматизация ради автоматизации — это подобие культа Карго», так как бывает, что отдел автоматизации существует, а вот результата нет.
Итак, основная задача инженера-автоматизатора в том, чтобы сделать жизнь проще. В этот раз упростить жизнь мы собираемся отделу ручного тестирования (если таковой имеется) или же самим себе, если весь процесс тестирования возложен на наши плечи.
Немножко структурных данных
В нашей компании существует отдел ручного тестирования и автоматизаторы. Как система для организации тестов используется довольно популярный инструмент — TestRail. С моей точки зрения удобный и довольно функциональный.
Автоматизация построена тоже на довольно стандартном наборе Ruby + Cucumber + Watir/Selenium (можно упомянуть паттерн Page Object) + TeamCity.
Что происходит, когда на тестирование дается новый билд, (в нашем случае каждый раз мы имеем дело с регрешшеном)? Тестировщик создает новый тест ран, в который включаются все тест-кейсы с определенного тест-сьюта и — пошло поехало веселье. Уверен, всем знакомо то чувство, когда ты в 4-й раз прогоняешь вручную регрешшн или смоук на автомате, кликая/тапая на все элементы и проставляя статус для очередного теста. В этот момент пред красными глазами наверняка все плывет и картинка в голове повторяет знаменитое:
Именно сейчас приходим на помощь мы. Так уж получилось, что возникла идея. Если у нас есть автоматизация, то почему мы все еще не используем результаты нашей работы, чтобы жить стало проще? Мысль заключается в том, чтобы использовать отчет с TestRail вместо громоздких и непонятных отчетов с Cucumber. Довольно интересная задач — сделать так, чтобы тесты в TestRail сами меняли свой статус, в зависимости от того, как прошел автотест.
С помощью поиска всемогущего гугла была найдена документация по TestRail API для реализации сией благой цели. Мы решили для начала сделать так, чтобы запуская наши автотесты вся информация о текущем состоянии тестов отображалась в TestRail. Собственно, цель была достигнута — по нажатии на кнопку запуска тестов в RubyMine мы автоматически создавали новый тестран и отсылали результаты на сервер. Довольно просто, учитывая существующую информацию на сайте TestRail.
Как оказалось, это было всего лишь начало.
В конечном итоге удалось сделать довольно неплохую функциональность, а именно — мы настроили интеграцию TestRail + TeamCity + Automation Framework.
Теперь же подробности, уважаемые дамы и господа.
TestRail
Первая остановка у нас будет TestRail.
TestRail является программным обеспечением для управления данными полученными в результате тестирования. Данный инструмент помогает отслеживать процессы, управлять программным обеспечением и организовывать команду.
С помощью TestRail можно создавать тест кейсы, управлять тестовыми наборами и координировать весь процесс тестирования программного обеспечения. TestRail предоставляет возможность повысить производительность и получить полный обзор хода процесса тестирования.
Начнем мы с того, что первое, что должен сделать наш юзер/мануал тестировщик — это создать собственно тестран, который в последствии мы и будем использовать для апдейтов.
Требования:
Фича: Запуск автотестов.
Для того, чтобы использовать автоматизации в реальной жизни.
Как пользователь я хочу, чтобы была волшебная кнопка «запустить ран с автотестами».
Сказано — сделано. Благо функционал TestRail позволяет нам интегрировать свой собственный код.
Как результат, мы имеем вот такую вот кнопочку:
Да, да — Start Tests.
Поскольку у нас для одного сьюта тесткейсы есть для веб и мобайл, то на первой стадии мы проверяем по имени тестрана, какой именно фреймворк используется. В зависимости от того, для чего предназначен тестран, мы запускаем билд на TeamCity.
Дабы юзер не кликал слишком часто на кнопочку, у нас организована защита от дурака — после клика на кнопку мы добавляем ключевое «in progress» к имени тестрана, это блокирует волшебную кнопку, пока наши автотесты не закончат свое дело.
Automation Framework
На конечной стадии был создан гем/библиотека, которая при разворачивании дает нам интеграцию с TestRail на любом нашем под-проекте.
Создание гема — совсем другая история, достойная отдельной статьи.
Если вкратце, то наша библиотека test_rail_integration имеет небольшой функционал, который мы используем у себя, но мне кажется, что кому-то тоже может быть полезной.
Для начала нужно его установить:
В after |scenario| hooks. И в env.rb файл:
Вот команды для запуска:
В нашем случае тесты запускались для 6 различных локализаций и все результаты отображались в 1 тестране. Иногда возникала ситуация, когда два апдейта приходили в одно время. Получалось так, что они не видели друг друга и после фейла приходил пасс статус. Такой вариант менял общую картину статуса теста. В общем, эта команда проходит все тесты и проверяет в ней соответствие, что в зеленых тестах нет красных результатов. Если же есть — то меняет статус теста на красный.
Тут все просто, данной командой мы создаем тестран с указанным именем в проекте-сьюте, который мы записали в конфиг файле. Команда возвращает номер созданного тесана:
Нужно написать при первом запуске, так как данная команда генерирует конфигурационный файл, к котором нужно указать необходимую информацию о TestRail:
Это и есть core фунционал c флагами:
Тут и так все понятно, нужно указать номер тест рана:
и
Специфические атрибуты, которые будут использованы при составлении команды для запуска (если, к примеру, вам нужно запускать ваши тесты через специфическую команду, то в конфиг файле нужно записать ее с использованием этих переменных, тогда при запуске мы должны их указать):
Этот флаг тоже специфический и, думаю, никому больше не пригодится:
Здесь можно указать новую команду для текущего запуска:
Так как у нас используется вся интеграция для 6 локализаций, то по номеру тестрана мы ищем имя и парсим его на параметры так, что тестран должен иметь имя, допустим, DT SG staging. Здесь мы и находим необходимую информацию для запуска.
Запуск без поиска и проверки на наличие каких-либо параметров, это наиболее полезная команда для Вас, уважаемый читатель.
Можно определить также номер типа тестов, которые буду запущены.
Полная команда для запуска тестов с существующим тестраном будет выглядеть так:
TeamCity
Тут, собственно говоря, все просто. Просто записываем команду так же, как мы бы ее запускали локально, разве только можно добавить несколько переменных для удобства и скомбинировать порядок запуска команд (в случае, если мы запускаем билд автоматически, сначала нужно указать команду на создание тестрана, потом на запуск тестов с номером, который пришел нам ранее).
Вот и все. Так как это мой первый опыт с написанием статьи, критика приветствуется. Надеюсь, что написал я все это вполне понятно и данное руководство будет кому-либо полезно.
Подробный гайд по TestRail: тестирование ПО
Современный человек ежедневно пользуется различными программами на телефоне и компьютере, практически не задумываясь об особенностях разработки этого софта. В данном процессе важную роль играет тестирование, помогающее устранить ошибки в функционале, и которое, в свою очередь, необходимо контролировать. В этом могут помочь специальные «инструменты управления тестированием», одним из которых является TestRail.
Предназначение TestRail
Во время тестирования выполняются различные процессы, направленные на улучшение качества продукта: анализ требований, составление плана тестирования, разработка тест-кейсов и т. д. Среди всех этих действий подготовка тест-кейсов играет очень важную роль.
Многие тестировщики предпочитают записывать тест-кейсы в Excel или другие таблицы. Но в эпоху автоматизации использовать Excel немного старомодно. Причём существует немалая вероятность потери данных.
Чтобы избавиться от этой проблемы, немецкая компания Gurock Software разработала TestRail — специальное программное обеспечение, помогающее специалистам QA и разработчикам наладить процесс тестирования. Оно помогает контролировать и отслеживать все процессы тестирования программ и организовывать деятельность отдела QA.
TestRail обладает простым веб-интерфейсом, что облегчает создание тест-кейсов, управление тестовыми прогонами и т. д. Благодаря ему легко следить за состоянием отдельных этапов тестирования, используя информационные панели и отчёты.
Специальные фильтры, уведомления и списки задач помогают получать полную информацию о ходе тестирования.
Особенности TestRail:
— удобное разделение и эффективное управление тест-кейсами, сьютами и тест-планами; — простой и удобный пользовательский интерфейс; — графическое отображение тестового прогона; — предоставление информации о ходе тестирования в реальном времени; — интеграция с такими баг-трекерами, как Jira; — гибкость и настраиваемость под любые нужды; — развитая система генерирования отчетности; — организация и отслеживание действий всех сотрудников; — лицензируется по количеству реально пользующихся им пользователей.
Основные вкладки TestRail
DashBoard После авторизации в TestRail открывается стартовая страница. Это рабочий стол, на котором отображаются все проекты и диаграмма активности за последнее время (от 7 до 90 дней). При нажатии на проект открывается страница управления проектом.
Вкладка «Overview» представляет собой сводку по текущему состоянию проекта, которая содержит список недавно завершённых проверок, а также последние тестовые прогоны и предстоящие майлстоуны. На специальной диаграмме активности отображается общий результат тестирования за определённый промежуток времени.
Можно посмотреть все пройденные тест-кейсы и их статусы: passed (пройден), failed (не удалось пройти), blocked (заблокирован) и retest (нуждается в повторном тестировании). Всякий раз, когда требуется переключиться на другой проект, нужно вернуться на стартовый экран, нажав на «Return to Dashboard» в верхнем левом углу.
Todo Раздел Todo является важной частью TestRail и считается отправной точкой для тестировщиков. В чём же заключаются его особенности?
Todo-раздел: — отслеживает и фильтрует текущие активности; — помогает отследить и распределить нагрузку между пользователями; — отображает текущий прогресс тестирования проекта с помощью цветовой шкалы; — является лучшим способом для тестера работать над конкретными задачами; — страница Todo интегрирована со страницей запуска тестовых прогонов, чтобы тестировщик сразу мог перейти к выполнению своих задач.
Milestone Тестировщики могут создавать и работать над несколькими тестовыми прогонами одновременно. Более того, некоторые команды работают с различными версиями, итерациями, спринтами и майлстоунами в течение реализации проекта.
Пользователи могут использовать вкладку Milestone для создания отдельных этапов проекта, в которых поэтапно тестируются различные версии.
При создании нового этапа (майлстоуна) можно установить дату его начала и завершения, что помогает отслеживать сроки выполнения и порядок тестирования версий. Также можно добавить описание и пометить завершённые этапы, что поможет сконцентрироваться на активных задачах.
В этом разделе при необходимости можно создать тестовые планы и прогоны для конкретной версии, чтобы легко отслеживать прогресс в этой области. Если команда тестировщиков работает одновременно с несколькими папками, их прогресс отображается параллельно.
Test Runs & Results Здесь осуществляется управление тест-кейсами и их выполнение в основной части тестирования. TestRail старается как можно сильнее упростить процесс ввода результатов и отслеживания прогресса тестирования.
Тестировщик может создать прогон чек-листа, благодаря кнопке «Add Test Run». В начале ему потребуется указать имя для теста и по необходимости дополнительные данные: — Milestone: чтобы связать тестовый прогон с нужным этапом тестирования; — AssignTo: в этом параметре назначается ответственный за осуществление прогона; — Description: подробное описание тестового прогона; — All test cases include (select cases): по умолчанию все хранящиеся в проекте тест-кейсы включаются в тестовый прогон, но пользователь может вручную выбрать из общего списка необходимые для проверки кейсы.
Test Run можно редактировать и после его создания, изменять майлстоун или добавлять дополнительные кейсы.
После создания тестового прогона можно перейти к его непосредственному выполнению. Нужно будет на странице тест-рана указать статус отдельного тест-кейса, его исполнителя (проверяющего тестировщика) и следить за текущими результатами, статистикой и статусами кейсов.
Для проверки кейса и добавления результата его необходимо открыть, ознакомиться с предложенными условиями и, после проведения теста, проставить статус. Также тестировщик может добавить собственный комментарий, указать время, потраченное на проверку, и выявленные баги. Поскольку TestRail может подключаться к Jira, Bugzilla и Firebug в пункте результата под названием “Defects” можно указать идентификатор конкретного бага, заведённого в данных сервисах.
Test Suites and Cases Данная вкладка является неотъемлемой частью TestRail, здесь создаются и хранятся все тест-кейсы и чек-листы тестируемого приложения, которые необходимо проверять. В проекте может содержаться более тысячи тест-кейсов для различных версий, которые группируются в подразделы для удобного использования. Как правило, это позволяет разбить тестирование проекта на различные группы с определёнными типами заданий. Например, одни отвечают за проверку механики или серверной части проекта, другие за проверку интерфейса, локализации и т. д.
Для того чтобы добавить новый раздел, необходимо нажать на кнопку Add Subsection, и после создания перейти на его страницу, где уже создать необходимые тест-кейсы с помощью «Add Case».
Во время создания тест-кейса по необходимости заполняются следующие поля: — Title: название кейса; — Section: раздел, к которому будет относиться задание; — Type : определяет тип тестирования: смоук, функциональное, юзабилити, регрессия и т. д.; — Priority: установка приоритета тест-кейса; — Template: установка шаблона (exploratory session, steps, text); — Estimate: оценка задачи; — Milestone: выбирается этап, к которому относятся задания; — Reference: сюда указывается ссылка на таск из Jira или другого сервиса; — Description: подробное описание задачи; — Precondition: предварительные условия, которые необходимо осуществить перед выполнением задачи; — Steps: шаги, которые необходимо осуществить для проверки кейса и выявления багов; — Expected Result: ожидаемый результат, описывающий как должно работать приложение без дефектов.
Сервис позволяет изменять или добавлять новые поля, настраивая функционал максимально практично для каждого проекта. Кейс может содержать не только текстовую информацию, но и графическую (картинки).
Также можно создавать таблички внутри кейса, ещё больше расширяя его возможности:
Готовые кейсы можно переносить между разделами, копировать, экспортировать в XML, Excel/CSV или импортировать из XML или CSV-файла в TestRail.
Report Отчёты по тестированию важны, как и сами задания. Функционал сервиса позволяет генерировать отчётности, отправлять их по почте, а также использовать для их создания готовые шаблоны.
Результат о проделанной работе состоит из фактической информации о проведённом тестировании. TestRail позволяет максимально детализировать отчёт, указав в нём статусы кейсов и выявленные ошибки.
Заключение
TestRail — один из самых важных инструментов для управления тестированием программного обеспечения, который помогает в управлении всеми необходимыми процессами. Он включает в себя: создание проекта, подготовку тестовых кейсов, выполнение тестовых прогонов и генерацию подробной отчётности о тестировании.
Что-то осталось непонятным? Задавайте вопросы в комментариях!