QA Fest 2017

Синхронизация между QA в мультикомандном Agile at Scale проекте

The automated acceptance testing paradox

A talk that looks into the role of acceptance tests, why we automate them, why it may be causing us more harm than good and what we can do to improve our use of acceptance tests. This is a new talk that I have been trying out as a lightning talk and tester meetups and it's getting good reactions as well.

The Art of Test Planning – Expect The Unexpected

The idea is that lots of test plans are big, complex, rigid, detailed. I think we can do much leaner. The key is that you have to accept that unexpected things will happen and be prepared & flexible enough to handle change, rather than try to nail everything in stone. It is about letting loose, trust the team and finding balance between planning and skilled improvising, but without losing control.

Эффективный поиск невоспроизводимых ошибок

Ошибки бывают разные, но что делать с теми которые трудно воспроизвести? Поговорим о том, как правильно выстроить процесс тестирования для поиска ошибок которые не всегда удаётся воспроизвести.

Не смешите мой coverage

Я расскажу о тестировании с точки зрения разработчика. Каждый разработчик рано или поздно приходит к выводу, что тесты необходимы. Следующий вопрос который он себе задает - а насколько хороши мои тесты. Я расскажу об инструментах и библиотеках, которые помогают оценить качество тестов в мире Python. Мы посмотрим как работает библиотека coverage.py, в каких ситуациях она бессильна и самое главное - почему. Узнаем что такое мутационное тестирование, как его можно применять в реальных проектах и как оно помогает оценить качество тестов. Увидим как работает библиотека Hypothesis и поймем в каких ситуациях она может оказаться нам полезной. В докладе будут внутренности Python-библиотек и объектов, много примеров и конечно же котики!

Тестовый фреймворк GEB для тестирования WEB приложений и Mobile

Доклад будет полезен тем, кто хочет узнать как бысто писать тесты на языке програмирования Groovy и не думать о фреймворке, PageObject и инициализации WebDriver. Фреймворк это сложно? Нет! Я покажу способ, который позволяет думать о тестировании приложения, а не о стуктуре кода.

Complexity Thinking, Cynefin & Why Your Testing Metrics All Suck Big Time

From your own experience it might not come as a surprise that most of today’s testing is unhelpful, filled with unnecessary paper work and folkloric activities. For some reason testing work often does not seem to be very helpful in projects. That is definitely a problem. If you are a tester, your manager might ask you for metrics that don’t make sense to you. And since you are a smart person, you have probably once in a while gamed the system. All that is certainly damaging to the industry. What can you do? This session brings you insight into Complexity Thinking with Dave Snowden’s Cynefin model and ties that to your job as a software tester. It offers you a way to look at software testing from a complexity thinking standpoint of view and gives you tools to argue your case if you are exposed to dysfunctional project settings. In addition to that, we will have some fun with idiotic metrics and to lighten up the serious topic we’ll engage in hilariously entertaining real life examples of bad metrics. To round it up, we’ll propose more meaningful alternatives.

What is Context-Driven Testing?

You might have heard of the existence of context-driven testing and the vibrant community engaged in it. In very simple terms, context-driven testing means to look at a problem first and based on its understanding to develop a solution. The seven principles of context-driven testing are:
1. The value of any practice depends on its context.
2. There are good practices in context, but there are no best practices.
3. People, working together, are the most important part of any project's context.
4. Projects unfold over time in ways that are often not predictable.
5. The product is a solution. If the problem isn't solved, the product doesn't work.
6. Good software testing is a challenging intellectual process.
7. Only through judgment and skill, exercised cooperatively throughout the entire project, are we able to do the right things at the right times to effectively test our products.
This session will go into the meaning of the context-driven approach and principles and tries to convince you that context-driven testing is not only a valid approach but also smoothly integrates with agile development practices.
We will talk about testing as a craft and the value of an engaged community of testers and how you can tap into the magic of context-driven testing to become a world-class tester.

Спецвыпуск MythBusters для начинающего QA-Менеджера

Вы отличный IT-специалист, прошли долгий путь от новичка до профессионала и находитесь на последних ступенях, за которыми только менеджмент. Руководство уже намекает, что пора бы брать на себя задачу менеджмента команды, ведь в продукте вы разбираетесь и с коллегами работаете не первый год. И действительно, ну появятся новые задачи, справитесь, как справлялись с теми, что были раньше. Но вот проблема, раньше они были техническими, а работа с людьми - совсем другое. Не одна тысяча проектов проваливаются исключительно из-за плохого управления. Сегодня мы взглянем на менеджмент качества проекта и опровергнем несколько устойчивых и вредных мифов. Этот доклад для начинающих менеджеров, а также для тех, кто вот-вот вырастет в менеджера из тестировщика.

О тестировании доступности: зачем, как, к чему быть готовым

Когда на проекте возникла необходимость заняться тестированием доступности (Accessibility/Compliance), оказалось, что экспертизу найти достаточно сложно, обучались всему сами.
Хочу поделиться нашим опытом и рассказать о том
- что такое тестирование доступности
- почему важно убедиться, что продукт соответствует стандартам
- как именно это делать
- какие инструменты использовать
- с какими трудностями можно столкнуться
- как предложить заказчику тестировать доступность
Тема интересная и не особо популярная, но этот вид тестирования не слишком сложный. Почему бы не разобраться вместе, не попробовать самим и не добавить в резюме еще один навык?

Ловушки мышления в тестировании

Существует прямая связь восприятия человека с образом его мыслей, мнением относительно различных ситуаций. Не всегда мышление и мнения человека объективны — в них могут наблюдаться систематические ошибки и отклонения. При возникновении подобных отклонений видимого от реального, говорят о ловушках мышления или же, научным языком, о когнитивных искажениях. Программное обеспечение неизменно создается людьми, тестируется людьми и, в большинстве случаев, используется людьми. И каждый человек в этой цепочке подвержен собственным когнитивным искажениям.

Лояльнi та мотивованi тестувальники: вони такi iснують

Управляти людьми, підтримуючи їх рівень мотивації на стабільно високому рівні, при цьому розвивати як особистісно, ​​так і професійно, враховуючи потреби компанії - легко! Тільки в книгах)
Будем розмірковувати про принципи та підходи в управлінні людьми, з фокусом на тест-спеціалістів. А саме:
- Як отримати лояльних та досвідчених людей;
- Як мотивувати людей окремо і в команді, орієнтуючись на результат, потрібний компанії

ReportPortal.io - Как заставить Машинное Обучение разбирать результаты ваших автоматизированных тестов

Каждый проект с автоматизированными тестированием тратит время на построение своей системы сбора и генераци отчетов. Это особенно становится большой проблемой, когда у вас крупная распределенная среда и различные платформы для запусков. ReportPortal дает вам единое место для хранения результатов автоматизированного тестирования со всеми скриншотами и бинарными данными. Вы можете категоризировать свои причины падений, постить баги и просматривать историю запусков в один клик. Увидеть результаты тестов в режиме реального времени. Основываясь на истории предыдущих прогонов и собранных паттернов падений, ReportPortal использует мощь AI (машинного обучения) для анализа ваших новых падений, делая вашу работу за вас.

RQA метрики. Взгляд на качество с разных сторон. Реальное применение.

Что такое качество продукта и просесса разработки. Как его измерять. Какие метрики гарантируют качество продукта, а какие важны для принятии решения о готовности продукта к релизу. Тренды качества, их польза в понимании улучшения качества продукты и процесса разработки. Абсолютные и относительные метрики. Инструменты.

GDPR - An overview and its relevance for QA

This talk will give you a quick overview of the General Data Protection Regulation (GDPR), that goes into law in Europe starting May 25, 2018. Additionally the talk will primarily focus on the parts that are especially important for people working with testing & quality assurance. Organisations outside EU will also be heavily affected by this, as european organisations will require "GDPR compliance" from service providers, no matter their location.

Жизнь мобильного приложения после версии 1.0 или поговорим об апдейтах

Мир мобильных технологий развивается стремительно и постоянно. Еще даже не выпустив первую версию приложения на полки виртуальных магазинов, вы уже начинаете думать о тех фичах, что войдут в следующую версию. А в первой версии еще остались какие-то незначительные баги. А тем временем вышла iOS 10, за одну ночь 50% ваших пользователей обновились, и не поддерживать ее теперь просто нельзя... О чем еще думать после выпуска первой версии приложения? К чему быть готовым? Каких факапов опасаться при обновлении? Ответы на эти вопросы и сформировали этот доклад.

Secure messaging - how to protect yourself & your company

Our online communications with family, friends & business are increasing both in volume and number of applications we use. While a majority still don't know 2-factor authentication or end-to-end encryption, more and more people are using secure messengers like Signal, Whatsapp and Wire. However unecrypted email is still the most common way of transferring information and files over the Internet. This talk will give you an overview of key technologies & their implementations in various messengers. Last but not least I will show you how email can be made more secure in the future, based on existing standards that may become mandatory in all of EU within a few years.

Selenoid: запускаем Selenium тесты в Docker контейнерах

В этом докладе я расскажу о новом инструменте - Selenoid, позволяющем легко запускать браузерные тесты в Docker-контейнерах. Мы поговорим об основных проблемах при запуске тестов в браузерах, и как они решаются при использовании контейнеров, а затем пройдемся по основным возможностям Selenoid. Поверьте - работа с Selenium может быть приятной!

Эстимации: от "пальцем в небо" до "вешаем в граммах". Как получить пользу от каждого метода

Многим знакомо понятие "высокоуровневой оценки", и многие знают, как легко она превращается в обязательства, исполнения которых требуют с точностью до минуты. Как быть, когда в рамках недельного спринта нас просят оценить целиком трёхмесячный релиз? Как на размер задач влияет доступность бизнес аналитика? Зачем от нас просят оценку "в пингвинах" если мы говорим про человеко-дни?
В рамках этого доклада мне бы хотелось рассмотреть эти, а также иные популярные вопросы, которые регулярно возникают у наших команд во время их работы. Разберём имеющиеся подходы к оценках, проанализируем сильные и слабые стороны подходов. И не забудем сравнить с проектными ограничениями, ведь только обладая полной картиной можно понять какой же из вариантов подходит в каждом конкретном случае.

Работает ли A/B тестирование?

Рано или поздно в команде начинаются разногласия: споры о новом дизайне, более интуитивном пользовательском интерфейсе. А как насчет традиций, культуры и мировоззрения других народов? Например, Азия? :)
И тут приходит к нам на помощь A/B тестирование. А работает ли оно вообще? :)
В своей презентации я хочу поделиться идеями и реальными примерами как нам помогло A/B тестирование в решении проблем на проекте, как мы подготавливались и настраивали процесс, а также проводили анализ результатов. Рассмотрим реальные примеры A/B тестирования и вспомним нашумевшую ленту новостей в Facebook ;)
Презентация будет интересна как тем, кто никогда не слышал про такой вид тестирования, так и тем, кто слышал, но на практике никогда не применял и, возможно, захочет попробовать у себя на проекте.

Rocket science - challenges of mobile quality

Quality Assurance industry keeps changing very fast. Sometimes back it was a standard to use Waterfall, gate keepers of the quality were large QA departments and it took months to deliver software to customers.
During the last decade many companies decided to move from Waterfall to Agile, added Mobile apps to their portfolio, some got rid of QA departments and made feature developers test their own code. It worked well for some companies but it failed badly for others.
The talk is about the way how we overcame some of the challenges in Mobile software development and quality - testing on right level, risk-based testing, mobile test automation and QE processes.

Тестирование геолокационных систем

Хочу рассказать вам историю о том, как мы строили и продолжаем строить тестирование геолокационных сервисов. На самом деле доклад будет не столько про географию, а о том, как сделать тестирование сложного простым.

Как провести тестирование на безопасность Web application

В своем докладе на практических примерах поведаю вам, как проводить поиск различных видов уязвимостей для улучшения безопасности веб-приложений. Специальными гостями нашей программы будут:
- xss
- sql injection
- man in the middle
- brute force

E2E тестирование: Проблемы и рекомендации в организации процесса тестирования для “cross integration” команд

В моем докладе я планирую рассказать что такое End-to-End тестирование в рамках “cross integration” команды, покрыть основные вопросы и проблемы, риски и помехи, которые могут возникнуть во время организации процесса тестирования для такой команды. Дам практические рекомендации как исправить и/или улучшить процесс, основываясь на реальном примере проекта.

Кто должен писать автоматические тесты?

В командах есть разные роли: тестировщики, разработчики, автоматизаторы, бизнес-аналитики. Менеджмент хорошо понимает процесс разработки если каждый этап выполняется разными узкими специалистами. Хорошо это или плохо в контексте эффективного написания и использования автоматических тестов? Приходите, попробуем обсудить и разобраться в этом вопросе.

Современные возможности в организации ProtractorJS фреймворка

Мир автоматизации на JS развивается семимильными шагами. Один из популярных фреймворков ProtractorJS так же не стоит на месте и обзавелся поддержкой TypeScript, ControlFlow вскоре будет убран в пользу нативных средств синхронизации типа async/await. Мы рассмотрим эти и другие фичи, которые упрощают жизнь автоматизаторам.

Тестирование и мониторинг производительности фронтенда с помощью sitespeed.io

"Ожирение' фронтенда в наши дни - заболевание очень распространенное. Пациентов с таким диагнозом мы каждый день видим в окне браузера. Как противостоять распространению 'заболевания' и контролировать 'проблемных' пациентов? В своем докладе я расскажу Вам о том, как с помощью бесплатного инструмента sitespeed.io находить проблемы производительности фронтенда на ранних этапах разработки и в продакшн среде, как мониторить производительность на постоянной основе и создавать емкие и понятные отчеты для всех участников процесса разработки и эксплуатации.

Тестовая стратегия: создание и оптимизация

Тест-менеджер ставит перед собой и командой долгосрочные и сложные цели. Например, как выбрать и соединить вместе изученные техники и виды тестирования, как понять, почему в одних условиях у нас получилось провести “качественное” тестирование, а в других нет? Как понять, будет ли эффективна автоматизация на проекте прежде, чем вложиться человека-годами в Фреймворк и тесты? Ответы на эти вопросы находятся в «стратегии тестирования». Она есть у каждой команды, пусть и не в осознанном и формализованном виде. Поэтому нужно научиться пользоваться этим инструментом, уметь как составлять тестовую стратегию с нуля на проекте, так и оптимизировать уже существующую стратегию.

Смартфон, интернет и реальная жизнь

Задумывались ли вы, что стоит между вами и картинкой милого котика в вашем смартфоне? Почему мордочка котика грузится так медленно? Может ли эта картинка может стоить вам разряженой батареи и почему? И что разработчики мобильных приложений могут сделать, чтобы котики и пользователи были счастливы?
Это, а возможно и не только, будет интересно и тестировщикам (и мобильных, и веб-приложений) и просто владельцам умного телефона.

Вы думали ваши секреты в безопасности. Вы ошибались

Доклад по информационной безопасности для инженеров. Целевые группы, способы доставки вредоносного ПО, смягчение рисков. Мы поговорим о том, кто, как и зачем распространяет вредоносное ПО. Где и как проще всего заразить свой ПК. Как обезопасить себя и окружение от угроз. Навеяно происходящим. Основано на реальных событиях.

Разработка мульти-платформенного мобильного SDK: что может пойти не так в плане качества?

Мобильная индустрия развивается быстрыми темпами, и многие тестировщики сталкивались со спецификой тестирования мобильных приложений. Но кроме полноценных мобильных продуктов некоторые компании разрабатывают SDK, которые используются другими разработчиками. В докладе Вы услышите об особенностях тестирования мобильного SDK, почему Вашего тестирования никогда не будет достаточно, и убедительные доводы о том, почему разработчики - лучшие друзья тестировщиков :)

Kotlin без маркетинга

На каждой конференции должна быть доля хайпа. В этом докладе я расскажу как мы вообще докатились до Kotlin и что из этого вышло. Расскажу о проекте Kirk и поделюсь секретиками которые помогут вам в повседневной жизни.

Management != managing horses

You might wonder why this title? Because the word manage comes from the Italian maneggiare (to handle, especially tools or a horse) and because if there is a team it does not need to be managed, it needs a goal and support. This talk if for you if are in a “management” or leadership position, if you are working within a team, if you want to work in a team but cannot move on from being a group, if you are working within a team and cannot find your place and especially if you want to have some knowledge in what it takes to create a team.

Автоматизация тестирования мобильных приложений: опыт продуктовой компании

Поговорим о проблемах автоматизации для iOS и Web, о том как синхронизировать работу manual и automation QA, о проблемах которые возникают когда люди практически без опыта программирования начинают писать автоматические тесты и о том как мы эти проблемы решили.
Затронем тему распараллеливания выполнения тестов. Поговорим о том, как выглядит процесс тестирования продукта, в котором 70-80% функционала автоматизированно.
Цель доклада показать как можно построить эффективный процесс автоматизации и как manual QA могут помочь в этом.Хоть мы будем говорить о WebDriver и Appium, в целом доклад на них не фокусируется (так же не требуется знание какого-то конкретного языка программирования).

Как сэкономить время на анализе отчетов о нагрузочном тестировании

Каждый знаком с ситуацией когда утром необходимо прийти и проанализировать свои автотесты за чашечкой кофе. У кого-то их мало и справляються с этой задачей не допив кофе. У кого их много и одной чашки кофе для этого мало. И эти люди уже начинают строить графики и дашборды для экономии своего времени. А что делать когда ты тестируешь нефункциональность? Когда количество тестироумых функций исчисляеться сотнями? Когда у тебя на выходе не банальный TRUE/FALSE, а десятки показателей на один сценарий. А давайте теперь еще умножим это все на несколько задействованых вариантов сценариев и нагрузок. Для анализа огромного количеств результатов необходимо огромное количество времени. А как еще исключительно без перетестов определить что изменилось по сравнению с предудущим днем и кто виноват? Вот докладчик и предложит подход к анализу результатов нагрузочного тестирования, который позволит сэкономить время.

Контрактное тестирование на примерах или Contract First

Почти любое мобильное или веб-приложение получает данные с бэкенда через REST. При тестирование такого приложение часто возникает вопрос, кому отправить дефект на устранение? Чья реализация клиента или сервера является ошибочной?
Для ответа на этот вопрос:

• мы рассмотрим такие виды спецификации как RAML и Swagger;
• увидим как их использование упрощает ручного тестирования в Postman;
• познакомимся с такими инструментами для автоматизации тестирования как Dredd и Abao;
• разберем как поставить процесс контрактного тестирования

A ты готов к интеграционному тестированию?

Системное интеграционное тестирование является важным этапом тестирования и обязательным для больших проектов, но обычно это плохо изученная и часто плохо управляемая фаза тестирования.
В своем докладе я хочу продемонстировать один из подходов к интеграционному тестированию на практике банковского проекта, рассказать об особенностях и на что стоит обратить внимание при организации и проведении интеграционного тестирования систем.
Основной фокус доклада - раскрыть все «изюминки» интеграционного тестирования и дать общие рекомендации по тому как не наступить на грабли.

Грай! Або: як граючи стати кращим

Ця доповідь про те як розвивати свою команду використовуючи гейміфікейнш. Про задачі, які ви зможете ефективно вирішити завдяки продуманному дизайну навчально-ігрових заходів. Про те, як перестворити ці заходи на заохочуючі і нетривіальні, базуючись на реальних прикладах. Будуть цікаві артефакти та інструменти, які ви зможете перевикористати і застосувати на практиці. І, звичайно ж, буде декілька слів про щастя та про те, як зробити світ навколо себе кращим.

Примеры ускорения автотестов

Нас часто спрашивают: Сколько нужно времени на тестирование? Правильный ответ должен быть таким - минуты. Именно минуты, а не десятки минут, часов или дней… Такого результата от нас ждёт бизнес и разработчики. В своём докладе я хочу рассказать о практических приёмах, как я ускорял тесты.

Создаём универсальный конвейер тестирования для автоматизированного тестирования веб-приложений с помощью Docker

Доклад предполагает рассмотрение пошагового создания конвейера в Jenkins при помощи Docker Pipeline Plugin а также образа Docker для воспроизведения автоматических тестов для веб-интерфейсов на примере фреймворка на базе py.test. Предлагается рассмотреть расширенные возможности, например, сохранение скринкаста в качестве артефакта сборки.

JMeter & Blazemeter Taurus: как взять быка за рога

Данный доклад может быть полезен людям, занимающимся тестированием производительности на практике и тем, кто собирается внедрять тестирование производительности у себя на проекте.
В рамках доклада мы поговорим о фреймворке Taurus от компании Blazemeter - инструменте, скрывающем сложность performance-тестов за удобной и дружелюбной для автоматизатора оберткой.
Игорь затронет следующие темы:

• особенности инструмента
• интеграция с JMeter
• опыт использования
• концепт решения на основе Taurus и JMeter

Антипаттерны и запахи в автоматизации тестирования

Знакомо ощущение, когда смотрите на код, тест-кейc или на процесс - "здесь что-то не так"? Значит вы уловили этот запах - "test smells". К сожалению, не всегда понятно - от чего же он, и даже больше - что с ним делать. Непонимание, и как следствие, неверное применение хороших практик, собственные адаптации и приводят ошибкам, сложностям и еще большему усугублению проблемы.

В этом докладе, я поделюсь с вами своими мыслями и опытом. Как выглядят популярные проблемы, антипаттерны и запахи. Как их различить и что сделать, чтобы избавиться от них.

Applying AI to testing

If the future of testing is AI, I will show you how.
Various automation tools are available, but due to high creation and maintenance efforts for tests, GUI-Testing is still mainly a manual task. Meanwhile overall testing effort has risen to make up 30% of a typical software budget. Is crowd-testing the answer? What if we could have automated test cases be created automatically?
Monkey Testing is not a new idea. But combined with a manually trainable AI and an innovative new testing approach (dubbed ""difference testing""), we can now not only have the monkey search for technical bugs (i.e. crashes) but generate functional test cases that are optimized towards several goals and are even better than manually created ones.
Visit the future of testing and see how AI can help us create better software!

Тестирование основанное на рисках в реальности: как с ним работать

ЧТО? и КАК? Вы можете протестировать имея ограниченное количество времени?
Это вероятно два самых популярных вопроса в реальной жизни современного QA. Тестирование основанное на рисках один из подходов в тестировании, который позволит вам концентрироваться на том что действительно важно.
Во время доклада, мы с вами обсудим следующее:

• Что же такое «риск-бейзд» тестирование на практике,: какие риски есть в тестировании реального проекта? Как их определить? Как их оценить?
• Как внедрить «риск-бейзд» подход на вашем проекте?
• Как вовлечь столь необходимых вам стейкхолдеров?
• А дальше мы посмотрим как строить тестирование на основании рисков, как поддерживать его в последствии и что же делать с новыми рисками которые будут происходить с ходом эволюции вашего продукта
• И последний в теме доклада, однако не последний по важности вопрос: как измерять качество продукта в "риск-бейзд" тестировании, какие метрики взять за основу?

Minimum Usable Framework

Должно быть очевидно, что написание фреймворка с нуля на каждом новом проекте одного и то же типа - трата времени. Вероятно дожно быть какое то ядро которое можно переиспользовать с целью быть более эффективным. Но где же та граница между ядром и супер-супер кухонным комбайном который в конце концов будет ограничивать переиспользование. В этом докладе мы попробуем определить тот минимальный набор фич такого ядра на примере построения фреймворка для автоматизации веб приложений.

Test Automation Puzzlers

Test Automation Puzzlers - необычный формат, который мы решили попробовать на конференции по тестированию. Смесь каверзных вопросов и хорошего настоения позволят вашему мозгу отойти от суровых докладов о перформансе, хайповых Kotlin и Javascript. Конференция - это в первую очередь общение между спикером и публикой, в этом формате вы будете не просто посетителями, а полноценными участникамий действа.

Разработчик + тестировщик = качество++

В Agile подходах поменялось отношение к качеству и роли тестировщика. Теперь за тестирование и качество продукта отвечает вся команда. Но мало кто представляет как эти подходы работают на практике, как осуществляется взаимодействие тестировщиков с разработчиками, какие стадии проходит задача на пути от требований до приема заказчиком, кто чем занимается на разных этапах.

Я встречал немного команд, где практикуют тесную работу разработчика с тестировщиком. В некоторых проектах данного подхода избегают ради экономии времени разработчика, на других - ради сохранения независимости мнения тестировщика. Разработчики тоже далеко не всегда понимают, чем конкретно может помочь им на практике тестировщик. Тем не менее, данная связка способна существенно улучшить качество продукта и избежать многих проблем.

В докладе мы поговорим о мотивации парной работы разработчика с тестировщиком, конкретных практиках и подходах на разных этапах работы над задачами, а также преимуществах, которые могут извлечь обе стороны из такой работы.

Системы тест менеджмента: обзор и краткое введение в лучшие практики

Несмотря на смещение тестирования в сторону автоматизации с развитием и усложнением проектов часто встаёт вопрос "а что реально мы тестируем и как оценить что мы вообще тестируем и насколько мы покрываем то, что действительно нужно", для чего и существуют системы управления тестами. В своём докладе я постараюсь рассказать о том, какие они бывают, познакомить с некоторыми чуть ближе и рассказать о личном опыте использования, включая разбор оптимальных подходов к наполнению и использованию систем и ошибок, которые могут привести к хаосу и бесполезности использования утилиты.