QA Fest 2018

Вы всё еще пилите свой отчет? Тогда мы идем к вам!

С момента релиза второй версии Allure прошел уже год. За это время у нас сильно увеличилось количество тестов, мы переехали на новые инструменты и научились визуализировать информацию о качестве наших тестов. Все эти изменения отразились на Allure, и мы выпустили новую мажорную версию нашего отчета. Доклад будет одинаково интересен как тем, кто незнаком с Allure-отчетом, так и активным пользователям. Мы добавили довольно много новых фич. Приходите, будет интересно!

Shift-Left Testing

Наиболее дешевый способ разработки - это тот, где артефакты за ОДНУ итерацию попадают в использование к клиенту. Без 10+ итераций доработок из-за найденных ошибок. В докладе мы рассмотрим набирающий популярность на западе подход shift left testing. Его цель - предотвращение возникновения ошибок, а не привычный для многих поиск уже сделанных ошибок в ПО. Тестирование со сдвигом влево предполагает, что тестирование и разработка работают в тандеме и, как следует из названия, тестирование переносится на самые ранние этапы разработки.
- Вы узнаете зачем нужно тестировать требования и документацию. А также рассмотрим какие инженерные практики помогают сделать это частью культуры в команде. (code review, pull request, spec by example, bdd, atdd)
- Рассмотрим какие виды автоматизированных тестов и когда нужно писать, дабы уменьшить количество ручных тестов на поздних этапах разработки продукта. (tdd, bdd, atdd, компонентные и интеграционные тесты)
- Разберем как изменяются совместные командные активности и функциональные обязанности каждого члена команды. (Планирование, грумминг, ретроспектива, демо, dsm, составление тестовой стратегии, планирование тестирования).
- Вспомним почему так важно проектировать тестовую модель с использованием практик тест-дизайна, а не полагаться только на исследовательское тестирование. Вспомним тестирование потока управления, циклов, потоков данных. Рассмотрим на практических примерах, почему разработчикам необходимо осваивать навыки тест-дизайна.
- В завершение рассмотрим один из способов подсчета test coverage и чем оно отличается от code coverage. В качестве примера нарисуем граф требований и проверим покрытие тестовой модели.
Весь доклад будет рассмотрен на примере тестирования очень простого приложения, состоящего из одного микросервиса, БД и WEB-странички. Shift left testing лежит в основе методологий Agile и DevOps.

Progressive Web Apps, Android Instant Apps и Accelerated Mobile Pages - заменят ли они обычные мобильные приложения?

Перспектива создать мобильное приложение, которое не нужно скачивать и ждать ревью из App Store, очень заманчива, ведь аналогов привычным приложениям существует сразу несколько: Progressive Web Apps (PWA), Android Instant Apps (AIA) и Accelerated Mobile Pages (AMP). Но и здесь нет серебряной пули: у каждой из заявленных технологий своя специфика разработки, поддержки и тестирования. В докладе мы рассмотрим каждую из платформ детально и сравним их с “обычными” мобильными приложениями, чтобы быть готовыми к обеспечению качества даже в столь необычных и новых проектах.

1001 причина использовать Ggr в своем кластере Selenium

Современная разработка невозможна без эффективных инструментов. Тестирование и, в особенности, автоматическое тестирование в браузерах не исключение. С ростом команды вам требуется все больше и больше параллельно запускаемых браузеров. Всем известный Selenium server и архитектура Selenium Grid начинает работать медленно даже при нескольких десятках работающих браузеров. Ggr - это легковесное решение, отлично работающее даже в очень больших кластерах, состоящих из тысяч параллельно работающих браузерных сессий.
Этот доклад подробно рассматривает Ggr - эффективный балансировщик нагрузки для Selenium, незаменимый в случае, если вам нужно запускать десятки с сотни параллельных сессий. Я начну с основ балансировки нагрузки в Selenium и покажу все основные возможности Ggr. Вы увидите как легко посмотреть на любую работающую сессию в реальном времени или скачивать видео прошедших тестов для любой из сессий, выполняющихся на сотнях Selenium хостов.

Что такое Metasploit? Как его использовать для проверки безопасности проекта?

Ни для кого не секрет, что при разработке проекта мало кто уделяет достаточное внимание проверке безопасности приложения. Даже когда и задумываются об этом, то очень часто упускают из внимания уязвимости железа и ОС, которое коммуницирует с вашим приложением. В своем докладе я расскажу и покажу на что следует обращать внимание при тестировании безопасности вашего продукта. А так же насколько важно применять тестирование безопасности. Ну, и как обычно, свои доклады я сопровождаю не только теорией, но и практическими примерами. На этот раз специальными гостями будут:
- Nmap
- Metasploit
- Ettercap

Оцінити все. Інструментарій практика.

Ця доповідь про практику оцінювання та про інструментарій, який допомагає підвищити точність оцінок і зробити їх більш передбачуваними та керованими. Доповідь має прикладний характер і дозволяє перейняти будь-який з підходів щоб застосувати зі своїм командами, для ваших проектів та продуктів.

Case study: Тестирование миграции пользователей

Хочу рассказать про наш опыт миграции пользователей в базы данных внешней системы, как мы выбирали подходы и сценарии для тестирования, с какими сложностями столкнулись, какие полезные выводы сделали. Никакой теории, исключительно разбор живого случая с конкретными примерами.

Мобильное тестирование. Ищем проблемы-невидимки

Тестирование не стоит на месте, а мобильное тестирование тем более. Что включает в себя производительность мобильного приложения и какие метрики можно выделить? Как поможет старый добрый Charles при тестировании производительности? Monkey Exerciser, Android Profiler и Battery Historian - инструменты разработчиков или же лучшие друзья тестировщиков в нефункциональном тестировании мобильного приложения?
Цель моего доклада - рассказать о распространенных проблемах-невидимках, которые влияют на качество мобильных приложений, но о которых часто забывают в процессе тестирования.

5 из 36: Кто не рискует тот не выигрывает

Каждый раз когда вы задумываете нечто грандиозное вам необходимо учесть, что ваши планы могут быть нарушены. Позднее прибытие в аэропорт или недоступность продукта - неважно. Риски существуют параллельно с нами, и это факт, с которым нужно смириться, для того чтобы научиться жить в гармонии с ними. В работе с рисками можно применить различные подходы, нацеленные на достижения различных результатов. Давайте проверим какие из подходов рациональны в различных ситуациях и как получить максимальную отдачу от управления рисками (или даже хотя бы от их идентификации).

Использование голосовых помощников для разработки и тестирования

Голосовые помощники могут стать интересной и забавной заменой обычных чат-ботов. Таких помощников можно заставить выполнять практически любые ваши команды и они неплохо распознают голоса. Это приводит к интересным особенностям использования и дает дополнительные каналы информации. Посмотрим зачем это вообще нам нужно, а если окажется что ненужно - мы будем это знать.

ATDD и CodeceptJS: Эффективное тестирование без страданий

Тесты - это боль. Сколько не пиши их - боли и страданий становится только больше. Что могло пойти не так? Возможно наши тесты слишком завязаны на реализации - вместо того, чтобы тестировать приложения мы фокусируемся на том как правильно автоматизировать команды браузера. В этом докладе мы рассмотрим:
- как писать эффективные тесты
- 3 качества хороших тестов
- как не мешать спецификацию и реализацию в тестах
- как видеть будущее и писать тесты через ATDD
- что такое CodeceptJS и почему он клёвый

UI тестирование Unity3D приложения — фантазия или реальность?

Автоматизированное тестирование в игровой индустрии большая редкость. Продукт очень специфичен и легче его протестировать руками… Постоянные изменения продукта… Недостаточное количество технологий, которые помогли бы начать автоматизированное тестирование с нуля... Существует огромное количество отговорок, что бы не проводить автоматизированное тестирование в гейм индустрии.
Но что, если вы тратите огромное количество времени на регрессионное тестирование, снова и снова вам нужно прокликать каждый UI элемент игры перед новым релизом или патчем?
В этом докладе мы поговорим про автоматизированное тестирование игр, написанных на игровом движке Unity3D. Я расскажу, как мы проводим тестирование UI, почему мы решили написать собственный UnityDriver и как это можно сделать. И в заключение, я поделюсь с вами небольшими приёмами и советами, которые могут быть полезны в вашей автоматизации.

Карты, деньги, консоль браузера для QA

Игральные карты - лучший инструмент для шулера. Деньги - для финансового воротилы. Сегодня мы поговорим о консоли браузера - лучшем на мой взгляд инструменте для любого тестировщика. Выясним, как с помощью консоли мы можем быстро диагностировать проблемы, что поможет нам делать наши продукты лучше, быстрее и качественнее.

Analytics Data Driven Testing

"Without data, you are just another person with an opinion". How can we use data to help us test our product better and be more efficient? In this lecture, we'll discuss the use of BI in testing, implementing BI using Google Analytics or an internal company BI system, TPAs (Anodot, Grafana, TrackJS), and making smart decisions using data.

ELK stack. Применение в нагрузочном тестировании и не только

Поговорим о том, что такое ELK stack, как его установить и начать использовать. Расскажу о том, как визуализировать результаты нагрузочного тестирования в реальном времени при помощи этого инструмента. Также заденем тему обработки различных логов, например логов приложения или автотестов.

The Secret to Successful Testing

How good is your testing? Do you know? And if you do, can you explain why?
One way to measure the success of your testing is to compare the information you now have about your product, to the information you intended to gather when you started testing. That intention is what your test strategy should capture and communicate. That last word is important: communicate. Even the best testing in the world isn't worth anything if you can't communicate what you're going to do, what you've done, and why.
In this presentation I will show how I think about, model and visualize a strategy that is useful and that lets me later assess how well testing is fulfilling its mission, whether it's for hands-on testing that I'm doing to do on that particular day, or if I'm managing a multi-site project with cross-functional agile teams and need to construct a high-level starting point for test planning for the coming 6 months.
Furthermore, I will discuss how to divide the strategy work between different project members and how to make sure that the quality assessments and reporting can be made valuable and, above all else, actionable by the project manager and product owners.
This talk is directed at all types of project members, managers and other stakeholders who works with product quality.

Фреймворк для тестирования производительности

В докладе рассмотрим фреймворк для проведения нагрузочного тестирования. Он решает проблемы интерактивной визуализации собраных метрик, хранение истории, анализ причин ошибок, сравнение нескольких тестов и т.д. В jmeter "из коробки" удобство хранения результатов и анализа находится где-то +- на уровне дна, в следствии чего и было разработано это решение. Используемые open-source инструменты: Apache Jmeter, Grafana, Influxdb, Telegraf, Sitespeed.io, Jenkins, Webpagetest. Все это завернуто в докер контейнеры, что позволяет поднять фреймворк буквально за несколько минут. Подробнее на примеры можно посмотреть в readme на https://github.com/serputko/performance-testing-framework.

Test Automation Pyramid, how it ruins your life

Практически любую проблему человечества можно описать в виде "пирамиды". Про пирамиду Маслоу и финансовые пирамиды слышали все. Тестировщики тоже люди, и они придумали свою священную пирамиду - пирамиду автоматизации тестирования. Эта концепция доминирует на рынке уже многие годы и приносит свои позитивные плоды. Но есть и темная сторона этого процесса, выгорание, уныние и забвение в погоне за пирамидой тоже не редкость. В своем докладе хочу немного покритиковать устоявшиеся устои и разобраться как выжить в мире разработки и автоматизации с пирамидой или без нее, а также пройтись по антипатернам в автоматизации, которые так или иначе касаются пирамиды.

Risk Analysis

Testing provides the headlights for the project—but where should those headlights be pointed? In a car, the headlights are naturally pointed towards the road ahead, but on a software development project, we don't always know where precisely where we're headed. Problems directly in front of us pose a risk to the business... but where else might risk threaten the value of the product or the project?
In this presentation (co-authored with James Bach), Michael Bolton takes a deep dive into the relationship between testing, problems, and risk. He'll offer an approach to looking at the risk story, and the factors that inform it, and he'll provide you with a set of ideas to help you develop a risk model for your project.

Regression Obsession

In a fast-moving development organization, with each new build, there’s a plausible risk that the product might have somehow got worse. To address that risk, testers often find themselves responsible for—and overwhelmed by—the development and maintenance of an ever-growing automated regression test suite. Is this the best use of the testers’ time? Are the testers in the ideal position to do this well? What about the other forms of product and project risk—the problems that aren’t related to regression?
Michael Bolton identifies factors to consider when linking the risk of regression to your overall testing strategy.

Поваренная книга для тестовых данных

Главная задача доклада «Поваренная книга для тестовых данных» в том, чтобы помочь хозяйственному автоматизатору при наименьших затратах труда и времени приготовить для тестов добротные и подробные данные. Использовать для этого предлагаю разнообразный и ботатый ассортимент фреймворков и подходов, выработанных нашей отраслью. В докладе я расскажу об основах рационального создания и использования данных, мною будут изложены необходимые краткие сведения о стратегиях и паттернах различных подходов, применяемых опытными автоматизаторами. В работе не обойдется без личного опыта.

Никогда такого не было и вот опять: Построение отдела тестирования. Приборы и материалы

Всем привет!
Допустим, вы оказались в ситуации, когда вы единственный тестировщик в команде и вам говорят: набирай людей, расширяйся! Или ещё хуже - компания не айтишная и вдруг захотела завести себе отдел разработки. И организовывать отдел тестирования надо вам. Что делать? Куда бежать? Об этом я и расскажу в своём докладе.

GraphQL is a new sexy

REST плотно засел в наши сердца, но на смену ему идёт прорывная технология GraphQL. В этом докладе я расскажу вам о своем опыте знакомства с этим чудом. Как обычно все будет подкреплено реальными примерами кода и автоматизацией.

Agile підходи поза межами IT компаній. Історії трансформацій і експериментів

Останніми роками слова Agile та Scrum перестали бути екзотикою не тільки в ІТ, а і за межами розробки ПЗ. Ці підходи розповсюджуються зі швидкістю зомбі апокаліпсису в фантастичних хорор фільмах, а запити на тренінги для персоналу надходять з все більш екзотичних типів бізнесу. Чим відрізняється впровадження Scrum/Agile в IT та поза його межами? Які труднощі виникають, та які інсайти і "покращення" помічають команди та керівника компаній? В чому секрет популярності? Про це та багато іншого з власного досвіду роботи з такими компаніями як: Інтертоп, Пандора, Amway, Weatherford, Кюне і Нагель, Наш Формат, Прозорро (і деякими ще) можна почути в цій доповіді. Буде як завжди цікаво та позитивно. До зустрічі!

56k Denial of Service

В XXI веке Интернет опутывает нас все сильнее с каждым днем. Вы можете представить себя хотябы пару часов без чатиков, почты, фейсбучка и инстаграмма? Готов поспорить, что да. Но! Задумывались ли Вы, насколько хрупкой может быть сеть? Что если, для того чтобы все сломать, не нужно прилагать много усилий? Каковы шансы увидеть "500 Internal Server Error" на Вашем любимом сайте, когда Вы зайдете за новой порцией милых котиков?
Этот доклад об уязвимостях HTTP, которые мешают нам жить полноценной сетевой жизнью. Им не нужны огромные ресурсы и достаточно минимального интернет-канала чтобы привести к отказу в обслуживании. И это риск, о котором Вы должны знать, чтобы быть в безопасности. Мы рассмотрим разные типы атак, найдем схожее и поймем разницу. Поближе познакомимся с их внутренними механизмами, поймем почему это вообще стало возможным и "как это работает" (с). Так же, мы научимся проверять уязвимости наших серверов и сервисов, устранять риски. Пополним свой инструментарий и, конечно же, направим всю эту энергию в мирное русло, что поможет тем, кто так или иначе работает с тестированием веб.

Testing neural network, or how to convince AI love the humans

Основна ідея нашого продукту - розуміти живу людську мову (natural language processing - далі NLP) щоб допомогти страховим компаніям автоматизувати рутину. Спочатку ця функція майже повністю лежала на нейромережі. Проте разом із розумнішанням наших чатботів з цим підходом виникли проблеми, і юзери часто йшли з відчуттям що їх відверто потролили. Буду радий поділитись практиками, за допомогою яких наша команда розробки вивела NLP на якісно новий рівень. Ну і куди ж без веселих скріншотів переписок користувачів з ботами :)

How to manage your test data for successful test automation

Almost any application or software system manages data. It is hard to imagine test automation that is not affected by this fact. There are many differenct approaches how to prepare system under test, providing predefined test data: use application UI, invoke API methods, run business logic directly, access DB from test scenarios, etc. In this talk we will review most of existing approaches, starting from the easiest and the most popular ones and finishing with really tricky ways to manage your test data for large distributed systems. There is no ideal solution for every case or silver bullet, but I hope your toolset will become wider after visiting this talk.

REACTive automation: how to avoid shooting yourself in the foot

React является одной из самых популярных библиотек для построения пользовательских интерфейсов на текущий момент. Она позволяет создавать закрытые компоненты, умеющие управлять собственным состоянием, а так же - объединять их в более сложные UI блоки. Что же это может означать для автоматизаторов? В рамках предложенной темы будут рассмотрены потенциальные проблемы, с которыми вы можете столкнуться при автоматизации React приложений. Вы увидите практические примеры добавления спец. аттрибутов для закрытых компонентов, познакомитесь с нюансами работы с таблицами и графиками, а также узнаете о способе генерации различного рода событий для сложных UI элементов.

Объективная оценка качества программного продукта

Автоматические тесты — единственный объективный и оперативный источник информации об истинном качестве разрабатываемого программного продукта. Современные приложения настолько сложные, что без хорошего покрытия автоматическими тестами оценить качество в разумные сроки можно только субъективно: нравится или не нравится тестировщику, менеджеру или заказчику, "вроде бы работает", "смоук-тесты проходят — уже хорошо". В докладе обсуждается метод автоматического подсчета качества программного продукта, который позволяет объективно оценивать результат работы разработчиков, а также объективно принимать решения о релизе проекта.

Между двух реальностей. Тестирование AR/M

“Виртуальная реальность” или “Дополненная реальность”? А может “Смешанная реальность”? Эти понятия становятся все доступнее пользователям и захватывают рынок. И, соответственно, появляется все больший спрос на разработку приложений с поддержкой данных технологий. Я расскажу об их главных отличиях и особенно о AR/MR: специфике тестирования и критериях качества. И, основываясь на опыте, поделюсь информацией о том, на что обратить внимание, чтоб не пропустить реальные ошибки в виртуальном мире.

Automated Security Scanning in Payment Industry

Our QA world is focused on two topics: Automation and Cybersecurity. This case study shows how you can combine them successfully, by enhancing your automation with security scanning. We will use WebDriver and OWASP ZAProxy as our examples. Even with low investment and entry knowledge you can start playing with tools like automated scanners. We will show case study how to get fast benefits from combining them with Selenium test automation. See how to reuse your existing automation to get additional security scan results with almost minimum effort. With that You can easily enter software security world with minimum investment.

Доменное тестирование – новое или хорошо забытое старое?

Техники тест-дизайна – «математика» тестирования. Новые техники появляются достаточно редко. 2 года назад вышла книга Сэма Канера «The Domain Testing Workbook”. Давайте посмотрим на технику доменного тестирования, и попробуем разобраться, новая ли это техника, или переформулированная старая? Что общее и что отличает доменное тестирование от других техник тест-дизайна? Мы также рассмотрим на практике несколько примеров применения доменного тестирования, а также ее применимость и перспективы.

Regression is my profession!

Парадокс: чем больше опыта тестировщик нарабатывает, тем сложнее организовать регрессионное тестирование. То, что когда-то казалось простой задачей, уже таковой не кажется. Рассмотрим причины этого парадокса и его разрешение.

Методология использования машинного обучения в нагрузочном тестировании или как находить узкие места автоматически

Сегодня никого не удивишь высоконагруженными системами. И мало кого в нашей индустрии удивишь отдельно выделенным человеком который занимается нагрузочным тестирование. Большинство людей думают, что они все могут автоматизировать и тесты будут запускаться автоматически. Вот только мало кто знает, что львиная доля времени уходит на анализ результатов (логов и графиков). В докладе будут рассказаны подходы, как возможно сократить время для поиска узких мест при анализе различных логов. Как можно применить простейшие модели машинного обучения для поиска узких мест. И как получить требования с помощью исторических данных.

React Native is Coming – the story of hybrid mobile application testing

Main idea of this talk is to show what technologies can be used for cross-platform mobile app development and how to deal with UI tests automation for them. I will outline set of challenges every tester and developer needs to conquer and give some tips how to solve them. During this talk I will present how to apply UI tests in React Native project using Detox framework.

Нагрузочное тестирование в последний момент и что из этого получилось

Я расскажу про один из проектов по тестированию производительности в котором я принимал непосредственное участие. Это история о том, как все на проекте может пойти не так; о необычных технологиях, инструментах и подходах; про паникующих клиентов и руководство. И о том, как с этим справиться и не сойти с ума. Приходите, я буду рад побеседовать и ответить на вопросы. Увидимся!

TESTO: true testers game

Приглашаем всех желающих поиграть в новую настольную игру для тестировщиков, а также для тех, кто только начинает свой путь в тестировании! TESTO - игра, которая дает возможность бросить вызов своей экспертизе, вспомнить забытое и весело провести время в кругу коллег. Вас ждет много интересных и разнообразных вопросов из сферы тестирования, автоматизации и компьютерных технологий в целом. Более того, TESTO открывает прекрасные возможности для обмена опытом, командной работы и приятного непринужденного общения. Так что, присоединяйтесь - и позитивные эмоции и активация вашей компетенции в тестировании гарантированы!