QA Fest 2016

Website security 101

Setting the standard: Website security for the Norwegian government

In May 2016 Per Thorsheim assisted the Norwegian government in developing a recommendation on how all government organisations should deploy HTTPS by default for all websites. These recommendations includes security settings to minimize risk of illegal Man-in-the-Middle attack, including eavesdropping and interfering with data.

Ordered by the department of justice, this will be the standard for all government organisations in Norway, and will also act as a strong recommendation for the private sector.

This standard will have a massive impact for the increased security & privacy for all citizens in Norway, as well as any visitors to government websites of Norway. This is also something we would like to for other countries to do as well.

Пишем видео во время прогона тестов

В докладе пойдет речь пойдет о записи видео во время прогона тестов. Доклад будет полезен тем, кто хочет узнать, как получать не только скриншоты, но и видеозапись упавшего теста. Запись видео - это сложно? Я покажу способ, который позволяет записывать видео с помощью всего пары аннотаций.

Автоматизация и контейнеры

В докладе речь пойдет о применении технологии Docker, как инструмента, способного облегчить работу тестировщиков автоматизаторов. Вы уже слышали о Docker, но не знали как его можно применить? В докладе я покажу наглядные примеры использования Docker.

Page Objects: лучше проще, да лучшe

Page Objects, вероятно, самый известный на сегодня паттерн, используемый в автоматизации через UI. И самый простой, скажете вы? Не соглашусь, по моим наблюдением применение данного паттерна таит в себе подводные камни даже для наиболее типичных веб-приложений.

В данном докладе я познакомлю вас с тремя простыми и практичными видами PageObject архитектуры - Static, Void и Fluent, продемонстрирую использование кодом, сравню плюсы и минусы подходов. Также я расскажу о важных недостатках Yandex HTMLElements и о некоторых других неудачных подходах, которые повторяются из одного самодельного фреймворка в другой. Вы увидите на примерах, как простой код решает проблемы лучше, чем слишком умный. Примеры на языке Java/Selenide легко переносимы и на другие языки программирования (.NET, Python и другие).

Тест-дизайн для чайников

В своём докладе я расскажу вам о том, кто такие тест-аналитики, тест-дизайнеры и должны ли их роль выполнять обычные тестировщики. Также сделаю обзор основных и проверенных методик тест-дизайна. Расскажу про их плюсы и минусы.

Будем учиться тестировать не 12 часов, а головой!

Website performance from user perspective

When doing web application performance tests we usually present statistics from tools that simulates real users as a results from tests. This approach works for APIs and simple sites that does not require additional resource like javascript, css or image files. For most modern websites measurements collected that way give stakeholders information only about performance and stability of the first layer of application but give no information about performance seen from user perspective. To collect such information we need to use other tools and approaches.

In my presentation I would like to share experience my team collected when designing and implanting performance tests strategy that aims to give 360 degrees view on application performance. Such solution gives developers fast feedback about performance changes, provide tools for testers to estimate site performance before going live and measures customer experience. In particular I would like to present:

• rules for building high performance web sites
• concepts of synthetic and real user measurements
• when and what for use load generators
• potential issues with test environment
• metrics that could be collected
• JavaScript Resource and Performance APIs
• open source and commercial tools that can be used

Секрет успеха: как стать и оставаться востребованным на рынке IT

Что включить в резюме, чтобы не только на собеседование пригласили, но и на работу взяли?
Что делать специалистам уровня Trainee и Junior для того, чтобы удачно трудоустроиться в условиях жесткой конкуренции?
Каким образом можно и почему нужно выделяться среди других представителей QA-сообщества?
Эти вопросы – на устах у новичков в сфере IT.

Ознакомившись с докладом, вы найдете на них ответы, а также узнаете:

• почему в Украине «бум» тренинговых центров для айтишников, и стоит ли с ними знакомиться;
• честная и открытая информация о положении дел на рынке труда для Trainee и Junior специалистов;
• как мотивировать себя к профессиональному и личностному росту;

и многое другое.

Цель тестирования. А на самом деле?

Дорогие начинающие коллеги-тестировщики! Уважаемые коллеги со „средним“ стажем! В данном докладе я постараюсь поменять ваше традиционно неполное, и местами неверное представление о том, зачем и для чего мы занимаемся тестированием, и может быть даже достучаться до сердец некоторых сеньоров нашего ремесла.

Курсы, ISTQB, Википедия, скороспелые статьи на коммерческих и бесплатных сайтах, и знаменитые „исторические причины“ - внесли неоценимый вклад в дело хаоса понятий и поверхностности „лучших практик“ в области тестирования.

В докладе я донесу свой взгляд на современное тестирование, который поддерживают некоторые из очень ведущих специалистов. Понимание целей поможет вам стать лучшими тестировщикам и не только. Давайте сдвигать парадигму вместе уже сегодня! Так победим.

Роль тестирования в Devops

В своем докладе я расскажу, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование. Также расскажу с какими проблемами столкнулись, и как мы их устраняли. И да, каких результатов смогли добиться уже через полгода. А самое интересное, покажу как мы смогли добиться того, чтоб у нас pull request долетал до боя за 3 часа со всеми этапами тестирования.

Доклад будет содержать большое количество лайфхаков и обзоров инструментария, который мы использовали.

Review Requirements

It will be a interactive and full of useful information and techniques that you can start to use next day.

Requirements remain the most important cause of bugs or delays within the development projects. I have done a lot of research in regards to how to review requirements. I have been searching not only for what to do but also how to do it. The end result is a sketch note that shades light on a couple of aspects:

1. What are requirements
2. How you should receive requirements
3. What you can do to better remember requirements
4. How you can move from knowing to understanding requirements.
5. When you know you have understood the requirements
6. What is the impact of good or bad requirements

You can find a version of the sketch note here

Testing Challenges

We talk a lot about testing. How about practice? Testing Challenges are a couple of testing scenarios that we will go through together. We will identify the test cases, but your decision and knowledge is required to create those test cases.

At the end of the talk you will have the basic knowledge of testing web application but also some ideas about how to create your own challenges.

Ликвидируем Безграмотность: Implicit & Explicit Waits, PageFactory

О явных и неявных ожиданиях а также PageFactory мы уже наслышаны и начитаны. И все еще многих из нас валят на собеседованиях по этим вопросам, особенно учитывая тот факт, что даже сами интервьюеры часто не понимают "полезного" смысла этих технологий - именно с практической стороны. В этом докладе мы расставим все точки над I, и разберемся через практику - когда появляется нужда в "вейтах", какие из двух их типов лучше использовать, и причем здесь вообще PageFactory? Ну а также поговорим почему все перечисленные выше технологии "чистого" Selenium на самом деле не эффективны в реальных тестах, и какие есть более удобные альтернативы.

Укрощаем фреймворки-динозавры используя NSelene

Selenide шагает по планете:) У него уже даже появились вассалы в Python и C# - Selene и NSelene. Но, к сожалению, на большинстве "старых" проектов все еще живут, уже давно устаревшие но - по количеству тестов которые нет времени переписывать - монопольные фреймворки-динозавры. Все было бы хорошо, но - часто эти “самописные” звери из троглодитовой эры - выкидывают фокусы нестабильности, и требуют намного большего времени на поддержку существующих тестов и написание новых. В этом докладе мы увидим, что оказывается, можно по довольно не сложным схемам подружить более современный фреймворк класса Selenide с уже используемым на проекте и устаревшим, не переписывая при этом старые тесты, а для новых - получить намного более лаконичный, удобный и стабильный API.

Автоматизация запуска тестов с помощью Jenkins на практике

Цель доклада - дать начинающим тестировщикам пошаговую инструкцию вместе с необходимой информацией, которая позволит сделать первый шаг в организации запуска тестов при помощи CI сервера(jenkins).

Краткое содержание:
Зачем нужен Continuous Integration
Установка jenkins
Создание и настройка job'ы

• Build triggers & environment
• Build & Post-build actions
• Создания виртуального окружения
• Подключение графического окружения для запуска selenium тестов (xvfb) на сервере

Паралельний запуск автоматизованих тестів за допомогою Selenium Grid

У доповіді розповідається про те, як пришвидшити час проходження автоматизованих тестів та виконати їх у різних браузерах одночасно. Використання такого підходу корисне ще у якості навантажувального тесту, адже симулюються дії великої кількості користувачів в той самий період часу. Виникали труднощі при налаштуванні такої мережі? В доповіді я покажу реальні робочі налаштування.

Визначення автоматизованого тестового покриття для мобільних додатків: iOS та Android

Обчислення покриття коду Unit тестами не викликає труднощів, такий функціонал присутній у багатьох середовищах розробки. Як же бути з UI тестами? У доповіді розповідається про те, як обчислити та графічно представити результати тестового покриття коду мобільного додатку після запуску UI автоматизованих тестів написаних за допомогою Robotium чи UI Automation. Важко довести замовнику ефективність UI автоматизованих тестів? Я покажу як підготувати результати покриття коду тестами з точністю до 1%.

Тестирование Ecommerce проектов. На что обращать внимание.

В настоящее время активно растет динамика продаж через интернет, вместе с этим растет и количество площадок для онлайн торговли, что порождает спрос на тестирование ecommerce платформ.

В своем докладе я расскажу об основных особенностях тестирования Ecommerce проектов, таких как:

• Почему тест-кейсы мало применимы на таких проектах
• Как же работать с большими проектами без тест-кейсов?
• На что обращать внимание при тестировании оплаты товаров и как правильно организовать тестовую среду чтобы не получить неприятных сюрпризов на production сервере
• О важности проведения A\B и порой даже A\B\C\D тестирования
• Почему ROI автоматизации на таких проектах чаще всего отрицательный
• Стоит ли вообще пытаться внедрить автоматизацию?
• Особенности тестирования интеграции с третьесторонними платформами

Тест-дизайн для кофеварок

Демонстрация элементарнейшего последовательного применения техник тестирования.

…и чтобы потом не говорили, что “это не работает”, “это слишком абстрактно”, “на наших проектах это не используется”, “это устарело”, “я все это знаю, и мне это ни разу не пригодилось”, “пэйрвайз бесполезен”.

Кто, где и как будет учить тестировщиков в Киеве 2026-го года

Сеанс предсказаний будущего без всех этих ваших оракулов в тестировании с беспощадным разоблачением и облачением всех присутствующих. Немощный и строгий научный метод против очевидного неминуемого налетания отрасли тестирования на Небесную Ось в феврале 2026-го года на углу Прорезной и Крещатика.

Трафик мобильных приложений: анализ и модификация

Работа с трафиком в мобильных проектах имеет свою специфику и подводные камни. Используя один из самых функциональных снифферов - Burp Suite, я покажу на реальных примерах, как перехватывать трафик, анализировать содержимое запросов и ответов и модифицировать их под свои нужды. Минимум слайдов, максимум screen sharing'а

Немного о мобильных браузерах

Будущее уже здесь! Поэтому уже недостаточно тестировать только на десктопных браузерах, не забываейте про мобильные. Но, как и везде, в мобильных браузерах есть свои особенности. Именно о них мы и поговорим: типы мобильных браузеров, специфики для разных платформ. Используйте эту информацию мудро ;)

Bug Report - таска для девелопера за соседним столом или серьезный документ?

Написание bug репорта - это первое, чему учать тестировщиков. И все вроде понятно, надо писать саммари, и шаги к воспроизвеению, и обязательно два вида результата. Но на самом деле, когда дело доходит до практики и сжатых сроков тестирования, баги описываются как попало. Есть n способов написать баг репорт так, чтобы ваши отчеты больше никогда не читали. Давайте пройдемся по основным граблям и ошибкам, которые допускают даже опытные тестировщики при описании багов и выясним, а что же такое хороший баг репорт.

Как выживать тестировщику в Agile среде

Уже много было сказано о тестировании в Agile, но в своем докладе я хочу углубиться в детали и поговорить о:

• месте QA в классических моделях разработки: а был ли это действительно процесс обеспечения качества?
• Agile манифесте и его ценности для QA команды
• традиционном vs Agile подходе к разработке: риски, получение value, прозрачность процессов и нагрузка на команды
• тестовой документации в Agile: нужна ли она?
• том, как с пользой не писать Test Plan и что делать с тест кейсами и чек-листами

многом другом

Специфика тестирования мобильных приложений или краткая история наших фейлов

В докладе я расскажу об особенностях тестирования мобильных приложений, об их отличиях и нюансах по сравнению с десктопными и веб-приложениями, а также об общих сценариях. Я затрону функциональные, в основном негативные сценарии, необходимые при проверке любого мобильного приложения. На примере приложений, разрабатываемых в лаборатории, я расскажу что может случиться, если какие-либо из этих сценариев будут игнорироваться.

Как найти первую работу в IT-сфере

Доклад будет посвящен тому, как найти свою первую работу в сфере информационных технологий. В частности, будет полезен тем людям, которые новички в этой сфере, окончили курсы и хотят дальше развиваться в этом направлении. Доклад охватит проблемы поиска первой работы, ситуацию на рынке труда в IT, лайфхаки для поиска работы и т.д.

Тестировщик из будущего

Панельная дискуссия экспертов на тему, кто же он такой - тестировщик будущего?

Браузерные помощники тестировщика

В темные времена доминации Internet Explorer на рынке браузеров, тестировщик оставался один на один с тестируемым приложением, и лишь усердие, трудолюбие и крепкий алкоголь могли спасти его от безумия и профессионального выгорания.

К счастью, времена изменились. Современные браузеры скрывают в себе множество полезных функций и имеют тысячи плагинов, способных помочь тестировщику веб приложений. Я расскажу вам о браузерных плагинах, которые значительно облегчили тестирование верстки, поизводительности, отзывчивости сайта, позволили мне ускорить выполнение рутинных задач, а также повысили личную эффективность.

Система мониторинга производительности своими руками

Как известно, то, что не может быть измерено, не может быть улучшено.

В своем докладе я расскажу вам о том, как с помощью open source инструментов можно построить систему мониторинга производительности приложения, а также представить полученные данные в доступной и наглядной форме. А технология контейнеров Docker поможет сделать это максимально быстро и просто.

Об автоматическом тестировании бэкенда в MediaMarkt

В этом докладе пойдет речь исключительно об автоматическом тестировании. Тестировать бэкенд можно только так. Я расскажу об используемых подходах и практиках, которые можно применить в работе. Мы поговорим с чего начинать автоматическое тестирование бэкенда. Задам направление развития и поделюсь идеями, так чтобы вы по-другому взглянули на профессию тестировщика.

10 лучших практик для тестирования мобильных приложений

Доклад для ленивых тестировщиков, которые не хотят набивать свои шишки, а научится на чужом опыте:

• полезные инструменты и решения для тестирования;
• работа с сетью, внутренними и внешними сервисами;
• процессы и культура тестирования в отделе разработки
• silver bullet в конце доклада

Векторы развития систем автоматизации тестирования

• Вы думаете, ваша система автоматизации тестирования работает на полную катушку?
• Сделано всё и задачи автоматизации исчерпаны?
• Вы чувствуете - что-то не сделано и ищите?

Продвинутое тестирование состояний и переходов

Тестирование состояний и переходов - это не так просто как может показаться на первый взгляд, есть много нюансов которые следует понимать, что бы не пропустить важные моменты. Я попытаюсь объяснить:

• как строить диаграммы состояний и переходов
• как анализировать и расширять диаграмму с помощью таблиц состояний и переходов
• как создавать тестовые сценарии опираясь на результаты диаграмм и таблиц состояний и переходов

Mission Possible: Junior to Middle “How-To”

Мы поговорим о том как стоит вести себя джуниору, чтобы максимально позитивно влиять на свою карьеру и опыт; как стать уважаемым коллегой на работе; как правильно повлиять на ваше продвижение по карьере, но при этом остаться командным игроков и не испортить впечатление. А так же, узнаем чего не стоит делать ни в коем случае, дабы потом не пришлось долго и болезненно “отмываться”.

Что вынесут слушатели:

• Поймут как стоит себя вести с коллегами на работе будучи новичком в профессии (опыт до 1.5 лет)
• Усвоят общий подход к изучению полезных технический навыков на проекте
• Поймут за что их будут уважать старшие коллеги, а за что нет
• Научаться быть заметными, но не надоедливыми
• Узнают что делать для ускоренного “промоушена”
• Усвоят как не надо себя вести

Курсы по тестированию: Как не ошибиться в выборе и какие еще способы научиться тестированию существуют?

В своем докладе я хочу рассказать о проблемах. с которыми я столкнулся, пытаясь набрать специалистов уровня junior, закончивших разнообразные курсы по тестированию. Речь пойдет о типичных задачах, на которых учат будущих тестировщиков, рассмотрим почему эти задачи не приносят практической пользы и зачастую просто вредны. Во второй части своего доклада, я хочу дать советы по развитию всем junior специалистам, какие книги стоит читать, стоит ли вообще идти на курсы, и как выбрать курсы с умом.

В частности рассмотрим такие вопросы:

• Как в погоне за длинным рублем курсы дробят на несколько частей, подавая действительно полезный материал лишь в последней части обучения
• Бессмысленные и бессистемные тестовые приложения
• С какой целью студентам дают задания в стиле "Найти минимум 40 багов"
• Как влияет на процесс обучения отрыв тренеров от работы на реальных проектах

История одной авантюры: наш неудачный опыт геймификации

Все доклады по геймификации всегда рассказывают чудесные истории, как внедрили элементы игры в компании и все процессы сразу стали супер-эффективными, а сотрудники супер-замотивированными. Однако процесс внедрения системы геймификации не так прост, на каждом этапе есть подводные камни, которые могут привести проект к провалу. В докладе мы покажем вам закулисную сторону геймификации, расскажем, почему же, собственно, наш проект не взлетел, и дадим (надеемся) ценные советы, как избежать вашей fail story.

Как облегчить процесс мобильного тестирования

Тестирование мобильных приложений существенно отличается от тестирования веб и десктопных приложений. Что вам нужно знать для того, чтоб качественно протестировать мобильное приложение?

Доклад о том как лучше всего подбирать мобильный тест-набор, и о том, что необходимо проверить в первую очередь на различных этапах жизненного цикла программного обеспечения. Кроме того, чеклисты и инструменты, которые помогут экономить время.

Не Jav'ой единой. Пример автоматизации тестирования REST API с использованием Groovy+Spock.

Традиционно, на проектах где back-end писан на Java, фреймворк тестирования тоже строится на технологиях Java. С одной стороны это оправдано единообразием и уже готовым тулсетом у разработчиков. Но с другой стороны немного усложняет вход в автоматизацию для тестировщиков, не знакомых с тонкостями Java. Новичкам, конечно, можно посоветовать более простые для понимания варианты написания тестов на Ruby или Python, но это уже совсем другой мир, и совсем другой геморрой для DevOps. Очень неплохим вариантом в такой ситуации мне видится использование языка программирования Groovy в паре с тест фреймворком Spock. Эта связка позволяет писать понятные REST API тесты на базе уже существующей Java инфраструктуры.
В докладе на примерах посмотрим как это сделать и попытаемся для себя понять есть ли у такого подхода будущее или это просто баловство для ленивых.

Из QA в PM. Мифы и Реальность.

Рано или поздно мы задумываемся о дальнейшем развитии, и со временем вопрос "А куда плыть дальше?" становится все актуальней и актуальней.
Существует немало вариантов, и, безусловно, выбор за вами. Расскажу об одном из возможных путей развития QA специалиста, о мифах и реальности, которые имеют место быть в нашей жизни.

Практические подходы к тестированию систем распознавания речи

В докладе расскажу об основных принципах работы Speech Recognition Software, где и какие технологии используются и расскажу о ключевых моментах в тестировании продуктов такого типа (как standalone-mode, так и формата cloud-recognition, включая голосовых помощников). Также расскажу о том, как используются такие продукты на Enterprise-уровне и какие аспекты тестирования нужно прнять во внимание.

Как QA инженеры могут повлиять на качество продукта? Или не могут?

Чаще всего мы используем слова "тестировщик" и "тестирование", когда речь идет о качестве продукта. Но влияет ли тестирование и роль тестировщика на само качество? Извечная борьба между QC и QA... Да, вы наверняка это понимаете, но почему ничего не меняется в большинстве команд? Потому что необходим сдвиг парадигмы в головах и более глобальные изменения в QA процессах. Кто такие QA инженеры и каковы их обязанности, активности, зоны ответственности в современной разработке? Как именно они могут влиять на качество продукта и повышать его, если разрабатывают продукт по-прежнему разработчики? На все эти вопросы я постараюсь дать детальные практические ответы в данном докладе. Давайте менять мир разработки к лучшему вместе!

Теория Дарвина в тестах. Эволюция Wait-ов.

Наш код умнеет и совершенствуется вместе с нами. Хорошие пракитики отпечатываются в ДНК наших тестов, и остаются с нами и в новых проектах. Плохие - совершенствуются или отмирают.
В даном докладе мы познакомимся с процессом эволюции wait-хромосомы(примеры на языке .NET). И посмотрим, куда эволюционировать дальше.

Как тестировать фичи прямо на продакшене с помощью Release-train и Feature flags

В своем докладе, на примере проекта «Prom+», я поделюсь практикой налаженного процесса разработки продукта, совместными усилиями QA-Developer. Также расскажу как тестировать новые фичи прямо на продакшене с методикой «Release train» и «Feature flags» в компании.

Обзор ProtractorJS как фреймворка для браузерной автоматизации

Я хотел бы пролить свет на такой замечательный фреймворк как ProtractorJS, разработанный в недрах Google для автоматизации тестирования AngularJS 1.x/2.x, но он подходит и для не-Angular приложений. Я расскажу основные преимущества, особенности. Примеры кода и подходов на TypeScript 2.0, на котором сейчас написан ProtractorJS.