Пирамида мобильного тестирования для гибких команд

Отличный веб-сайт — основа успешного бизнеса. Это означает высококачественные мобильные веб-сайты и приложения с безупречным пользовательским опытом. Хотя обеспечение работы сайта на всех устройствах и платформах может показаться простым делом, это не так. Пользователи не терпят сайты с ошибками и недоработками только потому, что у них есть альтернативы.

По данным Statista, более 50% мирового веб-трафика поступает с мобильных устройств. Число людей, которые заходят на сайты с помощью мобильных устройств, только растет, поэтому владельцы сайтов должны сделать все возможное, чтобы обеспечить безупречную работу своих сайтов на мобильных устройствах. Однако мобильный ландшафт постоянно развивается, создавая проблемы для веб-разработчиков. При таком количестве платформ и устройств, доступных сегодня, бывает сложно определить, на каких платформах следует сосредоточиться в первую очередь.

Именно здесь на помощь приходит пирамида тестирования. Как и пирамида автоматизации тестирования, пирамида мобильного тестирования представляет собой организованный подход к проведению автоматизированного тестирования на мобильных устройствах. Она была разработана специально для современных приложений с растущим числом мобильных платформ, которые необходимо поддерживать.

В этом посте о пирамиде мобильного тестирования обсуждается, как она может помочь agile-командам в их подходе к тестированию мобильных приложений.

Тестируйте свои веб-сайты на базе CSS-фреймворка Salesforce на 3000+ различных настольных и мобильных браузерах с помощью Online Salesforce Testing Cloud — масштабируемого и надежного облака онлайн-тестирования для ручного и автоматизированного тестирования веб-сайтов Salesforce.

Что такое пирамида мобильного тестирования?

Пирамида мобильного тестирования — это стратегия эффективного тестирования приложений на мобильных устройствах. Впервые она была представлена Кво Дингом в 2017 году.

Пирамида мобильного тестирования делится на три сегмента — реальные устройства, симуляторы/эмуляторы и браузеры. Их порядок в пирамиде определяется количеством тестов, которые они должны охватывать. Чем шире сегмент, тем больше тестов он должен охватывать. Как мы видим, при работе с браузерами (настольными браузерами) Ding предпочитает выполнять более крупные тесты. Причины этого объясняются в их конкретных сегментах.

Но это только то, что мы видим, а не то, что мы будем использовать в своей карьере тестировщика. Поэтому, чтобы глубже понять эти разделы, нам нужно понять вдохновение, лежащее в основе пирамиды мобильного тестирования.

Вдохновение, лежащее в основе пирамиды мобильного тестирования

Вдохновением для создания пирамиды мобильного тестирования послужили проблемы, с которыми сталкивается тестировщик при тестировании мобильных приложений. В настоящее время в мире насчитывается 3,5 миллиарда активных смартфонов, и многие из них отличаются друг от друга по ряду параметров.

Изначально нам не нужно беспокоиться об этом. Мы просто берем список наиболее используемых смартфонов, тестируем, вероятно, десять из них и выпускаем наше приложение. Проблема здесь в том, что это не так просто, как веб-тестирование. Тестирование мобильных приложений — это не только тестирование пользовательского интерфейса и отзывчивости, оно охватывает и другие широкие параметры, такие как состояние сети, аппаратное обеспечение, операционная система и многое другое. Ознакомьтесь с нашим блогом о проблемах и решениях тестирования мобильных приложений.

Все эти факторы усложняют тестирование мобильных приложений. Исследование различных устройств без направления и структуры может привести к негативной реакции пользователей. Более того, даже если вы сначала начнете только с десяти устройств, постепенно вы будете получать отзывы от пользователей о глюках приложения при использовании на их устройствах. Поэтому вам придется постепенно увеличивать количество устройств, и традиционный метод в таких случаях потерпит неудачу. Agile также может со временем обременить вас при выпуске последующих версий.

Для эффективного тестирования мобильных приложений необходима стратегия тестирования мобильных приложений и контрольный список тестирования мобильных приложений. Следовательно, на ум приходит то, как мы структурировали нашу автоматизацию тестирования. Небольшая модификация также может помочь нам в тестировании мобильных приложений, и поэтому Кво Динг модифицирует оригинальную пирамиду в пирамиду мобильного тестирования.

Области внимания пирамиды мобильного тестирования

В следующем разделе объясняются области внимания пирамиды мобильного тестирования. Раздел расположен в порядке снизу вверх по отношению к пирамиде.

Настольные браузеры

Самый нижний раздел пирамиды — «браузеры», что соответствует тестированию мобильного приложения на браузерах настольных компьютеров. Поскольку это самый широкий раздел, он содержит максимальное количество тестов.

Мобильное тестирование на настольных браузерах не является сложной задачей. Просто запустите веб-приложение в браузерах, измените их масштаб для тестирования отзывчивого дизайна и глюков пользовательского интерфейса, и все готово. Это лучший выбор для начала при работе с гибридными приложениями или чисто веб-приложениями.

Ниже показан пример изменения размера веб-приложения в браузере настольного компьютера.

Преимущества

• Чрезвычайно быстро: Использование настольных браузеров для тестирования — это быстрая работа. Используя лучшие средства автоматизации тестирования, такие как Selenium, вы можете запускать тысячи параллельных тестовых случаев и использовать подход headless. Обратитесь к нашей странице, чтобы узнать, что такое Selenium?

• Масштабируемость: Как уже упоминалось в предыдущем пункте, вы можете использовать параллельное тестирование для сокращения времени выполнения тестов, используя облако тестирования мобильных устройств, такое как LambdaTest. Новые браузеры также легко приобрести, поскольку они легко доступны.

• Простота кроссплатформенности: С настольными браузерами легко работать, поскольку вам не нужно устанавливать совершенно новую ОС, как это делается для нативного приложения. Вы можете использовать облачные платформы для кросс-браузерного тестирования, чтобы запускать браузеры с одной платформы.

• Выполнимо и легко доступно: Настольные браузеры легко доступны и бесплатны в использовании. Поэтому для начала вам потребуется совсем немного инвестиций.

Недостатки

• Что бы вы ни делали, вы все равно находитесь на настольном компьютере — Независимо от того, насколько тщательно вы проводите мобильное тестирование на настольных браузерах, тот факт, что вы используете ресурсы настольного компьютера, не изменится. Это влияет на то, как ваши результаты отображаются в отчетах и на производительность приложения.

• Нет «мобильно-подобного» поведения — Когда вы используете браузер настольного компьютера для тестирования приложения. Нет никаких колебаний сети, включая блокировки, нет входящих звонков в промежутках, нет внезапного зависания устройств из-за нехватки ресурсов и т.д. Эти вещи необходимы при проведении тестирования приложений на мобильных устройствах, поскольку это нормальное поведение мобильных устройств. Любой сбой, вызванный этими причинами, может повлиять на вашу зрительскую аудиторию.

• «Это просто не устройство» — фраза, сказанная Кво Дингом, не требует пояснений: «Это просто не устройство».

Вышеупомянутые аналитические выкладки верны. Тем не менее, поскольку браузеры занимают достойное место в пирамиде мобильного тестирования, они уникальны и должны учитываться при тестировании.

При тестировании мобильных приложений на настольных браузерах важны следующие области внимания.

1. Функциональное системное тестирование
   Тестирование в настольных браузерах эффективно выполняет функциональное системное тестирование, которое можно считать основным методом тестирования.

2. Отзывчивый дизайн
   Одним из наиболее важных результатов тестирования мобильных приложений в настольных браузерах является проверка отзывчивости веб-дизайна. Отзывчивость является важной характеристикой и должна применяться в каждом приложении, которое вы создаете с помощью браузера.

На следующем изображении показано отзывчивое веб-приложение, отображаемое на двух устройствах с разными размерами экрана в браузере LT Browser.

Вот краткая информация о LT Browser.

3. Кросс-браузерное тестирование
Кроссбраузерное тестирование обеспечивает кроссбраузерную совместимость вашего мобильного приложения в различных браузерах и операционных системах.

4. Общий визуальный макет
Проведение визуального регрессионного тестирования на настольных браузерах также может помочь проверить общий визуальный макет мобильного приложения. Кво Динг обращает особое внимание на слово «в целом». Это связано с тем, что настольным браузерам нельзя доверять в том, что они обеспечат точную компоновку пользовательского интерфейса, которую вы получите на экране мобильного устройства. Вы можете получить общую картину, но не конкретику или мельчайшие нюансы элементов пользовательского интерфейса.

Знаете ли вы, что теперь вы можете тестировать сайты Sanity.io в самом надежном и масштабируемом облаке тестирования CMS — Online Sanity.io Testing Cloud? Проводите сквозное ручное или автоматизированное кроссбраузерное тестирование мобильных и веб-приложений, созданных с использованием $Sanity.io.

Эмуляторы и симуляторы

Прочитав раздел о браузерах для настольных компьютеров, любой может убедиться, что они, вероятно, являются отличным способом пройти и запустить наше приложение без лишних забот. Если вы думаете над тем же вопросом, давайте протестируем Android-приложение на эмуляторе мобильных приложений.

Выход

Ниже показано мобильное веб-тестированное приложение. При отображении на мобильном эмуляторе наблюдаются сбои в навигации. Подобное может произойти и с вами, если вы полностью полагаетесь на тестирование мобильного приложения в настольном браузере.

Тестирование мобильных приложений на эмуляторах и симуляторах более приближено к реальности мобильных устройств (особенно эмуляторов), чем настольных браузеров. Это связано с тем, что эмуляторы учитывают аппаратное обеспечение при рендеринге мобильного приложения или мобильного веба. Последние эмуляторы также могут имитировать определенные функциональные возможности мобильных устройств, такие как входящие звонки и колебания сети. Это дает более полное представление о работе нашего мобильного приложения для конечного пользователя.

Поскольку это следующий сегмент после браузеров, его следует проводить после того, как вы убедитесь в этом с помощью тестов настольных браузеров. Если в браузере настольного компьютера обнаружена ошибка, она будет отражать различные процессы. Однако обратное не верно.

Преимущества

• Быстрота использования: Эмуляторы просты в настройке, и вы можете быстро приступить к тестированию.

• Масштабируемость: Эмуляторы легко масштабируются, так как вам просто нужно установить новое устройство, когда оно будет запущено. Вам не нужно беспокоиться о его приобретении.

• Несколько нативных функций: Эмуляторы привносят в среду тестирования несколько нативных функций, таких как прием звонков и сообщений.

• Средства отладки: Тесты, выполняемые на эмуляторах, легко отлаживать, поскольку для работы используется экран рабочего стола. Кроме того, журналы можно сохранять и быстро анализировать.

• Быстрота выполнения: Эмуляторы позволяют быстрее выполнить тест, поскольку достаточно загрузить собственный двоичный файл или ввести URL-адрес, чтобы быстро увидеть результаты. Вы также можете использовать параллелизацию в эмуляторах для более быстрого выполнения тестов.

• Дает вам преимущество: Эмуляторы становятся доступны сразу после анонса устройства. Иногда они также доступны на основе слухов о технических характеристиках. Поэтому тестирование на эмуляторах может дать вам преимущество перед теми, кто ждет реального устройства, когда оно появится на рынке.

Недостатки

• Невозможно имитировать каждое устройство: Эмуляторы не могут имитировать каждое устройство на рынке. Вы можете найти множество скинов для многих устройств, но они работают на фиксированной стоковой прошивке.

• Неточное использование ресурсов: Эмуляторы неточно отображают использование ресурсов, таких как CPU, GPU, память и другие. Они предоставляют метрики, но это вряд ли можно сравнить из-за отсутствия реального оборудования.

• Отсутствие нативного мобильного поведения: Эмуляторы лучше настольных браузеров в том, что они привносят в тестовую среду несколько мобильных моделей поведения. Однако они не могут имитировать многие встроенные API мобильных устройств, такие как поведение камеры, Bluetooth, других беспроводных соединений, таких как NFC и т.д.

• Эмуляторы на базе ARM медленные: Кво Динг упоминает, что почти все устройства Android работают на архитектуре ARM. Но эмуляторы, работающие на архитектуре ARM, медленнее в исполнении. Поэтому они не дают точных результатов тестирования.

Практически, эмуляторы играют важную роль в мобильном тестировании, и поэтому тестировщик должен сосредоточиться на следующих областях при работе с эмуляторами:

1. Функциональные потоки конечных пользователей
   Функциональные потоки конечного пользователя определяют, работает ли ваше приложение от пути А к пути Б при навигации как конечный пользователь. Опять же, эмуляторы — отличный выбор для подтверждения этого.

2. Интеграция нативных API
   Тестировщик может сосредоточиться на интеграции нативных API, доступных в эмуляторе, чтобы проверить их корректность по отношению к приложению. Это могут быть функции звонков, сообщений, GPS и т.д.

3. Тестирование визуальных эффектов
   Тестировщик может проверить визуальные эффекты, но не слишком углубляться в пользовательский интерфейс конкретного устройства. Здесь можно проверить визуальные эффекты высокого уровня.

4. Сенсорное взаимодействие
   Эмуляторы — отличный первичный выбор для тестирования сенсорного взаимодействия мобильного приложения. Хотя они не так точны, как реальное устройство, они могут дать представление о высокоуровневом взаимодействии и производительности мобильного приложения.

Реальное устройство

Кво Динг описывает раздел реального устройства как «реальную вещь» в своем введении к Пирамиде мобильного тестирования. Он прав в этом утверждении. Преимущество реальных устройств заключается в том, что вы можете протестировать важнейшие сценарии тестирования мобильных приложений в условиях реального пользователя.

О том, как проводить тестирование приложений Android и iOS на Real Device Cloud, смотрите в нашем видео ниже.

Но это не означает, что у них нет недостатков. Давайте сравним его плюсы и минусы.

Преимущества

• Все нативные API — реальное устройство имеет все нативные API и может использоваться вместе с тестированием мобильных приложений.

• Реальные условия — реальное устройство создает для тестировщика реальные условия, с которыми сталкивается реальный конечный пользователь. Это дает точное представление о поведении нашего мобильного приложения.

• Более быстрые тесты ARM (Android) — Как уже говорилось ранее, эмуляторы на базе ARM медленны в выполнении тестов, что в основном соответствует устройствам Android. Поэтому в Android выполнение тестов на реальном устройстве происходит гораздо быстрее.

• Все реально — Динг снова не упускает из виду, что речь идет о реальных устройствах, и поэтому каждая метрика здесь точна. Таким образом, вы получаете реальное использование процессора, реальные показатели батареи, реальное использование GPU, реальные журналы и т.д.

Недостатки

• Огромные затраты — реальные устройства нелегко приобрести в качестве эмулятора. Они слишком дороги и могут составлять значительную часть вашего общего бюджета на тестирование. В настоящее время средняя стоимость одного устройства в мире составляет около 300 долларов США. Приобретение 100 устройств может вылиться в 30 000 долларов США только на закупку, что может стать большой проблемой для стартапов.

• Тяжелое обслуживание — Еще одним важным фактором тестирования реальных устройств является постоянное обслуживание, которое требуется от пользователя. Существенным фактором здесь является постоянный выпуск мобильных телефонов. В 2021 году в мире было выпущено 47 новых мобильных устройств, что ниже среднего показателя, если проследить по годам. Как тестировщик, вы должны постоянно приобретать новые устройства, чтобы увеличить расходы.

За исключением стоимости и обслуживания, настоящие устройства почти не имеют недостатков. Но у меня есть решение, как устранить и эту аномалию. Почему бы не попробовать облачные лаборатории реальных устройств, которые предоставят вам реальные устройства для тестирования, не приобретая ни одного устройства.

Платформа LambdaTest предлагает лабораторию реальных устройств с первоклассными функциями, интегрированными в нее. Имея 3000+ экранов для тестирования, реальные устройства LambdaTest предоставляют точные метрики, использование устройства и журналы в подробном отчете о производительности. Наряду с этим, вы получаете дросселирование сети, запись экрана, опции совместного доступа и отладчик, интегрированный в платформу. После этого вы можете использовать множество интеграций LambdaTest, которые облегчат вам тестирование из одного места.

На изображении пирамиды мобильного тестирования ниже обратите внимание, что секция реального устройства распределена на два сегмента, а не на один, как эмуляторы и браузеры.

Нижний сегмент, содержащий слово «устройства», обозначает часть юзабилити или функционального тестирования реальных устройств. Верхний сегмент предназначен для нефункционального тестирования.

Они также будут отражены в следующей основной области реальных устройств.

1. Юзабилити
   Удобство использования мобильного приложения может быть тщательно и наиболее эффективно протестировано на реальном устройстве. Сюда могут входить соединения для сенсорного взаимодействия, такие как Bluetooth, NFC и другие.

2. CPU
   Сосредоточьтесь на использовании процессора и метриках, которые он генерирует, поскольку они будут точными в зависимости от используемого устройства.

3. Визуальные эффекты
   Кво Динг называет этот раздел «остатками визуальных эффектов», которые вы не смогли увидеть в других тестах (сегментах). Настольные браузеры и эмуляторы могут убрать большую часть визуального материала для вашего приложения. Но для подтверждения, вы можете сосредоточиться на этом здесь с меньшим приоритетом.

4. Соус производителя
   Несколько производителей ставят свою среду пользовательского интерфейса на Android. Например, у Samsung есть свой собственный One UI, который накладывается поверх UI-движка Android. Это может повлиять на пользовательский интерфейс вашего мобильного приложения и поэтому является хорошей областью внимания для тестировщика.

5. Специфические встроенные браузеры
   Некоторые производители устройств также выпускают свои устройства со специфическими встроенными браузерами, например, Samsung с Samsung Internet. Возможно, среди них есть крошечный процент пользователей, но всегда хорошей практикой является учет всех и каждого сценария перед выпуском мобильного приложения.

Речь шла о пирамиде мобильного тестирования и подробном изучении ее различных сегментов. Пирамида мобильного тестирования является отличным ориентиром для структурированного тестирования и хорошей производительности. Поэтому здесь можно провести краткий анализ для agile-команд.

Эй! Вы можете тестировать свои веб-сайты на базе SAP CSS framework в 3000+ различных настольных и мобильных браузерах с помощью Online SAP Testing Cloud — масштабируемого и надежного облака онлайн-тестирования для ручного и автоматизированного тестирования веб-сайтов SAP.

Влияние пирамиды мобильного тестирования на команды Agile

Agile — самая популярная и принятая методология SDLC во всем мире на сегодняшний день. Она ускоряет процесс и нацелена на сдачу программного обеспечения в течение четырех недель (в зависимости от организации это может быть 15 дней или 45 дней). Однако тестировщики оказываются под особым давлением после того, как завершается часть разработки, и остается очень мало времени для проведения тестирования и продвижения цикла обратной связи. Кто-то может возразить, что тестирование в спринте является подходящим методом, но это иногда оказывает большее давление, если цикл спринта не сокращается.

Может ли пирамида мобильного тестирования как-то помочь agile-командам? Определенно!

Пирамида мобильного тестирования создает структуру для команды тестирования. Без надлежащей структуры вы можете начать тестирование сначала на реальных устройствах и обнаружить, что некоторые вещи можно было бы сделать гораздо быстрее, если бы до этого вы выбрали браузеры для настольных компьютеров. Это действительно так, и поэтому это определяет их место в пирамиде.

Пирамида мобильного тестирования описывает, что тестировщики всегда должны начинать с браузерных тестов (как можно больше), потому что они быстро выполняются и быстро достигаются. Если тестам не нужны реальные устройства, их можно быстро свернуть в соответствии с принципом пирамиды.

Пирамида мобильного тестирования также описывает области фокусировки для каждого сегмента. Они могут оказаться незаменимыми, когда тестировщик теряется в настройке сотен тестов и определяет, какой из них использовать. Если в разделе определена фокусная область, это может стать основой для создания или разделения тестов вокруг нее. Это может помочь вам быстро выполнить тесты, что в конечном итоге является целью в agile-среде.

Что вы думаете о пирамиде?

Это подводит нас к концу данного раздела. Пирамида Кво Динга представляет собой структурированное тестирование, которое ускоряет процесс и дает четкое направление. Это действительно новая вещь, когда речь идет о тестировании мобильных приложений. Как тестировщик, вы увидите некоторые различия в вашем приложении при запуске на настольном браузере, эмуляторе и реальном устройстве. Проблемы, с которыми мы сталкиваемся во время облачного тестирования мобильных устройств, послужили основой для создания пирамиды, основанной на пирамиде автоматизации тестирования, разработанной Майком Коном.

Этот пост объединяет мои и Динга мысли о пирамиде. Будучи тестировщиком или разработчиком, вы можете применить это на практике. Мне бы хотелось услышать ваши мысли по этому поводу.

Я надеюсь увидеть несколько замечательных комментариев и предложений в разделе комментариев ниже.

Спасибо, что прочитали, и хорошего дня!