Плохой выпуск в вебе — это выкладка, которую вы откатываете. Плохой выпуск в приложении остаётся снаружи, пока люди не обновятся, и первым предупреждением обычно бывает отзыв в магазине.

Версия должна быть на всём

Не в отдельном отчёте, а на каждом просмотре экрана и на каждой ошибке.

Именно это позволяет задать единственный важный после выпуска вопрос: хуже ли он предыдущего для тех, кто его взял? Без версии на каждой строке вы видите, что падений стало больше, и не видите, вызвала ли их новая сборка или старая делала это всегда, а просто людей проснулось больше.

Что такое доля сессий без падений

Доля сессий, завершившихся без фатальной ошибки.

Две вещи о самом числе. Оно никогда не превышает 100 процентов, а там, где падение случилось до первого экрана приложения, оно ошибается слегка в пессимистичную сторону: такая сессия попадает в числитель и не попадает в знаменатель. Число устойчивости, которое льстило бы само себе, не стоило бы ничего, поэтому арифметика склоняется в безопасную сторону.

Чего оно вам не скажет

Доля сессий без падений — грубый инструмент, и внутри здоровой доли прячутся три вещи.

Возможность, которая ломается, не падая. Приложение живо, а экран ничего не делает. Сигнал здесь — число экранов за сессию и то, где люди останавливаются, а не устойчивость.

Медленная раскатка. Если новая сборка у десяти процентов, её проблемы разбавлены вдесятеро. Читайте долю по версиям, а не в целом.

Всё, что до запуска. Сессия, которая так и не началась, вообще не попадает в ваши числа.

Отметьте выпуск на графике

Заметка в тот день, когда вы выпустили, — это разница между «вовлечённость упала на двенадцатой неделе» и «вовлечённость упала, когда мы выпустили 4.2». Она занимает десять секунд и это самое полезное, что можно добавить к графику аналитики.

Старые сборки продолжают отчитываться

Формат передачи для приложений в Skomi заморожен на версии 1, поэтому сборка, опубликованная два года назад, продолжает слать данные тем SDK, с которым была собрана.

Это намеренно: скрипт сайта можно поменять сегодня днём, а заставить кого-то обновить приложение нельзя, и у этого есть следствие, которое стоит предусмотреть: в ваших числах есть люди на выпусках, о которых вы забыли. Фильтр по версии здесь не продвинутая возможность, а способ вообще читать отчёты.

Смотрите также: аналитика приложения и сайта в одном месте, измерение приложения и App Analytics.

Число, на котором всё это держится, — доля сессий без падений, читаемая вместе с версией приложения: одно без другого бессмысленно.