AB-тесты, плоская земля и «три в ряд»: что делает игровой аналитик

Герой нашего очередного подкаста Василий Сабиров — ведущий аналитик и сооснователь компании devtodev. В новом выпуске New.HR Podcast он подробно рассказал все тонкости профессии, о том, какими навыками нужно обладать, чтобы в неё попасть и с какими задачами предстоит столкнуться.

Чем занимаются игровые аналитики

Основные задачи и измерение эмоций

Если говорить кратко и просто — игровой аналитик получает в работу игру, которую должен сделать лучше по определённым показателям. Его специальность почти ничем не отличается от продуктовой аналитики: и там, и там задача — увеличить поток денег через улучшение различных параметров. Однако игра — это эмоциональный продукт, но специальной метрики удовольствия не существует. Поэтому приходится работать с чем-то максимально приближённым к этому параметру.

Ну то есть, например, есть такая сущность как фан (fun) — то самое веселье. И в принципе аналитик в игре — это как раз менеджер фана в том числе. Потому что его задача путём цифр, путём анализа данных просчитать, как можно оптимизировать фан, но не просто оптимизировать, а чтобы фан впоследствии конвертировался в лояльность, которая будет выражена в платеже. Один из ресурсов, который высоко ценится мной и моими коллегами, называется deconstructoruffun.com. То есть как бы раскладываем фан по полочкам.
Василий Сабиров

Измерять фан можно разными способами. Например, если это игры типа «три в ряд», то можно смотреть на сложность уровня в соотношении успешных и неуспешных попыток игрока. Так, если на сто попыток приходится сто успешных — слишком легко. Но если на сто приходится лишь одна удачная — это суперсложно.

Ещё можно измерять FUUU-показатель (он так называется по мему, где чувак бесится и кричит «FUUU!»). Это доля попыток, когда игрок почти прошёл уровень, но ему не хватило совсем чуть-чуть. Например, ему надо уложиться в 25 шагов, чтобы пройти, а он всё время заканчивает на 26 шаге. FUUU-фактор должен быть положительным, он должен вызывать чувство азарта, а не раздражения.

Измерять эмоцию можно разными способами в зависимости от жанра. Задача игрового аналитика — попытаться создать набор показателей, которые опишут то, что чувствует игрок или сегмент игроков, во время игры.

Ключевые метрики

Основные показатели, на которые надо ориентироваться — это пользователи, ретеншн первого, седьмого и тридцатого дня. Важно также измерять долю платящих игроков.

Есть исследование, ему уже несколько лет, возможно, ситуация изменилась. Медианное значение этого показателя — это 1%. То есть на 99 игроков 1 платящий. Поэтому, если вдруг усилиями аналитика получится сделать не одного платящего на 100, а два – выручка увеличивается в два раза.
Василий Сабиров

Другие метрики — это доход с игроков (ARPU), доход с платящих игроков (ARPPU), life time value и метрики трафика. В зависимости от жанра и сложности игры, можно придумать несколько сотен метрик, которые нужно отслеживать. Если говорить про те же «три в ряд», то можно взять долю успешных/неуспешных попыток, поделить всё это на платящих и неплатящих игроков. Можно посчитать долю успешных с использованием бустеров и без них, сколько на уровне потрачено монеток, сколько их потрачено на успешные попытки и так далее. В итоге получается несколько десятков, а то и сотня дополнительных метрик.

Игровой аналитик часто работает в связке с гейм-дизайнерами. Они предлагают новые механики, а задача аналитика — их оценить. В этой ситуации игровой аналитик представляет сторону данных, прикидывает, что пойдёт, а что не пойдёт на основе экспериментов.

В каких-то компаниях пишут: «поиск гейм-дизайнера/аналитика». То есть это одна и та же роль. И это прикольно. В других кампаниях аналитики сидят и получают на выходе то, что дал им гейм-дизайнер. Они получают это уже в виде метрик игры, из которой всё это выкачано. А в каких-то играх гейм-дизайнер с аналитиком вместе прорабатывают баланс механики этой игры. Гейм-дизайнеру не обязательно знать SQL и иметь математический бэкграунд. Будет здорово, если он понимает, как работает математика. У нас в devtodev даже есть курс «Математика в гейм-дизайне». Но если гейм-дизайнер не знает, чем отличается распределение Пуассона от распределения Гаусса, то это нормально. Его задача знать, чем отличается одна механика удержания от другой. Связаны они должны быть плотно, просто один — за механики, а второй — за данные.
Василий Сабиров

При проведении AB-тестов важно быть готовым к тому, что твоя гипотеза провалится. Важно придумывать такие гипотезы, которые будут серьёзно работать над увеличением больших метрик, а не над улучшением на полпроцента какого-то одного параметра. Не стоит забывать и про статистическую значимость — например, если результат показывает, что 51 больше чем 50, то это ещё ничего не значит. Еще одна проблема — проблема подглядывания: если вы видите, что тест ещё не закончен, но явный победитель есть — не стоит прерывать тестирование. Вспомните, сколько мячей в Лиге Чемпионов-2019 забили на последних минутах.

И последнее про метрики — их следует делить на биномиальные и не биномиальные. Первые — это орёл или решка, есть динозавр на улице или нет. Конверсия в платёж — это биномиальная метрика. Вторые — которые измеряются в деньгах или, например, в минутах: там используются другие статистические инструменты, потому что там иначе выглядят гистограммы итоговых распределений.

Зависимость метрик от жанра игры

Если вновь возвращаться к жанру «три в ряд», то там основная сущность — это уровни. Есть определённая кривая сложности — когда игрок первые несколько уровней проходит легко, потом ему становится сложнее, а потом задача вновь упрощается. В зависимости от того, как сбалансирована эта кривая, игра конвертирует в платёж.

Если говорить про MMO типа Warcraft-like игр, там всё завязано на внутренней экономике. Уровни там тоже есть — но это показатель именно уровня игрока (те самые «эльфы 80 lvl» из мемов). В таких играх важны балансы валют — как игрок накапливает, что и на каком уровне ему доступно и так далее.

Если это азартные игры типа social casino, в них вырабатывается стратегия подтасовки результатов для удержания игрока. Например, сколько раз надо дёрнуть рычаг однорукого бандита, чтобы получить успешный результат.

В мобильных играх цикл игрока довольно короткий. Редко когда игрок проживает в игре дольше месяца. Есть такая волшебная формула «40/20/10». 40 — оптимальное значение ретеншн первого дня, 20 — оптимальное значение 7-го дня, 10 — оптимальное значение ретеншн 30-го дня. 90% игроков покидают игру по истечении первого месяца. Недели неактивности достаточно, чтобы игрока пометили, как не вернувшегося. Получается, если вы вытерпите неделю не заходить в игру, то в игре, которая хорошо работает над этими показателями удержания, вы получите и бонус, и какой-нибудь подарок, и скидку, и наверняка какой-нибудь успешный результат, если речь касается каких-то вероятностных штук.
Василий Сабиров

Где слушать

Запись подкаста выложена на эти платформы:
SoundCloud, Apple Podcast, Google Podcast, Castbox, Overcast, Youtube, Яндекс.Музыка, Телеграм.

Рекомендации от спикера:

▪️ "Игра в цифры", Василий Сабиров
▪️ "Голая статистика: Самая интересная книга о самой скучной науке", Чарльз Уилан
▪️ "Статистика и котики", Владимир Савельев
▪️ "Кровь, пот и пиксели"
▪️ "Думай медленно, решай быстро", Даниел Канеман

Чтобы видеть анонсы всех мероприятий добавляйтесь в ТГ-чат "Лекции от New.HR"

Статья также опубликована на VC.ru.

Author image
Продюсер