d30 retention что такое
Блог об аналитике, визуализации данных, data science и BI
Дашборд первых 8 месяцев жизни малыша
Анализ рынка вакансий аналитики и BI: дашборд в Tableau
Анализ альбомов Земфиры: дашборд в Tableau
Гайд по современным BI-системам
Как посчитать Retention?
В этой заметке разберём как правильно построить отчет по Retention с использованием Redash и языка SQL.
Для начала, в двух словах, что это за метрика Retention rate, почему она важна, какой бывает и каким образом считается.
Retention rate
Метрика Retention rate довольно широко распространена и особенно известна в мобильной индустрии, поскольку позволяет понять насколько хорошо продукт вовлекает пользователей в ежедневное использование. Вспомним (или узнаем) как рассчитывается Retention:
Retention дня X — это N% процентов пользователей, которые вернутся к продукту в день X. Иными словами, если в какой-то конкретный день (день 0) пришло 100 новых пользователей, а на 1-ый день вернулось 15, то Retention 1-го дня составит 15 / 100 = 15%.
Чаще всего выделяют Retention дней 1, 3, 7 и 30 как наиболее описательные метрики продукта, однако полезно в целом рассматривать кривую Retention и делать выводы исходя из нее.
Кривая retention
В конечном итоге нас интересует построение такой кривой, которая показывает удержание пользователей с 0-го дня до 30-го.
Rolling Retention (RR)
Кроме классического Retention rate выделяют также Rolling Retention (далее RR). При расчете Rolling Retention помимо дня X учитываются также все последующие дни. Таким образом RR 1-го дня — количество пользователей, которые вернулись в 1-ый и последующие дни.
Сравним Retention и Rolling Retention 10-го дня:
Retention10 — количество пользователей, вернувшихся в 10-ый день / количество пользователей, установивших приложение 10 дней назад * 100%.
Rolling Retention10 — количество пользователей, вернувшихся в 10-ый день или позже / количество пользователей, установивших приложение 10 дней назад * 100%.
Гранулярность (retention временных отрезков)
В некоторых отраслях и соответствующих задачах полезно понимать Retention конкретного дня (чаще всего в мобильной индустрии), в других случаях полезно понимать удержание пользователя на разных временных интервалах: например, недельные отрезки или месячные (часто полезно в e-commerce, ретейле).
Как построить Retention отчет на языке SQL?
Выше мы разобрали как посчитать Retention в формулах. Теперь приложим это к языку SQL.
Допустим, что у нас есть две таблицы: user — храним данные об идентификаторах пользователей и мета-информацию, client_session — информация о посещениях пользователями мобильного приложения.
В запросе будут фигурировать только две эти таблицы, поэтому вы с легкостью сможете адаптировать запрос под себя.
примечание: в рамках данного кода я использую Impala в качестве СУБД.
Собираем размер когорт
Разберем этот довольно несложный запрос: по каждому дню мы считаем количество уникальных пользователей для отрезка [60 дней назад; 31 день назад].
Чтобы не лезть в документацию: команда ndv() в Impala аналог команды count(distinct).
Считаем количество вернувшихся пользователей по каждой когорте
В этом запросе ключевая часть содержится в команде datediff: теперь мы считаем для каждой когорты и для каждого datediff количество уникальных пользователей все той же командой ndv() (фактически, количество пользователей которые вернулись в дни от 0-го до 30-го).
Отлично, теперь у нас есть размер когорт и количество вернувшихся пользователей
Собираем все вместе
Мы получили запрос, который для каждой когорты считает Retention, в итоге результат можно отобразить в таком виде:
Построение единственной кривой Retention
Несколько модифицируем наш запрос и получим требуемые данные для построения одной кривой Retention:
Теперь у нас для каждого дня посчитан средний по всем когортам Retention rate.
D30 retention что такое
This post is written by Oleg Yakubenkov, CEO @ GoPractice. Oleg has built his data-driven product management expertise working on some of the biggest games as well as some of the biggest social platforms in the World.
GoPractice is an online simulator course that will give you hands-on-like experience working on an ambitious product and making decisions based on real data in actual analytics systems.
GoPractice is also a platform that we here at Deconstructor of Fun have used to keep our product chops sharp. We’re happy to endorse GoPractice as one of the best tools for training product managers and product management skills.
The most common metrics gaming companies focus on are Day-1, Day-7, and Day-30 retention rate. While these metrics are of great help early in the journey, it’s long-term retention which is key to lasting success and a seat in the top-grossing charts. This post makes a case for long term-retention and why your focus should be first and foremost there.
In King of Thieves during the soft launch we managed to increase Day-1 retention from 26% to 57%, and Day-7 retention from 9% to 32%. LTV was up more than 25 times by the time of the global launch.
Somewhere in the middle of this journey, another Friendly Game studio shared the early results of the new game they had recently launched. Their Day-1, Day-7, Day-30 retention rates were worse than King of Thieves’. The LTV curve was also placed lower than ours in the first 30 days.
The metrics of this game were not bad, actually, they were pretty good. But based on the comparison with King of Thieves and other top performing games at the time. I made the conclusion that it was not the next big hit and that the potential of this game was limited. Yet my assessment was wrong. At that time my framework of assessing the games failed to account for the importance of long-term retention.
I learned the importance of long-term retention through my mistake evaluating the potential of Friendly Game offered to us for publishing. While King of Thieves dwindled after impressive start, that Friendly Game continued to push ahead and is now permanent fixture in the top grossing charts.
I was wrong because I failed to look past Day-30. While King of Thieves was a successful game, the game from that Friendly Game steadily grew over the years and is now dominating one of the sub-genres in the Deconstructor of Fun taxonomy.
What do Day-1, 7, 30 retention and Long-term retention mean
It is important to keep in mind that retention depends on two variables: the product and the users coming through various channels. For simplicity’s sake, in this post, we will focus on the product side of things and discuss how you can interpret Day-1, Day-7, Day-30 and long-term retention metrics.
Day-1 retention shows how fun and entertaining your core gameplay is. During the first day, most of the users will be able to experience only gameplay and that would be at the core of their decision whether they’d keep playing or not.
Day-7 retention shows how the core loop of your game is performing. This KPI also gives you an idea of how engaging the metagame is.
Day-30 retention is a clear signal on the metagame performance and the depth of the game. It’s unlikely to see a significant percentage of users playing a game for more than 30 days without working metagame and often a deep social experience.
Make sure to tie your games’ elements to key retention milestones. A good rule of thumb is the one above. This framework is more for IAP-driven long-term retention games.
Day 30 is where lots of game developers stop thinking about retention. And I made the same mistake when comparing King of Thieves to the Friendly Game. But after Day 30 is actually where the most interesting part begins.
But why does it happen? I think most teams don’t focus on retention after day 30 mostly due to the fact that it stops being actionable. It’s hard to measure the impact of your changes if they come into effect months after implementing them.
First, it takes a long time to get this kind of data.
And thirdly, running live service tends to focus on short term wins with games looking to improve their KPIs weekly if not daily instead of waiting for an improvement to kick in the next quarter.
Nevertheless, in my experience, the path to the top-grossing charts is hidden in your retention curve trajectory after day 30. If your game retention flattens out at some reasonable point and keeps going parallel to the x-axis – that means that you convert new users into *base users. If this is true – you have a foundation to create a really strong monetization and reach a wide audience through paid marketing channels.
*Base users = players who keep coming back on a regular basis for a long time. For example, players who have played for 30 days and are still actively playing can be tracked as their own user base. This user base can then be then tracked and targeted separately.
How Long-term Retention Defines Games’ Growth Potential
Let’s consider 4 different games. Below you can see the retention curve of each one of them (two with flat retention, two with retention curve crossing 0 at some point). Let’s say each game gets 1,000 new users per month. Which one of them will be the biggest game in 5 years time in terms of active audience?
The first game has a very weak retention, the second game has a great short-term retention but both fail to keep users in the long-term. And that is why when these games reached a certain level of active audience they stopped growing: the number of users who were joining the game was equal to the number of users who were churning.
On the other hand the reason why the third and the forth games became the biggest ones in terms of active audience is that it converted new users into base ones (by base users we mean those who became part of stable long-term MAU of a specific cohort or users who form a long term retention). The fourth game converted every 1000 of new users into 700 base users who would keep playing the game long into the future.
If you split the first game’s MAU by month when users joined, you’ll see that each month’s MAU is mostly formed by the new users who joined this month. Users who joined in the previous month represent a very small part of active audience. If you split the fourth game’s MAU by month when users joined, you’ll see that each cohort results in a stable line which builds on top of the previous cohorts. That’s how it grows.
Being able to convert users into base ones creates many opportunities monetization-wise. The LTV will keep growing allowing you to increase user acquisition by increasing bid and/or payback times. Considering the overly competitive mobile user acquisition market, increasing LTV over time is vital not only to succeed but to survive.
How to Spot Games’ with Strong Long-Term Retention
Teams working on games with limited long-term retention tend to focus on user acquisition, optimizing the onboarding flow and the experience in the first 30. The reason is very simple. When such games get an influx of new users it has a very strong and clear impact on revenue. This games tend to be categorized by an install curve that follows closely the revenue curve.
Sniper 3D Assassin by Wildlife Studios, like all the other sniper games, suffers from a relatively low long-term retention. This can be seen in how the installs affect revenue. Games with low long-term retention have to double down on early monetization.
On the other hand, games with strong long term retention gain much smaller impact on revenue from adding new users since the majority of monetization is driven by base users. But don’t be mistaken, games with good long term retention are just as much dependent on user acquisition but the impact of new users is simply delayed.
Scopely’s Star Trek Fleet Command is a prime example of a game with a strong long-term retention and healthy long-term monetization. This can be seen in low volatility of the revenue curve and the delayed impact installs have on it.
In the games with stable and strong long-term retention the active user base keeps growing as long as the user acquisition is stable. That means that over time old users become the biggest part of the overall audience and the main source of sustained revenue. Due to that fact, the impact of live operations and adding new content for old users in such games is a much bigger lever than new user acquisition.
Games with frontloaded monetization have a limited monetization potential due to low long-term retention. Developers can’t fit an infinite number of features into the first 30 days of a player’s journey. This creates a downward spiral where the team is not incentivized to build for long-term retention and thus the game continues to suffer from lack of long-term retention.
Common Paradox: Games with great long-term retention often has lower short-term retention
One of the misconceptions that I had before and that led me to the wrong conclusion is that I always assumed that games with higher short-term retention have higher longer-term retention. It can be true, yet not in all cases.
Quite often games with great long-term retention are deep and complicated. It makes such games less accessible and therefore relevant for a smaller audience than casual games. When you soft launch such a game, acquiring users through Facebook or Google ads (usually with a pretty broad targeting) you end up seeing pretty low short-term retention simply because for the majority of players these games have too high of an entry threshold. But for some, often more experienced players, these games offer great depth that keeps them engaged for years to come. A great example would be 4X games or an auto-battler.
Getting into an auto-battler like Riot’s Team Fight Tactics is very difficult. The game has almost no core gameplay as it focuses purely on the meta. For the majority of players, this is too much and they would churn immediately. But for more experienced players this game offers unrivaled depth that is the foundation for not only long-term retention but also communities inside and outside the game.
Of course, there are exceptions. For example, match-3 games tend to have great long-term retention driven by the gradual evolution and popularity of core gameplay as well as narrative (ex. Homescapes, Lily’s Garden). And then there are genre-defining gems like Clash of Clans, Brawl Stars and Fortnite. These games make a specific genre accessible for a wide audience and at the same time presents accessible depth that supports strong long-term retention. But as we all know, games like these are more like exceptions to the rule than the norm.
Measuring D-180 Retention with Only D-30 Data
Unfortunately, all games are different. Therefore there is no general rule on how to predict D180 retention based on D30 data. But the great news – you don’t need to do that.
What you care about is not a specific value of D180 retention, but the shape of the retention curve. You want it to flatten out at some reasonable level and go parallel to the x-axis. For most games, the telling sign is when the retention j-curve flattens out based on the first 30 to 60 days.
Another important question is what should you do to make your game’s retention curve flatten out at a reasonable level. The shape of the retention curve is defined by two main factors: the genre of the game and the added value of your game.
There are genres that simply don’t have the potential to keep users engaged for a very long time. An extreme example would be hyper-casual games where players are not expected to play more than a few days. If you limit yourself to a genre with below-average long-term retention then you are likely to limit the potential of your game’s retention as even a great execution will likely not be enough to reach above-average long-term retention.
Your game has to bring some additional value to lure in players and win market share. There are a few ways to do this:
You can copy a successful game if you know how to acquire relevant users in a more effective way. But marketing strategies are relatively easy to copy, so it may not be a viable long-term strategy. You also have to have very deep pockets to succeed in this.
You can follow the differentiation strategy inside the chosen genre that is already successful on mobile with the goal of acquiring new users who did not play this genre before. Example: Rise of Kingdoms, Star Trek Fleet Command and Game of Thrones have all been able to expand the 4X genre with their games by luring in new players through accessibility.
You can innovate by introducing a new take on the genre, which is yet to emerge on mobile. Examples: Clash of Clans, Clash Royale, Brawl Stars and Last Day on Earth are all games that created genres they now own.
But no matter what strategy you take, you have to be vary of the market. If you’re entering a sub-genre that lacks market entry restrictions and you’re not among the first companies to enter, you will face poor long-term retention.
Let us take idle games as an example. Kolibri, the king of the sub-genre, showed that if you’re one of the first games in this new genre, you will have amazing retention and the staying power that comes with it. At the same time, the company couldn’t follow up their success with Idle Miner Tycoon simply because the market got stuffed with clones. This speaks volumes on how competitive the idle market became in an incredibly short time. And it shows how foolish it is to make a so-called “safe bet” by entering a highly concentrated market with a nominally differentiated title.
Go For Long-Term, But Only If You Can Afford It
Games that possess long-term retention are the only sustainable way to build out a business. Yet building for long-term retention is something that isn’t the first thing mobile game developers think about. At the same time, failing to focus on Day 180 limits the game’s potential to capture its spot in the top-grossing list.
Games with solid long-term retention are without an exception made and operated by large to mid-size developers and publishers due to two key factors:
Firstly, games with strong long-term retention tend to be more expensive to build and operate. On the mid-core side, they tend to have deep and complicated meta-games bundled with elaborate graphics. While on the casual side of things these games have an incredible amount of content keeping players engaged and entertained.
Secondly, these games require significant marketing investments with very long payback times. Expect payback times to range anywhere from a year up to three. This ties up capital and relies on a world-class data science team to create and maintain LTV curves per channel. Not to mention the product team that works diligently on live services.
Разрабатываем retention-стратегию: от планирования до внедрения (часть 1)
Анастасия Горькая, региональный директор компании eSputnik и основатель CRM-агентства «Входящие».
Retention – это комплексное направление работы компании в части:
Формально методология Retention является составной частью CRM-маркетинга и ориентирована в большей степени на то, чтобы приучить клиента пользоваться вашим продуктом или сайтом, сделать продукт неотъемлемой частью его жизни. В остальном все цели и мероприятия схожи с CRM-маркетингом, а именно – выстраивание вокруг клиента такого уровня сервиса, который обеспечивал бы лучший опыт взаимодействия с продуктом, чтобы клиент был готов возвращаться к вам вновь и вновь.
Что такое retention-стратегия? Это документ, описывающий системный план действий, который закрывает перечисленные выше задачи. Это всестороннее исследование бизнес-процессов, интегрирование в них механик работы с данными и коммуникациями. Если нет проработанной стратегии, коммуникация с клиентами носит бессистемный характер, обнуляя ее эффективность. В этой статье представлены вспомогательные материалы по составлению retention-стратегии, которые можно адаптировать для различных специфик бизнеса, будь то e-commerce, SaaS, интернет-СМИ и так далее.
За что отвечает Retention?
На каких задачах важно фокусироваться в этом направлении? В первом приближении они строятся следующим образом:
Чтобы успешно справиться со всеми перечисленными задачами, добиться конкретного, непротиворечивого результата, нужно заранее систематизировать и описать способы решения каждой крупной задачи, а затем составить пошаговый план действий (он же roadmap). Это и будет retention-стратегия. Она должна быть предельно конкретной, каждый отчет должен иметь свое назначение и быть практически используемым при внедрении.
Итак, что необходимо подготовить в рамках стратегии? С помощь каких отчетов можно определить, что движение идет в правильном направлении и поставленные цели будут достигнуты?
Перечень разрабатываемых документов retention-стратегии будет несколько отличаться в зависимости: бизнес-моделей, текущего размера компании, доступности офлайн-точек, широты ассортимента, жизненного цикла продаваемого продукта. Однако общая структура стратегии неизменно включает в себя два ключевых этапа – этап аудита и этап проработки решений. Для стартапов и среднего бизнеса перечень отчетов в рамках аудита может сокращаться, но раздел решений чаще всего остается в исходной полноте.
— формулирование бизнес-целей, которые необходимо достичь с помощью Retention;
— постановка задач, которые будут закрывать retention-направление;
— определение прямых количественных и качественных KPIs направления;
— определение стратегических и финансовых KPIs для бизнеса, на которые будет оказано непосредственное влияние.
Анализ пользовательского пути:
— моделирование пользовательского пути;
— аудит существующего клиентского опыта на каждом этапе пользовательского пути.
Анализ базы данных:
— анализ существующей клиентской базы;
— анализ текущих каналов пополнения базы, динамики роста и оттока;
— анализ активности базы по RFM-модели, анализ когорт, определение доли активных и “спящих” подписчиков;
— определение доступных каналов для связи с пользователями в рамках всей базы;
— анализ полноты и достоверности накопленных данных;формирование перечня данных, необходимых к обогащению;
— сжатый анализ существующей инфраструктуры по обогащению и обмену данными.
— анализ необходимости и достаточности текущих коммуникаций;
— аудит эффективности существующих коммуникационных каналов;
— оценка лучших практик рынка, соответствие бенчмаркам;
— оценка коммуникации конкурентов.
— фиксирование связей влияния KPIs друг на друга;
— определение факторов, влияющих на каждый KPI в лучшую и в худшую сторону;
— формирование гипотез по увеличению позитивных и уменьшению негативных KPIs;
— постановка конкретных целей по достижению KPIs при внедрении гипотез.
Моделирование пользовательского пути:
— оптимизация пользовательского пути, фиксация разрывов и избыточных этапов;
— определение типа необходимых коммуникаций, поддерживающих каждый этап пользовательского пути после прерывания взаимодействия с сайтом/продуктом;
— расчет прогнозного роста конверсий после внедрения поддерживающей коммуникации для каждого этапа.
-моделирование пользовательских сегментов согласно имеющейся типологии данных;
— моделирование сегментов по принципу RFM;
— построение матрицы сегментов;
— определение состава каждого стратегического сегмента и желаемых показателей.
— определение инфоповодов для каждого сегмента в рамках матрицы;
— формирование карты спецпредложений и офферов для пользователей, перешедших в менее активный сегмент по RFM-модели;
— формирование карты спецпредложений для ускорения миграции пользователя в более привлекательные RFM-сегменты;
— проектирование карты триггерных коммуникаций для каждого этапа пользовательского пути в случае его прерывания;
— проектирование карты триггерных коммуникаций для каждого этапа жизненного цикла подписчика;
— каскадирование – составление правил последовательной коммуникации в различных каналах согласно поведению пользователей.
— описание изменений, усиливающих лидогенерацию с текущих каналов;
— описание каналов дополнительного обогащения базы;
— составление схемы интегрирования дополнительных каналов в архитектуру обмена данными;
— формирование карты размещения форм для сбора контактов на сайте.
Политики и глобальные квоты:
— политика реактивации спящих пользователей (плановая, внеплановая);
— политика исключения из коммуникаций “спящих” подписчиков;
— политика частоты и плотности коммуникации;
— политика контроля доставляемости и engagement по доменам;
— политика сбора данных и обработки жалоб.
— проектирование архитектуры обмена данными;
— описание источников и способов сбора данных в рамках обновления архитектуры;
— формулирование SLA для подрядчиков;
— описание общих требований к инструментам управления персонализацией и автоматизацией;
— описание общих требований к инструментам, необходимым для осуществления коммуникаций в каналах.
Описание отчетов и систем контроля KPIs:
— формирование перечня отчетов для контроля стратегических KPIs;
— формирование перечня отчетов для контроля тактических KPIs;
— определение данных и моделей атрибуции, на базе которых строятся отчеты.
Для того, чтобы работа была системной и последовательной, рекомендую вам фиксировать сначала действия и задачи верхнего уровня, а затем углубляться и прорабатывать каждую зафиксированную область. Оптимально составлять самостоятельные документы по каждому разрабатываемому направлению, которые потом и станут структурой вашей стратегии. Приведу в пример один из таких документов по первому разделу аудита.
Советую разработать для себя подобный документ по всему содержанию стратегии, с его помощью получится достичь непротиворечивости собственных действий и четкого понимания, какими сведениями стоит руководствоваться и зачем. Двигаясь таким образом, фиксируя поэтапно весь набор данных и, главное, последовательность причин, следствий и планируемых действий, вы избежите путаницы в будущем, а также при необходимости сможете вернуться на более ранний этап и пересмотреть его. Еще это поможет обосновать ваш запрос на получение тех или иных данных, достичь взаимопонимания с отделом аналитики, который будет делать вам выгрузки данных и собирать отчеты.
Главное, что стоит здесь учесть, – старайтесь описывать все предельно конкретно, избегая абстракций, по которым сложно будет в дальнейшем разобрать, что подразумевалось и что планировалось исследовать.
Теперь перейдем к разбору конкретных разделов и того, что в них описывать.
Для начала необходимо сформулировать бизнес-цели и обозначить те показатели эффективности, на которые будет оказано влияние прямо и опосредованно. Важно ставить измеримые цели, для того, чтобы оценить финансовый результат по проведенным работам.
Стратегическими KPIs здесь могут выступать:
В зависимости от специфики бизнеса могут добавляться и другие бизнес-показатели, на достижение которых ориентируется компания, например, Rolling Retention для мобильных приложений и игровых порталов.
К тактическим KPIs, на которые будет оказываться прямое влияние, могут относиться следующие:
Возможно, некоторые удивятся, не обнаружив в тактических KPIs Open Rate. В данном случае за него выступает Engagement Rate, который показывает нам вовлеченность в цепочку коммуникаций за период t, а не успех какой-либо конкретной рассылки. Open Rate рассылки в чистом виде – это все-таки утилитарный показатель, которым легко манипулировать, поэтому я рекомендую заменить его комбинацией Engagement Rate и Active Customer Database. В совокупности они будут отражать качество покрытия вашей базы рассылками и степень заинтересованности в них со стороны подписчиков.
Если вам не знакомы какие-то из перечисленных показателей, ничего страшного. Мы привели в списке наиболее частые тактические KPIs для различных бизнес-моделей. Например, метрика Rolling Retention и Customer Retention Rate чаще можно встретить в продуктах с высокой частотой покупок. Для e-commerce же это может оказаться чем-то новеньким, хотя в текущей рыночной ситуации маркетплетизации может стать важным именно приучение к продукту, воспитание привычки посещать именно вашу онлайн-витрину.
Далее стоит последовательно описать задачи, которые будет решать retention-стратегия. Перечень задач здесь можно сформулировать, например, следующим образом:
В списке мы указали наиболее часто встречающиеся задачи, вам не обязательно одновременно брать их все в разработку. Но учитывать их сразу все-таки стоит. Определите, что станет системообразующим, а что можно решить во втором этапеом, чтобы в будущем обогатить выстроенную вами основную инфраструктуру и не противоречить ей.