Data-driven development: optimaliseren met behulp van analytics

Er wordt steeds meer gesproken over ‘data-driven development’. In dit artikel legt DTT uit wat data-driven development in de praktijk betekent en hoe je waardevolle inzichten op basis van data kunt gebruiken om richting en prioriteit te geven aan de doorontwikkeling van een softwareoplossing.

Wat is data-driven development?

Data-driven development is een aanpak waarbij besluitvorming voor het (door)ontwikkelen van een oplossing wordt gebaseerd op concrete cijfers en inzichten. Tijdens het development proces worden vaak (kostbare) beslissingen gemaakt op basis van  aannames, zonder echt naar de cijfers te kijken. Door het gedrag van de gebruikers binnen de oplossing te meten zul je in staat zijn om weloverwogen, datagedreven beslissingen te nemen over onder andere prioriteiten en optimalisaties. 

Hoe gaat DTT om met data-driven development?

Edu Play Book is één van de apps waarbij DTT data-driven development met behulp van app analytics heeft toegepast. De ontwikkeling van de app is klein begonnen met de focus op de basisfunctionaliteiten, welke vervolgens op basis van data-driven optimalisatie en app analytics doorontwikkeld, uitgebreid en aangevuld.

Wij gebruiken Key Performance Indicators (KPI’s) om het succes van Edu Play Book concreet en meetbaar te maken. Een KPI biedt concreet inzicht in het behalen van je doelen. Zo kan het een KPI van jouw oplossing zijn om zoveel mogelijk downloads te genereren ("acquisitie"), of gebruikers te motiveren om jouw oplossing met elkaar te delen ("organische groei"), of om gebruikers te behouden ("retentie"). In dit hoofdstuk gaan we stap voor stap langs de KPI’s van onze eigen in-house app Edu Play Book en delen we de resultaten van elke app update.

KPI 1: Een groeifactor van 1.5 behalen voor het totaal aantal shares binnen een jaar

De focus van de eerste fase lag op het verhogen van downloads en gebruikers (acquisitie). Onze KPI: Een groeifactor van 1.5 behalen voor het totaal aantal shares binnen een jaar. Dit betekent dat elke 10 gebruikers samen gemiddeld 5 nieuwe gebruikers uitnodigen.

We hebben deze doelstelling SMART geformuleerd. SMART staat voor Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden. Dit zag er voor deze KPI zo uit:

• Specifiek: Wij hebben deze KPI specifiek gemaakt door getallen en tijden te benoemen.
• Meetbaar: Formuleer een meetbare doelstelling (vaak cijfermatig) en zorg ervoor dat je de hulpmiddelen hebt om je KPI’s te meten. Om dit doel meetbaar te maken hebben wij in-app analytics geïmplementeerd om te registreren hoe vaak er word gedeeld in de app.
• Acceptabel: Zorg ervoor dat het doel door alle betrokkenen geaccepteerd wordt, zonder draagvlak kan je het doel niet behalen. Om deze KPI acceptabel te maken hebben wij zeker gesteld dat alle betrokkenen achter het doel staan.
• Realistisch: KPI’s moeten realistisch zijn. Deze KPI hebben wij realistisch gemaakt door na te denken over de haalbaarheid van de KPI met het beschikbare budget en beoogde tijdslijn.
• Tijdsgebonden: Geef aan binnen welke periode het doel moet worden gerealiseerd. Voor deze KPI hebben we een tijdspanne van een jaar gekozen.

Na het opstellen van de SMART KPI hebben wij nagedacht over functionaliteiten die bijdragen aan het behalen van de doelstelling.

Om het delen van de app te stimuleren is de opname functionaliteit bedacht. Met deze functionaliteit kunnen gebruikers zelf een boek inspreken en dit ingesproken boek vervolgens delen met dierbaren, bijvoorbeeld via Facebook of Whatsapp. Ook is de mogelijkheid ingebouwd om een verzoek sturen naar een dierbare met het verzoek of hij of zij een verhaal wilt inspreken. Voor de livegang van deze update werden belangrijke conversie momenten in kaart gebracht om meetbaar te maken of de update inderdaad in meer organische resulteerde, waaronder:

• Van het lezen van een boek naar het aanvragen van een opname;
• Van het starten van een opname naar het afmaken van een opname;
• Van een opname afmaken naar een opname delen met een andere gebruiker;
• Van een opname aanvragen bij een dierbare, tot de app downloaden door degene die de uitnodiging ontving, naar een verhaal opnemen door de dierbare en het vervolgens terugsturen van een opname (complete flow);
• Van het delen van een opname met degene die de opname heeft aangevraagd tot het delen van de gemaakte opname met andere gebruikers.

• In juni 2019 werd de app 224 keer gedeeld door middel van app shares (59%) en book shares (41%).
• In juni 2020 werd de app 790 keer gedeeld waarvan het overgrote deel van het totaal aantal shares bestond uit opname verzoeken (62%) en shares vanuit gedeelde opnames (17%).
• Tussen juni 2019 en juni 2020 is het totaal aantal shares is binnen een jaar gestegen met meer dan 350%. De doelstelling om het totaal aantal shares te verhogen met een groeifactor van 1.5 was met dit resultaat ruim behaald.

Facebook Analytics, Edu Play Book: Shares verdeeld per sharetype, juni 2019

Facebook Analytics, Edu Play Book: Shares verdeeld per sharetype, juni 2020

De onderstaande funnel toont hoe vaak in februari 2021 het aanvragen van een opname werd opgestart, hoe vaak het verzoek voor een opname werd verzonden en op welk punt dit proces het meest werd afgebroken. Van de 454 gebruikers verzonden uiteindelijk 143 gebruikers een verzoek om een boek in te laten spreken.

Facebook Analytics, Edu Play Book: Opname funnel, februari 2021

De bovengaande funnel maakt inzichtelijk dat we meer dan 40% van de gebruikers kwijtraken tussen stap 3 (klikken op een opname aanvragen) en stap 4 (het daadwerkelijk aanvragen van een opname). In de aankomende updates zullen we ons daarom ook richten op een optimalisatie tussen stap 3 en stap 4. Zo weten we dat een optimalisatie op dit punt van de app een hogere prioriteit heeft en meer winst kan geven dan een optimalisatie tussen stap 1-3. 

KPI 2: De week 1 retentie van de app binnen een jaar verdubbelen

Het volgende doel na het verhogen van het aantal shares, was het verhogen van de gebruikersretentie. Gebruikers retentie betekent het vasthouden van bestaande gebruikers. Om gebruikers retentie te stimuleren, werden de volgende functionaliteiten toegevoegd:

• Educatieve minigames, kom elke dag terug om te leren lezen, rekenen en meer;
• Slaap Zacht, kom elke dag terug voor een interactief verhaal voor het slapen gaan;
• Tandenpoetsen, kom elke dag terug voor een interactieve module welke kinderen leert hoe zij hun tanden kunnen poetsen.

Voor de bovenstaande functionaliteiten werden wederom belangrijke conversiepunten in kaart gebracht, waaronder: 

• Van minigame level 1 naar minigame level 2;
• Van spelen minigame A naar spelen minigame B.

De functionaliteiten om retentie te bevorderen werden in september 2019 live gezet. Op dat moment was de week 1 retentie 3.23%, dit houdt in dat slechts 3.23% van de gebruikers de app nog in gebruik nam na een week. In september 2020 was de retentie 15.1%, binnen een jaar is de week 1 retentie bijna vervijfvoudigd. 

KPI 3: Verhogen van gebruikersactiviteit naar 2500 actieve gebruikers per maand binnen een jaar

Middels Analytics werd duidelijk dat des te langer een mini game level duurde, des te vaker het level werd gespeeld. Op basis van deze inzichten werd besloten om de levels van nieuwe minigames langer in te steken door de minigames uitdagender te maken. In januari en maart 2020 werden langere minigames geïntroduceerd. De onderstaande grafiek toont de stijging in gebruikersactiviteit na het lanceren van de nieuwe mini games.

Facebook Analytics, Edu Play Book: Gebruikersactiviteit, juni 2019 tot juni 2020

De onderstaande funnel toont hoe vaak in februari 2021 een level van een minigame werd gestart, hoe vaak het level werd uitgespeeld en het aantal gebruikers wat doorspeelde naar het volgende level.

Facebook Analytics, Edu Play Book: Minigame funnel, februari 2020

Op basis van deze inzichten, zou je kunnen betogen dat het van meerwaarde is om te focussen op het proces tussen ‘Started’ en ‘Finished’. Hier is meer ‘winst’ te behalen dan in de volgende stap. Bij stap 1 ‘verliezen’ we 23% van de gebruikers en bij stap 2 slechts 16% van de resterende gebruikers. 

A/B testen van app iconen 

Een A/B test is een vorm van splittesten waarin verschillende varianten naast elkaar worden getest om zodoende de ‘best presterende versie’ met de hoogste conversie te vinden. Bij Android apps is het mogelijk om een A/B test op te zetten waarin je maximaal vier varianten naast elkaar kunt testen (A/B/C/D). Bijvoorbeeld varianten van het app icoon of screenshots die worden getoond van de app.

Voor de Edu Play Book app zijn er meerdere A/B testen opgezet. Het app icoon is het eerste visuele aanspreekpunt  voor een gebruiker in de app stores. Idealiter valt het app icoon dan ook op om de aandacht trekken van de gebruiker. 

In de onderstaande tabellen zetten we de iteraties van het app icoon en het aantal downloads op een rij. Hoe hoger het percentage, hoe vaker het app icoon is gedownload.

19 augustus 2019: A/B testen met kleurvariaties

Bij de eerste A/B test lag de focus op de kleur van het app icoon. Tijdens deze A/B test zijn er vier varianten van het app icoon getest in de Google Play Console met elk een verschillende kleur. De paarse variant werd onder deze opties het meest gedownload.

25 oktober 2019: A/B testen met een nieuw design

Bij de tweede A/B test werd er een compleet nieuw design getest tegenover de meest succesvolle variant uit de vorige A/B test. De resultaten waren als volgt: 

12 december 2019: A/B testen met variaties

Bij de laatste A/B test omtrent het app icoon werden vier variaties van de uil uit Edu Play Book getest. Van alle vier de varianten bleef hetzelfde app icoon het meest populair met 28.9%. 

Zoals valt te lezen, hebben we met de A/B testen tientallen procenten aan ‘winst’ gepakt waarmee we de download aantallen voor de app op een structurele wijze hebben verhoogd.

Case: VoNo

Voor de VoNo app maakt DTT veelvuldig gebruikt van A/B testen in de Google Play Store. Naast app iconen, is het in de Google Play Store ook mogelijk om te testen met andere elementen uit de Google Play Store listing, zoals onder andere:

• App iconen
• App screenshots
• Feature graphic
• App video

In dit hoofdstuk gaan we stap voor stap langs een aantal van de resultaten van verschillende VoNo A/B tests. 

12-02-2021: A/B testen met app iconen

Zoals eerder werd uitgelegd is het app icoon een van de allereerste aanspreekpunten voor een gebruiker in de app stores. Bij de ondergaande test werd het bestaande app icoon (A) getest tegenover varianten B, C en D.

Uit de A/B test bleek dat variant B zorgde voor een toename van 16.0% in first-time installers en 9.0% meer retained installers.

12-03-2021: A/B testen met app screenshots

App screenshots zijn promotie plaatjes die de functionaliteiten van de app laten zien aan potentiële gebruikers. Je kunt in deze simpelweg ‘screenshots’ van de app uploaden, of je kunt ervoor kiezen om de afbeeldingen op een slimme en mooie manier te verrijken. Bij de ondergaande A/B test lag de focus op het naar voren brengen van de belangrijkste functionaliteiten van VoNo. 

Uit de A/B test bleek dat variant B zorgde voor een toename van 16.0% in first-time installers en 9.0% meer retained installers. App screenshots zijn promotie plaatjes die de functionaliteiten van de app laten zien aan potentiële gebruikers. Je kunt in deze simpelweg ‘screenshots’ van de app uploaden, of je kunt ervoor kiezen om de afbeeldingen op een slimme en mooie manier te verrijken. Bij de ondergaande A/B test lag de focus op het naar voren brengen van de belangrijkste functionaliteiten van VoNo.

Uit deze A/B test bleek dat de screenshots waarbij de USP’s (Unique Selling Points) in de eerste ‘screenshot’ duidelijker werden omschreven meer ‘first-time’ en ‘retained installers’ behaalde. Variant B zorgde voor een toename van 25.3% in first-time installers en 28.1% in retained installers, dit met dank aan enkel één A/B test.

11-05-2021: A/B testen met de feature graphic

Een feature graphic is een vereist element om je app te publiceren in de Google Play Store. De feature graphic is daarnaast een goede manier om de USP’s (Unique Selling Points) van je app of game in beeld te brengen en nieuwe gebruikers aan te trekken. Voor VoNo heeft DTT al meerdere A/B tests uitgevoerd rondom de feature graphic. 

Bij de A/B test voor het featured graphic lag de focus op het belichten van verschillende USP’s en werd de bestaande feature graphic (A) getest tegenover: Memo tool (B), Memo + mail (C) en Memo notebook (D).

Uit de resultaten blijkt dat de variant Memo notebook (D) het meest effectief was om first-time installers aan te trekken, maar Memo tool (B) was het meest effectief in het behouden van gebruikers. Om deze reden werd er gekozen voor optie B Memo tool. In vergelijking met de oude feature graphic was het retained installers 19.2% hoger.

25-05-2021: A/B testen met een video I

Binnen de Google Play Store is het mogelijk om een video toe te voegen aan de Play Store listing pagina. Een video is niet vereist om een app te publiceren, maar een video kan helpen om de aandacht te trekken van potentiële gebruikers en om gebruikers te informeren over wat ze kunnen verwachten van de app, zodat zij weten of de app aan zal sluiten op hun wensen. In deze A/B test werd de VoNo Play Store listing zonder video getest tegenover een versie mét video. Uit de A/B test bleek dat de app meer retained installers vasthield mét een video op de Play Store listing.

22-06-2021: A/B testen met een video II

Na het positieve resultaat van de eerste video A/B test, werd er een tweede A/B test uitgevoerd met een geüpdatete video. Het doel van de tweede test was om zowel meer first-time als retained installers te behalen.

De impact van A/B testen

Bij VoNo steeg het aantal gebruikers in zes maanden van ruim 80 naar ruim 240 per dag. De store listing acquisition toont hoeveel gebruikers die de app bekeken in de Play Store de app vervolgens hebben gedownload. Na uitvoerig A/B te testen steeg de store listing acquisition met 129.8%. Wanneer we de store listing acquisition uitdrukken in een conversiepercentage (hoe vaak de app wordt gedownload ten opzichte van het totaal aantal VoNo Play Store pagina bezoekers), dan komen we uit op 31.26%. Dat is ruim 10% hoger dan andere apps in de categorie Productiviteit. Deze vooruitgang is geboekt zonder één enkele app update of promotie, enkel de kracht van App Store Optimisation (ASO) en dit is nog maar het begin.

Van onderbuikgevoel naar data-driven development voor jouw app idee

Ben je na het lezen van artikel enthousiast geworden over de mogelijkheden van data-driven development met behulp van analytics? Neem gerust contact op voor eventuele vragen, we helpen je graag verder bij DTT. Wil je hierover verder praten of sparren? Neem dan vrijblijvend contact met ons op.