Data is the new oil

 A l’air du digital, le e-commerce, les réseaux sociaux et les objets connectés alimentent les entreprises d’un volume de données considérable. Cette explosion les pousse à revoir leurs méthodes de gouvernance et à réfléchir à leur exploitation. La donnée est un nouvel « or noir », dont l’usage peut être éclairant, à côté de la plaque ou même détrimental

 Parmi les usages les plus prisés de la data, on trouve la mesure de la performance. La data permet de suivre finement et en temps réel, des KPIs de performance des produits, des équipes ou des entreprises,. 

Le product owner dispose également de ce nouvel outil pouvant potentiellement l’aider dans la compréhension de ses utilisateurs et du marché et le développement de son produit. Le succès d’un produit semble donc dépendre  intimement de la capacité d’une équipe à interpréter les données et les indicateurs qu’elle a à sa disposition pour apporter de la valeur à l’utilisateur.

Dans le product management, la donnée permet de s’éloigner de l’intuition, pour tendre vers une approche empirique. Les hypothèses choisies sont validées ou non par l’exploitation de la donnée, et ce indépendamment du jugement a priori de l’équipe produit. Cette exploitation des données permet au Product Owner d’obtenir des feedback immédiats de ses utilisateurs, de tester des hypothèses produit et d’orienter la stratégie et la vision de son équipe.

Si dans la théorie, ces idées sont très séduisantes, qu’en est-il de la pratique ? Comment peut-on s’assurer de bien construire et analyser sa donnée ? Dans cet article, nous récapitulons les bons conseils de Eric Ries, entrepreneur qui a inventé la notion de “vanity metrics” qui nous intéresse aujourd'hui.‍

1/ Appliquer la méthode Lean pour générer de la data pertinente‍

Eric Ries est un bloggeur, un entrepreneur et un innovateur. On le connaît notamment pour la création de la méthode Lean Startup. Il est au Startup ce que Zidane est au foot ou Adrien Cachot aux abats, rien que ça. Sa méthode met l’accent sur la nécessité de réduire la durée du cycle de développement d’un produit, sur l’importance de mesurer les progrès réalisés et d’obtenir des retours de la part des utilisateurs.

Pour Eric Ries, afin que les indicateurs prennent tout leur sens, ils doivent s’inscrire dans la boucle de feedback « Build-Mesure-Learn », l’un des grands principes de la méthodologie Lean. Cette boucle infinie doit permettre aux entrepreneurs de tout type de récupérer et d’analyser les feedbacks des utilisateurs afin de valider qu’on procure de la valeur au client. Le but de ce process itératif est d’apprendre, et rapidement.

         Dans cette boucle, on retrouve les différents stades du développement produit. D’une idée, on aboutit à un produit, d’un produit émerge de la data, et de la data naissent des idées. Entre chaque stade, des étapes précises qui permettent de passer d’un stade à l’autre. Voyons comment chaque étape permet de mettre la donnée au service du produit.

·  Pour passer d’une idée à un produit, il faut passer par une phase de « Build ». Durant cette phase de production, il est important, selon Eric Ries, de définir des hypothèses à tester portant sur le besoin identifié (hypothèse de proposition de valeur) et/ou sur la solution proposée (hypothèse de croissance). Ces hypothèses doivent inclure des critères de réussite mesurables qui permettront de donner une réponse tangible aux questions posées par les hypothèses établies. Cela permet de déterminer à l’avance quels indicateurs doivent être surveillés et comment, afin de garantir la disponibilité et l’impartialité des données lorsqu’elles seront analysées.

·  Pour passer d’un produit à de la data, il est essentiel de mesurer. Durant l’étape de mesure, on collecte des données et des retours de la part des utilisateurs qui utilisent le nouveau produit. Ces données et la façon de les collecter doivent être déterminées en amont durant la phase de « Build ».

·  Et pour transformer la data en idées, il faut passer par une phase d’apprentissage et de prise de décisions. Si les indicateurs ont été initialement bien définis, la prise de décision est faite sur une base claire et objective. La phase de « Learn » doit aboutir à une compréhension plus profonde des attentes des utilisateurs et de la pertinence des solutions proposées. Idéalement, cette phase d’apprentissage fait émerger de nouvelles hypothèses et la boucle reprend.

La boucle de feedback permet donc de lier les données aux hypothèses qu’on cherche à valider. C’est lorsqu’on sort de cette boucle de feedback qu’on risque d’avoir affaire à des vanity metrics.

 2/ Ne pas s’attarder sur les vanity metrics

Le terme vanity metrics est utilisé par Eric Ries pour désigner les indicateurs qui font bonne figure sur le papier mais qui n’aident pas à la prise de décision. Ce sont ces indicateurs qu’on aime regarder parce qu’ils boostent l’égo mais qui n’apportent rien en termes de valeur. Par exemple, si on crée un nouveau site e-commerce et qu’on surveille le nombre de visiteurs depuis sa création, ce chiffre ne peut qu’augmenter, et n’a donc pas de sens. 

Pour prendre un cas d’étude concret, prenons l’exemple d’une application qui se vanterait de 15 millions de téléchargements et qui serait « un maillon essentiel de notre stratégie pour nous protéger et protéger nos proches ». Attardons-nous sur l’exemple de l’application TousAntiCovid.

Un rapport d’information du Sénat déposé le 3 Juin 2021 nous permet de prendre de la hauteur sur les indicateurs avancés par le gouvernement concernant l’application TousAntiCovid.

 Cette application est une v2 de l’application StopCovid qui avait malheureusement été un échec.

 Revenons sur l’indicateur des 15 millions de téléchargements.

 D’une part, sans contexte, on pourrait se féliciter qu’un Français sur cinq ait téléchargé l’application, mais comparé à nos voisins européens, ce chiffre perd déjà de sa superbe : en Allemagne, c’est 31% de la population qui a téléchargé la Corona Warn App dont 6 millions dans les 30 premières heures. Au Royaume-Uni, c’est également 31% de la population qui a téléchargé NHS Covid-19 App.

 D’autre part, comme le souligne le rapport, « ce chiffre est en lui-même peu significatif : il inclut en effet les - nombreuses - mises à jour successives, et ne signifie donc pas qu'un Français sur cinq a téléchargé l'application. Il ne signifie pas non plus, a fortiori, que ces personnes utilisent effectivement l'application, puisque celle-ci doit être activée, et le Bluetooth également. Enfin, ce chiffre est susceptible d'être faussé par l'ajout des nouvelles fonctionnalités à l'application, qui peuvent conduire à une hausse des téléchargements, sans que les utilisateurs aient pour autant l'intention d'activer le contact tracing. »

 L’indicateur du nombre de téléchargement et donc dans ce cas un vanity metrics, qui sert un propos plutôt que de viser à analyser une situation.

 Eric Ries nous éclaire davantage sur cette notion.Il a en effet observé que l’utilisation de tels indicateurs engendre un manque de transparence sur ce qui a pu causer une variation de ces indicateurs. On tombe alors très vite dans le biais d’autocomplaisance qui met en avant « la tendance des gens à attribuer la causalité de leur réussite à leurs qualités propres (causes internes) et leurs échecs à des facteurs ne dépendant pas d'eux (causes externes), afin de maintenir positive leur image de soi » (Annie Piolat et Jacques Vauclair, Réussir ses études de psychologie).

 3/ Créer des actionable metrics

 Eric Ries oppose les actionable metrics aux vanity metrics (dont nous venons de voir un exemple criant), les indicateurs décisionnels aux indicateurs illusoires. Si les indicateurs “vanity metrics” sont libres d’interprétation et personne ne sait vraiment ce qui a causé leur hausse ou leur baisse.Les actionable metrics (ou indicateurs décisionnels)ne laissent plus place à l’interprétation.

 Mais alors qu’est-ce qui rend un indicateur actionable/décisionnel ?

·  Il est ad hoc. Pour ceux qui n’ont pas fait option latin, cela signifie que l’indicateur a été choisi et mesuré pour répondre à besoin spécifique. Il est lié à l’hypothèse qu’on a cherché à tester et ce qu’il révèle (que ce soit bon ou mauvais) n’est pas contestable. On en tire donc des enseignements sur l’évolution apportée au produit.

·  Il est accessible, aussi bien au niveau de sa compréhension que de sa disponibilité. Du fait des difficultés d’accès, de traitement, ou d’analyse des données, l’exploitation de la donnée a longtemps été réservée aux dirigeants d’entreprise. Aujourd’hui les outils existants permettent non seulement de traiter la donnée plus facilement et plus rapidement, mais également de la diffuser en temps réel. La donnée aide désormais à la prise de décision quel que soit le niveau hiérarchique de l’employé. Un commercial peut par exemple recevoir des reportings ad hoc tous les jours, et un point de vente connaître les performances de ses rayons au jour le jour. Ce principe de transparence est par ailleurs un des piliers du Scrum.

·  Il est contextuel. Un indicateur n’a de sens que lorsqu’il est placé dans une temporalité précise et que son référentiel est clairement défini.

·  Il est moteur. C’est certainement le meilleur raccourci pour identifier une vanity metric, cet indicateur provoque-t-il une prise de décision ? Si la réponse n’est pas claire à vos yeux, il est probablement temps de revoir l’indicateur.

 Les campagnes d’AB testing permettent de bien illustrer les indicateurs décisionnels. Les hypothèses à tester sont clairement définies par le nombre de versions du produit qu’on cherche à tester, et elles sont liées précisément à une problématique et un contexte donnés. Le résultat d’une campagne d’AB Testing est sans ambiguïté et permet de prendre clairement une décision sur la déclinaison la plus performante. Ici quand on parle de performance, c’est par rapport aux objectifs fixés, plutôt que par rapport à l’avis du designer qui trouvera le dernier produit plus beau, ou le développeur qui trouvera les dernières lignes de code plus élégantes.

 4/ Utiliser ces deux indicateurs pour tendre vers le Less Is More

l’OMTM, ou le seul indicateur qui compte

Pour s’assurer de l’efficacité du suivi d’indicateurs, Allistair Croll et Benjamin Yoskovitz, dans leur ouvrage Lean Analytics, adoptent une démarche Less Is More et invitent les managers d’une équipe à se concentrer sur un unique indicateur à chaque étape du développement d’un produit : le « One Metric That Matters » (OMTM), autrement dit « le seul indicateur qui compte ».

Bien qu’ils soient parfaitement conscients de la nécessité de surveiller différents indicateurs pour chaque département d’une entreprise, le fait de choisir, pour chaque étape du développement, l’OMTM de chaque équipe présente plusieurs avantages :

·  C’est la réponse à la question posée. En effet, chaque étape du développement cherche à répondre à une problématique donnée. Si le problème posé est clair, alors l’OMTM en découle naturellement. À l’inverse, si l’OMTM ne survient pas de lui-même, c’est probablement que la problématique que l’on cherche à régler n’est pas suffisamment formalisée.

·  Cela force l’équipe à établir des objectifs chiffrés. Définir l’OMTM c’est définir le critère de réussite.

·  L’OMTM fixe un cap à suivre pour l’équipe. Les auteurs recommandent même de diffuser largement les évolutions de l’OMTM via des newsletters, des dashboards, des écrans TV…

·  L’OMTM promeut la culture de l’apprentissage continu et de l’expérimentation. S’inscrire dans la boucle Build-Mesure-Learn implique d’encourager l’expérimentation, et le fait d’échouer dans un cadre méthodologique structuré fait partie du processus d’apprentissage. « Quand chacun adopte l’OMTM et se voit donner l’opportunité d’expérimenter en toute indépendance en vue de l’améliorer, alors c’est une grande force ».

La North Star Metric

Le North Star Metric (NSM), ou indicateur « étoile polaire », est l’indicateur qui représente le mieux l’apport du produit (ou de l’entreprise) à l’utilisateur, en partant du principe que la valeur apportée aux utilisateurs sera le moteur à long-terme de la croissance de l’entreprise. Si la NSM change, c’est que le produit a connu une réorientation drastique.

Pour Laurent Florès, maître de conférence à l'Université Paris 2 Panthéon Assas, définir sa NSM renvoie une entreprise à ses fondamentaux :

·  La NSM est liée à l’objectif principal que l’entreprise souhaite atteindre : «  Dans un monde où la donnée nous envahit, […] la métrique qui va vraiment faire référence, c’est la métrique que les gens vont s’approprier » et il conclut en anglais « it’s not about data, it’s about people ».

En résumé, la NSM rend palpable l’objectif de l’entreprise. Pour Airbnb, la North Star Metric est le nombre de nuitées réservées. Il renvoie à la mission première de l’entreprise et concerne les deux principaux types d’utilisateurs d’Airbnb, à savoir les hôtes et les locataires.

·  La NSM est généralement un agrégat d’indicateurs, ce qui le rend interprétable par les différents départements de l’entreprise. C’est la raison pour laquelle il est déconseillé de faire du revenu sa NSM par exemple. A l’image de l’étoile polaire pour les navigateurs,  peu importe où on se situe dans l’entreprise, la NSM donne une seule et unique direction. L’exemple de Spotify est particulièrement parlant. Le leader du streaming musical a fait du temps passé par l’utilisateur à écouter de la musique (ou un podcast) sa NSM. L’objectif est clair, il symbolise la vision de l’entreprise, et son évolution dépend d’indicateurs propres à chaque département de l’entreprise.