Generative AI et Product Management : simple hype ou mutation d'un métier ?

Dès hier, certains ont commencé à s’approprier la generative AI et l’ont faite entrer dans leur quotidien. C’est le cas de nos deux intervenants. À titre d’exemple, Jonathan s’appuie dessus pour « s’aider à penser », se faire challenger. S’il a une idée de nouvelle fonctionnalité, il va demander à l’outil de lui expliquer pourquoi ça n’en est pas une bonne, ce qui pourrait mal se dérouler et ainsi améliorer la qualité de sa prise de décision.  « Ce serait un tort de ne pas profiter d’un contradicteur rationnel ». Victor voit également la generative AI comme un professeur lorsqu’il est confronté à des sujets techniques. «Il n’y a pas besoin de déranger un dev pour des questions triviales ». L’outil semble même faire preuve de pédagogie, en rappelant à son utilisateur que le problème qu’il rencontre est commun et en lui expliquant step by step comment le résoudre.

Il ne s’agit pas tant de laisser l’AI faire les choses à notre place que de l’employer à la recommandation, au challenge. C’est en effet un outil de productivité pour sûr, mais aussi un moyen de réfléchir mieux et davantage. Et ce n’est pas pour autant que Victor ou Jonathan se reposent intégralement sur cette technologie. « La technologie a tendance à faciliter la vie », à réduire la pénibilité, ce qui permet de se recentrer vers l’humain; mais jusqu’à quelle limite ? Tout devient potentiellement simple, mais « est-ce qu’on a envie de faire que du GPS tout le temps ou est-ce qu’on a envie de se perdre un petit peu pour conserver son sens de l’orientation » ? Qu’est ce qui peut finalement nous orienter vers l’emploi de ce nouveau collègue ou non ? 

• Quelle est la complexité du problème, l’ampleur des connaissances que je dois lui fournir pour accéder à une réponse vraiment pertinente ? Le fait qu’il s’agisse d’un projet à son stade initial ou d’un produit pour lequel il existe déjà un codebase énorme va être déterminant. D’un côté, les données d'entraînement vont suffire, de l’autre, il va falloir passer beaucoup de temps à rassembler et structurer les éléments de contexte nécessaires.

• Quelle est ma valeur ajoutée dans cette tâche ? J’en ai peut-être plus qu’une intelligence artificielle lorsqu’il s’agit de préparer un point avec mon stakeholder, structurer une réflexion, que lorsque je dois faire un post sur les réseaux sociaux.

Marty Cagan, qu’on ne présente plus, a publié il y a quelques semaines l’article Preparing For the Future. Il y développe les dix éléments de l’AI qui pourraient affecter les PM et tout corps de métier relié. Parmi ces dix points, quatre ont particulièrement retenu notre attention.

De l’autonomie des équipes

Les interactions, qui peuvent réduire la fluidité du fonctionnement intra- ou inter-équipes, sont moins nombreuses. Mais elles sont potentiellement davantage qualitatives. Comme l’explique Jonathan, le plus grand limitant de l’être humain au travail est la charge cognitive. Nous sommes obligés d’agrandir nos équipes de développement afin de pouvoir engranger tout le savoir. Or en s’appuyant sur l’intelligence artificielle, une seule personne peut avoir connaissance d’une multitude de choses. L’équipe est alors moins étendue, la communication, la coordination, la recherche de l’alignement nécessaires sont drastiquement réduites, et le gain en autonomie énorme. A un stade plus avancé, peut-être même que l’AI sera capable d’améliorer la topologie des équipes. En effet, bien alimentée en contexte concernant la complexité technique et organisationnelle d’une structure, on peut l’imaginer dépasser l’humain grâce à sa facilité d’accès à la pensée systémique. Elle proposerait alors de nouveaux découpages fonctionnels, de périmètres, une organisation agile extrêmement fine. 

Ces modèles facilitent par ailleurs l’accès aux hard skills. Il s’agit effectivement, pour Victor, d’une commoditisation de l’expertise technique permettant de se recentrer sur les soft skills. L’autonomie reste toutefois un sujet de culture. Même si le dev, le PM ou le product designer est plus précis et efficace, la culture du droit à l’erreur est nécessaire à son épanouissement, son investissement et sa créativité. « En innovant, on fait des erreurs (...). Avec Chat GPT, ils ne se planteront plus qu’une fois sur dix ; mais cette fois sur dix où ils se planteront va te poser problème, tu auras du mal à les laisser libres de tester des choses » et ce problème de culture restera un frein à la prise d’autonomie. 

 Le management des stakeholders

Le PM parle souvent un langage différent de celui du stakeholder, la valeur ne se situe pas toujours au même endroit pour l’un et l’autre.  Surtout quand l’autre est multiple. Victor, avant une réunion avec plusieurs directeurs, afin de porter sa vision sans « essayer de faire rentrer des carrés dans des ronds », peut s’appuyer sur la generative AI pour se préparer. Elle lui permettra de se poser les bonnes questions, d’identifier les objections possibles et de les désamorcer en les abordant en amont. Il est même possible de créer des avatars entraînés de ses parties prenantes pour s’essayer à l’exercice. Bien sûr, elle ne sera pas capable d’anticiper les réactions de politique interne comme celles, plus évidentes, d’un directeur financier. Mais elle offrira à nouveau ce temps gagné en précision de réflexion, qui permettra de se concentrer davantage sur ses soft skills et fluidifier la relation.

La production d’artefacts

Si Marty Cagan craignait que la Product Discovery ne disparaisse au profit de roadmaps générées par l’AI en se basant sur les objectifs de l’année, cette dernière réaffirme en fait davantage la valeur de cet exercice préliminaire. D’abord, l’AI accélère le processus en formalisant la recherche au travers, par exemple, de la rédaction de scénarios, de l’analyse des résultats de ces tests et entretiens. Ensuite, ce sont toutes ces données préparées et traitées qui vont venir alimenter la pertinence de la roadmap. Elles constitueront le contexte, le plus opportun et précis possible, qui permettra la création d’une roadmap finement construite.

Nouveaux modèles de prise de décision

L’AI accompagne également la priorisation par la valeur de manière mathématique. Ce qui est sans doute le plus difficile dans l’exercice de conception d’une roadmap est le fait d’être sûr de la priorisation de ses releases, que c’est le bon item, celui qui apporte le plus de valeur sur lequel on se focalise. Et si, demain, les Generative AI allaient jusqu’à simuler la mise en place d’une feature sur un échantillon de population et générer des conclusions statistiques ? Cette technologie représente une véritable aubaine d’aide à la sélection d'opportunités. Choisir plus vite signifie savoir plus vite si le choix est bon ou s’il faut rectifier, itérer. Choisir plus vite signifie également choisir plus, faire plus et faire mieux. Cela va également clarifier les critères du choix en nous poussant à nous poser plus de questions. A nouveau, on ne va pas laisser le modèle choisir à notre place mais identifier un maximum de paramètres, leviers et inducteurs qui éclaireront notre décision : « tout débroussailler pour laisser l’humain utiliser son bon sens, son humanité pour choisir ».   

      Ces perspectives reluisantes pour les intervenants du product management sont bien sûr à contrebalancer. Introduire les Generative AI au sein d’une organisation représente un challenge en soi et ne se fera pas en un jour. Jonathan entrevoit qu’il y aura les entreprises pré-AI et post-AI, comme ce fut le cas avec l’émergence d’Internet. C’est-à-dire que certaines vont naître avec cette technologie quand d’autres vont prendre plus de temps à passer au-dessus de leurs réticences, à s’adapter, évangéliser et à former à son utilisation. 

Les craintes se justifient, comme a pu le prouver l’expérience de Siemens Energy, victime d’une fuite de données. L’acculturation passera d’abord par les décideurs. La valeur que l’AI peut apporter se lit en premier lieu au travers du prisme économique: par l’augmentation de la productivité des équipes product comme abordé précédemment. Mais aussi par le biais d’autres activités. Prenons une campagne marketing. Aujourd’hui elle représente un centre de coûts conséquent du fait de visuels très chers et rend impossible, de fait, d’itérer, de multiplier les clichés. Avec sa capacité à générer des images, la Generative AI représente une économie considérable en termes d’efficacité, d’énergie et de dépenses.

Le second enjeu est la conduite de ce changement auprès des équipes opérationnelles. Pour aborder les sceptiques, il s’agit de dédier du temps à la didactique, l’explication des rouages, la dédramatisation et l’appropriation de l’outil. En ce qui concerne les enthousiastes, l’enjeu est celui de la distance critique, de continuer à se référer à l’expertise métier acquise dans la prise de décision plutôt que d’appliquer à la lettre ce que l’algorithme dicte.

       L’autre limite que l’on peut opposer à la généralisation de l’utilisation de l’AI revêt un caractère éthique. La dernière proposition de campagne de la marque Lacoste a été générée intégralement par l’AI… jusqu’à ce qu’elle soit recommencée de 0. La crainte de plagiat a motivé ce revirement de situation. En effet, le principe même de l’outil est l'entraînement sur de grandes quantités de données pour en apprendre les patterns et structures. Une fois entraînés, ces modèles génèrent de nouveaux exemples de contenus qui correspondent à la distribution statistique des données d'entraînement. Toutefois, il n’y a encore aucune transparence concernant les sources des données ingérées. Par ailleurs, les biais des contenus de training sont dissimulés dans les contenus générés. Ils peuvent ressortir sans que l’on s’en rende compte, selon les contextes. Si on lui demande un propos raciste, Chat GPT ne sera pas capable de répondre. En revanche, si on lui propose un tableur excel avec des données racistes, il partagera les conclusions qu’il en aura tirées sans problème. « La perfectibilité de l’AI n’est que le reflet de la perfectibilité de ses concepteurs ». Si l’on prend l’exemple d’un algorithme de prédiction de la qualité d’un candidat dans le cadre du recrutement dans une entreprise composée à 80% d’hommes, il va reproduire ses problèmes. Le pattern des données orientera vers le recrutement d’hommes uniquement. Des réglementations sont dans les tuyaux pour encadrer l’AI comme ça a été le cas ces dernières années autour du sujet du RGPD. 

L’AI a également un très fort impact environnemental du fait de deux facteurs. La puissance de calcul nécessite des serveurs très puissants afin d'entraîner les modèles et de les faire tourner. S’ajoute le sujet du refroidissement : on estime que la consommation d’eau s’élève à 1L pour cinquante requêtes. Pour Victor, le gros enjeu aujourd’hui est celui de la mesure pour laquelle nous manquons encore de data afin d’enrichir notre réflexion et monitorer notre impact environnemental. « Je consomme tant de C02 pour générer ce contenu qui pourrait être humain, comment j’arbitre entre les deux » ? Jonathan considère que l’apport n’est pas à la hauteur de l’impact pour le moment, mais que c’est voué à évoluer. Des modèles en cours de développement sont entraînés sur une sélection de contenus réduite car de très haute qualité. Ils sont ainsi nettement moins énergivores et peuvent tourner sur un ordinateur. S’ils se généralisent, la question demeurera du ratio entre l’utilisation accrue de l’outil et sa consommation énergétique réduite. 

Enfin, est à noter la crainte d’une standardisation de la pensée. Un cercle vicieux pourrait être pressenti : l’algorithme est entraîné avec des textes d’origine humaine mais en produit lui-même de plus en plus. Mais Victor considère « qu’il y aura toujours une étincelle humaine, cette authenticité, cette originalité que l’on n’arrive pas à donner à l’outil » - pour l’instant. Jonathan, de son côté, insiste sur le fait que « pour éviter la pensée unique, la question ça va être le prompt engineering, comment tu vas tourner ta question ». On peut ainsi demander à l’outil de générer un contenu en tant que Elon Musk ou d’une personne sortant pour la première fois d’une cave. Le contexte partagé pourra lui aussi avoir un impact démesuré sur l'originalité de la réponse de la Generative AI.  Open AI offre déjà, à ce sujet, une fonctionnalité de gestion de degré d’originalité de la réponse.

MINUTE SENSEI

« Les boîtes vont être très vite powered by AI. Ça vaut le coup, dès aujourd’hui, de tout documenter. C’est ce qui va servir à nourrir les AI de demain. Je pense qu’il y a un vrai enjeu autour de la structure de l’information dès maintenant (renseigner les process, enregistrer les meetings, …). Toute cette info va permettre de créer l’AI de votre entreprise ».  Jonathan  

https://jonathansabbah.com/ai-tools-for-pm

« L’AI a une accessibilité énorme, c’est une vraie opportunité, une vraie chance donc il faut aller tester un petit peu, il faut essayer soi-même ». Victor

« Essayer de comprendre un peu ce qu’il y a derrière : faire l’effort de se challenger pour comprendre ce qu’il y a derrière la machine, parce que ça va nous permettre d’éviter certains problèmes, comme les biais ». Victor  

L’Article Preparing For the Future de Marty CAGAN.