Module 5 — Expérimentation & A/B Testing
De l'idée à la décision : hypothèses testables, types de tests, analyse et décision
🎯 Ce que vous allez apprendre
Module 5
Expérimentation & A/B Testing
Objectifs d'apprentissage
Hypothèses Testables
Passer d'idées à des hypothèses testables (Experiment Card)
Types de Tests
Choisir le bon type de test (A/B, holdout, feature flag…)
KPIs & NSM
Fixer KPI primaire/secondaires/guardrails alignés NSM
Planifier & Analyser
Planifier (MDE, durée) et analyser correctement (uplift, IC/p-value)
Décision & Capitalisation
Décider start / iterate / kill et capitaliser (log des apprentissages)
Pourquoi expérimenter ? (vs opinions)
❌ Sans test
- • Biais HiPPO (opinion du chef)
- • Corrélations douteuses
- • "Musée de métriques"
- • Décisions au feeling
✅ Avec test
- • Apprentissage causal
- • Choix clairs stop/scale
- • ROI mesurable
- • Focus sur NSM
Rythme optimal : 1-3 tests/semaine par squad > "1 gros pari par trimestre"
Experiment Card — Format Standard
📝 Formule d'Hypothèse SMART
Format :
Chez [segment], [changement] augmentera [KPI primaire] de +X pts en [période], car [insight].
Exemple MeetFlow :
"Chez RH PME, preuve chiffrée en H1 augmentera CVR visite→signup de +2 pts en 14j, car réduction friction cognitive."
🎯 Structure Experiment Card
Contexte & Insight
Source de données, support, insights qualitatifs
Hypothèse
Formule SMART + KPI primaire/secondaires/guardrails
Design
Variantes, ciblage, durée, taille échantillon
Implémentation
Owner, outils, plan tracking (events/props)
Critères
Seuils start/iterate/kill définies à l'avance
Learnings
Ce qu'on retient (même en cas d'échec)
Types de Tests & Quand les Utiliser
A/B fixe
Le plus courant
2 variantes, horizon fixe, lecture post-hoc
✅ Avantages
- •Simple à analyser
- •Résultats clairs
- •Bon contrôle statistique
❌ Inconvénients
- •Pas d'optimisation en cours
- •Durée fixe obligatoire
🎯 Quand utiliser
Tests standard de features, UI, copy
KPIs : Primaire / Secondaires / Guardrails
KPI Primaire
🎯 1 seul par test
CVR visite→signup, Activation 24h, Time to Value
Secondaires
📊 Indicateurs de compréhension
TTFV, scroll depth, session duration
Guardrails
🛡️ Ne pas dégrader
Taux d'erreurs, churn, NPS, performance
🔗 Lien avec NSM (Module 4)
Chaque test doit impacter un input de votre NSM Tree. Si CVR signup est un input → test optimisation landing. Si Activation est un input → test onboarding/TTFV.
Planifier : MDE, Échantillon & Durée
📐 Qu'est-ce que le MDE ?
MDE (Minimum Detectable Effect) = la plus petite amélioration qu'on veut pouvoir détecter statistiquement.
Exemple concret :
Si CVR actuel = 3%, MDE = +2 pts → on veut détecter si le test atteint ≥5% (soit +67% d'amélioration relative)
Impact sur le trafic :
Plus le MDE est petit, plus on a besoin de trafic. MDE +1 pt ≈ 4x plus de trafic que MDE +2 pts
📐 Règles Rapides (Ordre de Grandeur)
Exemple : CVR signup 3% → 5%
✅ Bonnes Pratiques
- ✓Viser 7-14 jours minimum
- ✓Couvrir un cycle hebdo complet
- ✓Éviter périodes anormales (vacances, Black Friday)
- ✓Fixer taille & horizon à l'avance
- ✓Ne pas 'peek & stop' au feeling
🧮 Calculateur Précis
Pour des calculs exacts, utilisez un calculateur avec α=5%, puissance=80% :
Exemples MeetFlow — Prêts à Lancer
Landing Page H1 - Preuve Chiffrée
Segment : RH PME
🧪 Variantes
💡 Hypothèse
La preuve chiffrée réduira la friction cognitive et augmentera la confiance
🎯 KPIs
🔧 Design & Exécution — Checklist
🎯 Setup Technique
Randomisation côté serveur/outil
Éviter fuites cookies, redirect bias
Ciblage : 1 segment prioritaire
Persona/source/plan spécifique
QA : tracking des events
Staging → prod, "empty states", responsive
🛡️ Plan de Secours
Feature flag off
Arrêt immédiat si problème technique
Rollback simple
Procédure définie et testée
Monitoring erreurs
Alertes automatiques sur guardrails
📝 Journal (Log) obligatoire
LP_H1_Proof_2025Q1
Début → Fin → Analyse
Responsable principal
Screenshots, liens
Analyse & Décision : Start / Iterate / Kill
📊 Lire les Résultats
Uplift Absolu vs Relatif
Afficher les deux : +2 pts ET +40% relatif
IC 95% / p-value
Méfiance peeking et tests multiples
Analyse par Segments
Après lecture globale (éviter p-hacking)
🚀 START (Scale)
Effet ≥ seuil + pas d'impact négatif guardrails
🔄 ITERATE
Signaux positifs mais insuffisants (améliorer preuve, ciblage)
❌ KILL
Effet nul/négatif + coût d'opportunité ; documenter l'apprentissage
💡 Règle d'Or
1 victoire claire > 3 tests tièdes.Mieux vaut itérer jusqu'à un succès net que multiplier les tests marginaux.
Quiz Flash - Module 5
Quelle est la formule d'une hypothèse testable ?
🛠️ Stack & Gouvernance
Outils recommandés
PostHog
Analytics + A/B testing intégré
GrowthBook
Feature flags + statistiques avancées
Optimizely/VWO
Solutions enterprise
Conventions & Rituels
⚠️ Annexes — Anti-patterns à Éviter
❌ À NE PAS FAIRE
- •Multiplier les variantes si trafic limité
- •Plusieurs KPIs primaires par test
- •Peeking et arrêt prématuré au feeling
- •Ignorer les guardrails
- •Ne pas documenter les échecs
✅ BONNES PRATIQUES
- •1 seul KPI primaire par test
- •Écrire la décision même en échec
- •Relier au Dashboard (Module 4)
- •Alimenter /experiments et annoter courbes
- •La connaissance progresse toujours
🎯 Ateliers Pratiques
Mettez en pratique immédiatement ce que vous venez d'apprendre
Experiment Card
Créer vos premières cartes d'expérimentation
💡 Conseil : Réalisez ces ateliers avant de passer au module suivant pour une meilleure assimilation