# Exemple sur DONNÉES FICTIVES pour l'article « Un pilote de 8 semaines : # écrire les critères de succès avant de commencer ». # # Aucune donnée réelle : les taux, les effectifs et le réseau d'agences sont # inventés pour illustrer un calcul de taille d'échantillon. Ce n'est pas un # résultat de pilote. Bibliothèque standard uniquement, graine fixe. # Exécution : python3 -I pilote-de-8-semaines-criteres-de-succes.py import math import random from statistics import NormalDist SEED = 20261113 N = NormalDist() def fr(x, d=1): return f"{x:,.{d}f}".replace(",", " ").replace(".", ",") def n_deux_proportions(p1, p2, alpha=0.05, puissance=0.80): """Effectif par groupe, test bilatéral de deux proportions (approximation normale, sans correction de continuité) : n = [z(1-a/2) * sqrt(2 * pb * (1 - pb)) + z(1-b) * sqrt(p1(1-p1) + p2(1-p2))]^2 / (p1 - p2)^2 avec pb = (p1 + p2) / 2.""" za = N.inv_cdf(1 - alpha / 2) zb = N.inv_cdf(puissance) pb = (p1 + p2) / 2 num = (za * math.sqrt(2 * pb * (1 - pb)) + zb * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2))) ** 2 return num / (p1 - p2) ** 2, za, zb def puissance_pour_n(p1, p2, n, alpha=0.05): za = N.inv_cdf(1 - alpha / 2) pb = (p1 + p2) / 2 se0 = math.sqrt(2 * pb * (1 - pb) / n) se1 = math.sqrt((p1 * (1 - p1) + p2 * (1 - p2)) / n) return N.cdf((abs(p1 - p2) - za * se0) / se1) def ecart_detectable(p1, n, alpha=0.05, puissance=0.80): """Plus petit p2 > p1 détectable avec n par groupe (recherche par dichotomie).""" lo, hi = p1 + 1e-6, 0.99 for _ in range(100): mid = (lo + hi) / 2 if puissance_pour_n(p1, mid, n, alpha) < puissance: lo = mid else: hi = mid return hi p1, p2 = 0.05, 0.07 n_brut, za, zb = n_deux_proportions(p1, p2) n = math.ceil(n_brut) print("=== Taille d'échantillon, deux proportions ===") print(f"p1 = {fr(p1 * 100, 0)} %, p2 = {fr(p2 * 100, 0)} %, risque alpha = 5 %, bilatéral, puissance = 80 %") print(f"z(1 - alpha/2) = {fr(za, 4)} ; z(puissance) = {fr(zb, 4)}") print(f"Effectif par groupe (brut) : {fr(n_brut, 1)}") print(f"Effectif par groupe (arrondi au-dessus) : {fr(n, 0)}") print(f"Effectif total, deux groupes : {fr(2 * n, 0)}") print(f"Puissance recalculée avec n = {n} : {fr(puissance_pour_n(p1, p2, n) * 100, 1)} %") print() # Vérification par simulation (graine fixe) : proportion de tests significatifs rng = random.Random(SEED) essais = 4000 rejets = 0 # Mêmes tirages : combien de pilotes montrent un écart observé d'au moins deux points, # alors que le vrai écart est exactement de deux points ? deux_points = math.ceil(round(0.02 * n, 9)) # en nombre de clients : 44,26 -> 45 ecart_observe_2pts = 0 significatif_sous_2pts = 0 for _ in range(essais): x1 = sum(1 for _ in range(n) if rng.random() < p1) x2 = sum(1 for _ in range(n) if rng.random() < p2) q1, q2 = x1 / n, x2 / n qb = (x1 + x2) / (2 * n) se = math.sqrt(2 * qb * (1 - qb) / n) significatif = se > 0 and abs(q2 - q1) / se > za if significatif: rejets += 1 if x2 - x1 >= deux_points: ecart_observe_2pts += 1 elif significatif and x2 > x1: significatif_sous_2pts += 1 print("=== Vérification par simulation ===") print(f"{essais} pilotes simulés avec n = {n} par groupe et un vrai écart de 5 % à 7 %") print(f"Part des pilotes où le test conclut à un écart : {fr(rejets / essais * 100, 1)} %") print(f"Part des pilotes dont l'écart observé atteint deux points : {fr(ecart_observe_2pts / essais * 100, 1)} %") print(f"Part des pilotes où le test conclut à une baisse mais où l'écart observé reste sous deux points : " f"{fr(significatif_sous_2pts / essais * 100, 1)} %") se1 = math.sqrt((p1 * (1 - p1) + p2 * (1 - p2)) / n) print(f"Demi-largeur attendue de l'intervalle de confiance à 95 % de l'écart : {fr(za * se1 * 100, 2)} points") print(f"Probabilité théorique (loi normale) d'un écart observé d'au moins deux points : {fr(N.cdf(0) * 100, 1)} %") print() # Ce que l'on peut détecter avec un périmètre plus petit print("=== Écart détectable selon l'effectif par groupe (base 5 %) ===") for m in (500, 1000, 1500, 2213, 3000): p2m = ecart_detectable(p1, m) print(f"n = {m} par groupe : écart détectable à 80 % de puissance, 5 % -> {fr(p2m * 100, 1)} %") print() # Puissance réelle d'un pilote trop petit for m in (500, 1000): print(f"Puissance pour détecter 5 % -> 7 % avec n = {m} par groupe : {fr(puissance_pour_n(p1, p2, m) * 100, 1)} %") print() # Tirage au sort par agence : effet de grappe print("=== Tirage au sort par agence (effet de grappe) ===") taille_agence = 110 icc = 0.01 deff = 1 + (taille_agence - 1) * icc n_grappe = math.ceil(n * deff) print(f"Clients concernés par agence : {taille_agence} ; corrélation intra-agence supposée : {fr(icc, 2)}") print(f"Effet de plan = 1 + ({taille_agence} - 1) x {fr(icc, 2)} = {fr(deff, 2)}") print(f"Effectif par groupe : {fr(n_grappe, 0)} clients, soit {math.ceil(n_grappe / taille_agence)} agences par groupe")