Comment valider une prévision marketing ?

Un modèle de prévision hebdomadaire est réajusté à treize origines successives, puis jugé sur 52 semaines qu’il n’a jamais vues. Son erreur absolue mise à l’échelle vaut 0,420792, contre 1,039025 pour une prévision naïve saisonnière : il bat nettement le point de comparaison. Ses intervalles à 80 % contiennent le résultat dans 0,750000 des cas, à l’intérieur de la tolérance déclarée de 0,10 mais du côté étroit. Les deux contrôles passent. Verdict : FORECAST_READABLE_FOR_PLANNING.

Une équipe doit engager des stocks et des budgets média quatre semaines à l’avance. Elle dispose d’un modèle qui prévoit le chiffre d’affaires hebdomadaire et qui, sur l’historique, colle remarquablement bien aux données. La question posée avant de s’en servir est simple : quand ce modèle a-t-il déjà été confronté à des semaines qu’il ne connaissait pas, et que s’est-il passé ? Sans cette réponse, la qualité d’ajustement observée ne dit rien de l’usage prévu.

Pour cette série hebdomadaire, ce modèle déclaré, ces treize origines déclarées et cet horizon de quatre semaines, l’erreur du modèle sur des semaines non utilisées pour l’ajuster est-elle inférieure à celle d’une prévision naïve saisonnière ramenée à la même échelle ? Et ses intervalles à 80 % contiennent-ils le résultat aussi souvent qu’ils le prétendent ? Les deux questions sont distinctes et reçoivent chacune sa réponse : une prévision ponctuelle juste peut s’accompagner d’une incertitude fausse.

Juger un modèle sur les semaines qui ont servi à l’ajuster flatte toujours : plus on ajoute de paramètres, meilleur paraît le résultat, sans qu’aucune capacité de prévision n’ait été démontrée. Découper une seule fois l’historique en apprentissage et test ne suffit pas non plus, car le score obtenu dépend alors du hasard d’une seule frontière. Et rapporter une erreur en euros sans point de comparaison ne permet à personne de juger : 55 € d’erreur moyenne est excellent ou catastrophique selon la série.

La méthode reproduit l’usage réel. On se replace à une date passée, on n’utilise que ce qui était connu ce jour-là, on prévoit les quatre semaines suivantes, puis on avance de quatre semaines et on recommence. Treize fois. Chaque erreur est ensuite divisée par une quantité de référence calculée sur le seul passé disponible à cette date : l’erreur qu’aurait faite une prévision naïve saisonnière. Une valeur inférieure à un signifie que le modèle a fait mieux que cette règle simple. En parallèle, on compte combien de fois l’intervalle annoncé a effectivement contenu le résultat.

Sont figés avant toute lecture : la numérotation des semaines sans trou, le chiffre d’affaires hebdomadaire, la forme du modèle (constante, tendance linéaire et deux harmoniques annuelles), la période saisonnière de 52 semaines, les treize origines de 104 à 152 par pas de 4, l’horizon de 4 semaines, la prévision naïve saisonnière comme point de comparaison, l’échelle de division, le niveau nominal de 0,80, le quantile 1,281552 et les deux seuils. Le fichier scellé contient 156 semaines. Le cas est synthétique et déclaré comme tel.

À chaque origine, le modèle ajuste par moindres carrés une constante, une tendance linéaire et deux harmoniques annuelles, soit six paramètres, sur les seules semaines antérieures à l’origine. L’erreur absolue mise à l’échelle divise chaque erreur hors échantillon par la moyenne des écarts absolus à 52 semaines observés dans cette même fenêtre. L’intervalle a pour demi-largeur 1,281552 fois l’écart type résiduel de l’ajustement, ce quantile étant celui de la loi normale centrée réduite à 0,90. Le score d’intervalle ajoute à la largeur une pénalité proportionnelle à tout dépassement, divisée par le risque accepté.

Le calcul déclaré enchaîne sept étapes : valider le schéma et refuser tout fichier non conforme ou trop court pour le plan de validation ; à chaque origine, construire la matrice de plan sur les seules semaines antérieures ; résoudre les équations normales par élimination de Gauss avec pivot partiel, refuser une fenêtre singulière et calculer l’écart type résiduel en retranchant les six paramètres des degrés de liberté ; calculer l’échelle saisonnière sur la même fenêtre et refuser une échelle nulle ; pour chacun des quatre horizons, enregistrer l’erreur absolue, l’erreur mise à l’échelle, celle de la prévision naïve, l’appartenance à l’intervalle, la largeur et le score ; moyenner sur les 52 prévisions puis séparément par horizon ; appliquer les deux seuils déclarés, puis la règle de verdict.

Illustration synthétique — valeurs pédagogiques, non observées

Sur le fichier scellé : 156 semaines, 13 origines de la semaine 104 à la semaine 152, horizon 4, soit 52 prévisions hors échantillon. Erreur absolue mise à l’échelle du modèle 0,420792, contre 1,039025 pour la prévision naïve saisonnière ; erreur absolue moyenne 54,912955 unités monétaires ; contrôle d’exactitude réussi. Par horizon : 0,418133, 0,520418, 0,279945 et 0,464672. Niveau nominal 0,80, couverture observée 0,750000, largeur moyenne 168,860643 et score d’intervalle moyen 243,378776 ; contrôle de calibration réussi. Verdict : FORECAST_READABLE_FOR_PLANNING.

La validation suppose que le mécanisme qui a produit les semaines passées est encore celui qui produira les semaines à venir, que la période saisonnière est bien de 52 semaines, et que les valeurs historiques n’ont pas été révisées après coup. Elle suppose aussi, pour les intervalles, que les résidus se comportent comme un bruit normal de variance constante. Trois choses ne sont pas testables ici : l’absence de changement de régime futur, l’effet d’un canal ou d’un prix qui n’a jamais varié dans l’historique, et la qualité des données au moment où la prévision sera réellement produite.

Deux réserves méritent d’être lues avant le verdict. La couverture observée vaut 0,750000 pour un niveau annoncé de 0,80 : l’écart reste dans la tolérance déclarée, mais les intervalles sont du côté étroit, ce qui est exactement ce qu’on attend d’intervalles construits sur la seule dispersion résiduelle, sans tenir compte de l’incertitude sur les paramètres ni de sa croissance avec l’horizon. Et les erreurs par horizon — 0,418133, 0,520418, 0,279945, 0,464672 — n’augmentent pas régulièrement avec l’horizon : avec treize prévisions par horizon, ce profil est du bruit, et aucun seuil ne leur est attaché.

Alternatives déclarées avant résultat : remplacer les intervalles normaux par des intervalles construits sur les quantiles empiriques des erreurs hors échantillon, propres à chaque horizon ; ajouter au point de comparaison une marche aléatoire simple, plus dure à battre en l’absence de saisonnalité ; allonger l’horizon jusqu’à treize semaines pour voir où l’avantage du modèle disparaît ; ou refaire l’exercice avec un modèle plus simple, sans harmonique d’ordre deux. Chaque variante doit être annoncée avant lecture et rapportée même si elle dégrade le verdict.

Le modèle prévoit mieux qu’une règle simple, et de loin : son erreur vaut moins de la moitié de l’unité, alors que la prévision naïve saisonnière dépasse un, c’est-à-dire fait moins bien hors échantillon que sur son propre passé. Mais cette comparaison ne vaut que ce que vaut le point de comparaison : battre une naïve saisonnière sur une série à tendance visible n’est pas une épreuve exigeante. Le résultat exploitable est donc modeste et précis : sur cette série et cet horizon, ce modèle a produit des prévisions utilisables et des intervalles à peine trop étroits.

Autorisé : utiliser ce modèle pour planifier à quatre semaines sur cette série ; publier l’erreur mise à l’échelle avec celle du point de comparaison, jamais l’une sans l’autre ; annoncer les intervalles à 80 % en signalant qu’ils couvrent en pratique un peu moins ; rejouer cette même validation à chaque trimestre pour surveiller une dérive ; et exiger le même protocole de tout fournisseur de prévision. Autorisé aussi : dire que ce résultat vaut pour cet horizon, et refaire l’examen si l’horizon change.

Interdit : présenter 0,420792 comme une précision garantie pour les semaines à venir ; annoncer les intervalles à 80 % sans mentionner qu’ils ont couvert 0,750000 ; conclure qu’un modèle validé restera valide après un changement de prix, de canal ou de concurrence ; comparer cette erreur mise à l’échelle à celle d’une autre série sans revérifier que le point de comparaison est le même ; ou choisir le nombre d’origines et l’horizon après avoir vu les résultats. Interdit également : présenter ce cas synthétique comme une mesure observée.

La décision raisonnable est d’engager le plan à quatre semaines sur ce modèle, mais de dimensionner le stock de sécurité sur la couverture observée et non sur la couverture annoncée, puisque les intervalles se sont révélés un peu étroits. La validation est ensuite rejouée à chaque trimestre avec le même protocole, sans le modifier, de sorte qu’une dégradation soit visible comme une dégradation et non comme un changement de règle. Aucune de ces étapes ne s’automatise sans quelqu’un pour lire les deux drapeaux.

Utiliser ce protocole avant toute mise en production d’une prévision, et à intervalle régulier ensuite. L’éviter quand l’historique est trop court pour dégager plusieurs origines, quand les valeurs passées ont été révisées après publication, ou quand la série vient de subir une rupture visible : dans ce dernier cas, la validation mesure un régime qui n’existe plus. L’éviter aussi comme réponse à la question de l’effet d’une action, qui relève d’une expérience et non d’une prévision.

Le CSV CC0 contient les 156 semaines synthétiques. Python et R sont les implémentations de référence ; SPSS reprend le même calcul dans un bloc Python ; SAS emploie le même plan et les mêmes origines mais confie l’ajustement à sa propre procédure de régression, et vérifie les deux drapeaux plutôt que chaque décimale. Le livrable final réunit les données, le dictionnaire des variables, la forme du modèle déclarée, les origines et l’horizon, le point de comparaison, l’échelle de division, le niveau nominal et le quantile, les deux seuils, les sept étapes numérotées, l’erreur mise à l’échelle du modèle et du point de comparaison, les erreurs par horizon, la couverture, la largeur, le score d’intervalle, les deux drapeaux, le verdict et les versions logicielles.

Hyndman et Koehler proposent l’erreur absolue mise à l’échelle comme mesure standard de comparaison, rappellent qu’une valeur supérieure à un signale des prévisions moins bonnes en moyenne, et montrent que beaucoup de mesures courantes ne sont pas applicables en général. Hyndman et Khandakar rappellent que les erreurs hors échantillon sont souvent trop peu nombreuses pour conclure, et que deux modèles peuvent donner les mêmes prévisions ponctuelles avec des intervalles différents. Makridakis, Spiliotis et Assimakopoulos relèvent l’absence fréquente de point de comparaison et l’écart entre qualité d’ajustement et exactitude hors échantillon. Petropoulos et ses coauteurs décrivent le passage d’une origine fixe à une origine glissante, le score d’intervalle comme mesure appropriée, et le fait que les intervalles publiés sont trop étroits. Références fondatrices : Hyndman et Koehler (2006, International Journal of Forecasting, relue) et Hyndman et Khandakar (2008, Journal of Statistical Software, accès ouvert CC BY, relue). Développements récents : Makridakis, Spiliotis et Assimakopoulos (2018, PLOS ONE, accès ouvert CC BY, relue) et Petropoulos et al. (2022, prépublication arXiv ; publiée dans International Journal of Forecasting, relue).

1. Hyndman & Koehler (2006) ↗Texte intégral vérifié, avec extrait court localisé dans la source.
2. Hyndman & Khandakar (2008) ↗Texte intégral vérifié, avec extrait court localisé dans la source.
3. Makridakis, Spiliotis & Assimakopoulos (2018) ↗Texte intégral vérifié, avec extrait court localisé dans la source.
4. Petropoulos et al. (2022) ↗Texte intégral vérifié, avec extrait court localisé dans la source.