A priori et calibration du ROI

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Les a priori de ROI offrent un moyen intuitif d'intégrer des connaissances sur le domaine (comme les résultats d'anciens tests) dans votre modèle pour guider le processus d'entraînement du modèle.

Lorsque les résultats des tests de ROI sont utilisés pour définir des a priori de ROI spécifiques aux canaux, Meridian parle de calibration. Il n'est pas nécessaire d'avoir des résultats de tests pour utiliser les priors de ROI. Nous vous recommandons d'opter pour les priors de ROI quelles que soient les données disponibles pour les définir.

Les priors de ROI garantissent que le prior du coefficient effectif est adapté à l'échelle relative des dépenses pour chaque canal. Il peut être tentant de penser que les priors de coefficient sont de meilleurs priors non informatifs, mais ce n'est pas le cas. Si vous utilisez le même prior de coefficient non informatif sur tous les canaux, vous placez en fait des priors de ROI très différents sur ces canaux, qui peuvent différer de plusieurs ordres de grandeur.

Voici quelques points importants à prendre en compte lorsque vous définissez des priors de ROI :

• Il n'existe pas de formule spécifique pour traduire un résultat de test en a priori. Une option consiste à aligner l'estimation ponctuelle et l'erreur standard du test avec la moyenne et l'erreur standard de l'a priori (voir un exemple dans Définir des a priori personnalisés à l'aide d'anciens tests). Toutefois, les connaissances des a priori, au sens bayésien, sont définies de manière plus large et ne doivent pas nécessairement être un calcul formel. D'autres connaissances du domaine peuvent être utilisées en combinaison avec les résultats de tests pour définir subjectivement les priors.

• La distribution du prior de ROI par défaut de Meridian est log-normale. Cette distribution a été choisie par défaut, car elle comporte deux paramètres qui permettent de contrôler la moyenne et l'écart-type. Toutefois, n'importe quelle distribution avec un nombre quelconque de paramètres peut être utilisée à la place de la distribution log-normale. En règle générale, il est déconseillé d'autoriser des valeurs de ROI négatives, car cela peut gonfler la variance a posteriori et entraîner un surapprentissage.

• Le ROI mesuré par un test ne correspond jamais parfaitement au ROI mesuré par la MMM. (En termes statistiques, le test et la MMM ont des estimands différents.) Les tests sont toujours liés aux conditions spécifiques du test, telles que la période, les régions géographiques et les paramètres de la campagne. Les résultats d'un test peuvent fournir des informations très pertinentes sur le ROI de la MMM, mais la traduction des résultats du test en un prior de MMM implique une incertitude supplémentaire au-delà de l'erreur standard du test.

• Lorsque vous définissez des distributions a priori, et en particulier des écarts-types a priori :

  • Notez qu'un certain degré de régularisation est généralement nécessaire pour obtenir un compromis biais/variance approprié. Bien que certains modélisateurs soient enclins à utiliser des priors plats non informatifs pour les canaux sans tests a priori, cela peut entraîner un surapprentissage et des résultats médiocres (biais faible, mais variance élevée).

  • Trouver un degré de régularisation approprié peut être un processus itératif qui implique de vérifier l'ajustement du modèle hors échantillon avec différents niveaux de régularisation. Les puristes bayésiens pourraient s'y opposer, car la distribution a posteriori n'a pas d'interprétation claire, sauf si la distribution a priori reflète précisément les connaissances a priori. Bien que cela soit vrai, une telle approche n'est pas nécessairement pratique pour la MMM. De plus, il est impossible d'obtenir des connaissances sur le domaine et de définir un prior réel pour chaque paramètre du modèle. L'inférence bayésienne doit donc être interprétée en conséquence.

Pour en savoir plus, consultez :

• Priors du ROI pour en savoir plus sur les aspects techniques.
• Ajuster la calibration du ROI pour découvrir comment définir des priors de ROI en fonction des résultats de tests.
• Définir la période de calibration du ROI pour utiliser l'argument roi_calibration_period afin d'appliquer votre prior de ROI à une période plus restreinte.