El objetivo principal del modelado de combinación de marketing (MMM) es la estimación exacta de los efectos causales del marketing. Sin embargo, validar directamente la calidad de la inferencia causal es difícil y requiere experimentos bien diseñados. Estos experimentos deben ejecutarse correctamente y tener el mismo estimador que el MMM. Dado que usas un MMM, es probable que los experimentos no sean prácticos. Por este motivo, la inferencia causal no se puede evaluar directamente. En su lugar, debes basarte en mediciones indirectas.
Te recomendamos que tomes decisiones de modelado que tengan sentido para el objetivo de la inferencia causal y no para minimizar el error de la predicción. Ten en cuenta los siguientes lineamientos:
Asegúrate de que el conjunto de variables de control incluya todas las variables de confusión importantes, que afectan tanto la ejecución de los medios como la respuesta. Para obtener más información, consulta Cómo seleccionar las variables de control.
Ten cuidado con incluir variables de control que, en realidad, no sean factores de confusión. Demasiadas variables pueden aumentar el riesgo de sobreajuste y sesgo de especificación incorrecta del modelo.
Solo agrega variables de medios para las que te interese conocer la inferencia causal.
Modela los períodos con los consejos que se indican en Cómo elegir la cantidad de nudos para los efectos del tiempo en el modelo y no intentes modelar los períodos con la mayor cantidad de nudos posible.
Este proceso requiere que te autoanalices como anunciante. Sin embargo, es probable que esto te lleve al modelo más adecuado. Si planificaste tu propia estrategia de medios, es probable que sepas o tengas una idea clara de qué variables afectaron tu planificación en torno a la ejecución de medios.
Los resultados deben tener sentido. Los resultados que no tienen sentido incluyen valores de referencia inusualmente bajos que, a menudo, son negativos (consulta Evalúa el modelo de referencia) o un canal de medios que domina todos los demás. Meridian tiene métricas de predicción fuera de la muestra que son útiles como una verificación preliminar para asegurarse de que la estructura del modelo sea adecuada y no esté demasiado parametrizada.
Acerca de las métricas de predicción fuera de la muestra
El objetivo del modelado de combinación de marketing (MMM) es la inferencia causal y no necesariamente minimizar las métricas de predicción fuera de la muestra. Puede ser más seguro tener un modelo que incluya todas las variables de confusión y permita suficiente flexibilidad en la estructura del modelo para obtener estimaciones causales no sesgadas (como el ROI), incluso si esto significa que el modelo está sobreajustado.
De todas formas, es una buena idea verificar el ajuste fuera de la muestra para asegurarte de que la estructura del modelo sea adecuada y no esté demasiado parametrizada, pero las métricas de predicción fuera de la muestra no deben ser la forma principal en que se evalúa el ajuste del modelo. El ajuste fuera de la muestra se puede evaluar con el argumento holdout_id en ModelSpec y el método predictive_accuracy de Analyzer.
Cómo acceder a las muestras de distribución a posteriori de todos los parámetros
Se puede acceder a las muestras de distribución a posteriori de todos los parámetros desde el objeto del modelo Meridian a través del atributo inference_data.
Por ejemplo, para acceder a los valores de la distribución a posteriori de alfa (parámetro de decaimiento de Adstock) para cada canal de medios desde un objeto del modelo Meridian llamado mmm, puedes acceder a la propiedad mmm.inference_data.posterior.alpha_m. Desde allí, puedes obtener cualquier percentil de la distribución a posteriori con una sintaxis similar a este ejemplo para un percentil 75:
np.percentile(meridian.inference_data.posterior.alpha_m, 0.75, axis=(0, 1))
También puedes calcular la probabilidad a posteriori de que el ROI sea de al menos 1:
(meridian.inference_data.posterior.roi_m >= 1).mean(dim=('chain', 'draw'))
Además, puedes obtener la tendencia central y el intervalo creíble del ancho especificado para la distribución a posteriori estimada de un parámetro. Por ejemplo, la media y el intervalo creíble del percentil 90 para alpha_m se pueden obtener con la siguiente sintaxis:
Analyzer.get_central_tendency_and_ci(mmm.inference_data.posterior.alpha_m, 0.9)
Se puede acceder a las distribuciones a posteriori de todos los demás parámetros de una manera similar.
Métodos para el ajuste y los resultados del modelo
La clase Analyzer tiene varios métodos que proporcionan muchas de las cantidades de interés posteriores al modelado.
Los siguientes son algunos ejemplos:
Analyzer.media_summary_metricsproporciona una tabla de resumen organizada por canal. Las métricas de interés incluyen las siguientes:impressions,spend,incremental_outcome,pct_of_contribution,ROI,effectivenessymROI.Analyzer.incremental_outcomete permite explorar el resultado de una fuente de medios específica.Analyzer.roiproporciona estimaciones del ROI y se puede personalizar por medio, períodos y ubicación geográfica.Analyzer.marginal_roiproporciona estimaciones del ROI marginal y se puede personalizar por medio, períodos y ubicación geográfica.Analyzer.response_curvesmuestra los datos que se usan para graficar las curvas de respuesta.Analyzer.predictive_accuracymuestra métricas de exactitud predictiva, como el coeficiente de determinación R², el MAPE y el wMAPE.Analyzer.expected_outcomemuestra el resultado esperado a priori o a posteriori.
Para obtener una lista completa de los métodos y más información sobre sus posibles especificaciones, incluida la selección de ubicaciones geográficas o períodos específicos, consulta el código analyzer.py.