Modellanpassung und Ergebnisse bewerten

Das Hauptziel von Marketing Mix Modeling (MMM) ist die genaue Schätzung kausaler Marketingeffekte. Eine direkte Validierung der Qualität der kausalen Inferenz ist jedoch schwierig und erfordert gut durchdachte Tests. Diese Tests müssen korrekt ausgeführt werden und dieselbe Schätzgröße wie das MMM haben. Da Sie MMM verwenden, sind Tests wahrscheinlich nicht praktikabel. Aus diesem Grund kann die kausale Inferenz nicht direkt bewertet werden. Stattdessen müssen Sie sich auf indirekte Maßnahmen verlassen.

Sie sollten Ihre Modellierungsentscheidungen so treffen, dass sie für das Ziel der kausalen Inferenz sinnvoll sind, nicht für die Minimierung von Vorhersagefehlern. Berücksichtigen Sie dabei die folgenden Richtlinien:

  • Ihre Kontrollvariablen müssen alle wichtigen Störvariablen enthalten, die sich sowohl auf die Media-Ausführung als auch auf die Reaktion auswirken. Weitere Informationen finden Sie unter Kontrollvariablen auswählen.

  • Setzen Sie Kontrollvariablen, die keine Störfaktoren sind, mit Bedacht ein. Zu viele Variablen können das Risiko von Überanpassung und Bias durch eine falsche Modellspezifikation erhöhen.

  • Fügen Sie nur Media-Variablen hinzu, für die Sie die kausale Inferenz ermitteln möchten.

  • Modellieren Sie die Zeit gemäß den Empfehlungen unter Anzahl der Knoten für Zeiteffekte im Modell auswählen. Versuchen Sie nicht unbedingt, die Zeit mit so vielen Knoten wie möglich zu modellieren.

Dieser Prozess erfordert zwar etwas Selbstreflexion von Ihnen als Werbetreibenden, führt aber höchstwahrscheinlich zur bestmöglichen Anpassung des Modells. Da Sie Ihre eigene Media-Strategie geplant haben, wissen Sie wahrscheinlich, welche Variablen Ihre Planung der Media-Ausführung beeinflusst haben.

Die Ergebnisse müssen Sinn ergeben. Zu den Ergebnissen, die keinen Sinn ergeben, gehören ungewöhnlich niedrige (und oft negative) Baselines (siehe Baseline prüfen) oder ein Media-Channel, der alle anderen Media-Channels dominiert. Meridian bietet Messwerte für Prognosen außerhalb der Stichprobe, mit denen sich vorab prüfen lässt, ob die Modellstruktur angemessen und nicht übermäßig parametrisiert ist.

Messwerte für Prognosen außerhalb der Stichprobe

Ziel von Marketing Mix Modeling (MMM) ist die kausale Inferenz und nicht unbedingt die Minimierung von Messwerten für Prognosen außerhalb der Stichprobe. Es kann sicherer sein, ein Modell zu verwenden, das alle Störvariablen enthält und genügend Flexibilität in der Modellstruktur bietet, um kausale Schätzungen (z. B. ROI) ohne Bias zu erhalten, auch wenn das bedeutet, dass das Modell überangepasst ist.

Es ist dennoch empfehlenswert, die Anpassung außerhalb der Stichprobe zu prüfen, um sicherzustellen, dass die Modellstruktur angemessen und nicht überparametrisiert ist. Die Messwerte für Prognosen außerhalb der Stichprobe sollten jedoch nicht die primäre Methode zur Bewertung der Modellanpassung sein. Die Anpassung außerhalb der Stichprobe kann mit dem Argument holdout_id in ModelSpec und der Methode predictive_accuracy von Analyzer bewertet werden.

Auf die Ziehungen der Posterior-Verteilung für alle Parameter zugreifen

Über das Attribut inference_data können Sie im Meridian-Modellobjekt auf die Ziehungen der Posterior-Verteilung aller Parameter zugreifen.

Wenn Sie beispielsweise für jeden Media-Channel aus einem Meridian-Modellobjekt namens mmm auf die Posterior-Werte für Alpha (den Parameter für den Adstock-Verfall) zugreifen möchten, können Sie die Eigenschaft mmm.inference_data.posterior.alpha_m verwenden. Dort können Sie mit einer Syntax, die diesem Beispiel für die 75. Perzentile ähnelt, beliebige Perzentile aus der Posterior-Verteilung abrufen:

np.percentile(meridian.inference_data.posterior.alpha_m, 0.75, axis=(0, 1))

Bei der Berechnung der Posterior-Wahrscheinlichkeit lässt sich auch angeben, dass der ROI mindestens 1 beträgt:

(meridian.inference_data.posterior.roi_m >= 1).mean(dim=('chain', 'draw'))

Außerdem können Sie die zentrale Tendenz und das glaubwürdige Intervall mit einer bestimmten Breite für die geschätzte Posterior-Verteilung eines Parameters abrufen. Beispielsweise lässt sich mit der folgenden Syntax das glaubwürdige Intervall für den Mittelwert und die 90. Perzentile für alpha_m abrufen:

Analyzer.get_central_tendency_and_ci(mmm.inference_data.posterior.alpha_m, 0.9)

Auf die Posterior-Verteilungen für alle anderen Parameter kann auf ähnliche Weise zugegriffen werden.

Methoden für die Modellanpassung und die Ergebnisse

Die Klasse Analyzer bietet mehrere Methoden, mit denen sich viele der nach der Modellierung relevanten Messwerte ermitteln lassen.

Beispiele:

  • Analyzer.media_summary_metrics enthält eine Zusammenfassungstabelle nach Channel. Zu den relevanten Messwerten gehören: impressions, spend, incremental_outcome, pct_of_contribution, ROI, effectiveness und mROI.
  • Mit Analyzer.incremental_outcome können Sie das Ergebnis einer bestimmten Media-Quelle untersuchen.
  • Analyzer.roi liefert Schätzungen des ROI und kann nach Media, Zeitraum und geografischer Einheit angepasst werden.
  • Analyzer.marginal_roi liefert Schätzungen des Grenz-ROI und kann nach Media, Zeitraum und geografischer Einheit angepasst werden.
  • Analyzer.response_curves gibt die Daten zurück, die für die Reaktionskurven verwendet wurden.
  • Analyzer.predictive_accuracy gibt Messwerte für die Vorhersagegenauigkeit zurück, darunter R-Quadrat, MAPE und wMAPE.
  • Analyzer.expected_outcome gibt das erwartete Ergebnis auf Grundlage von Prior oder Posterior zurück.

Eine vollständige Liste der Methoden und weitere Informationen zu ihren möglichen Spezifikationen, einschließlich der Auswahl bestimmter geografischer Einheiten oder Zeiträume, finden Sie im analyzer.py-Code.

Weiter
Baseline prüfen