CRO x E-Mail Marketing (Teil 4): E-Mail-Kampagnen testen und Testergebnisse evaluieren

Herzlichen willkommen zu Teil 4 unserer Beitragsreihe rund um die Conversion Rate Optimization (CRO) im E-Mail-Marketing. Heute erfahrt Ihr, wie Ihr Eure E-Mail-Kampagnen auf Basis Eurer CRO-Hypothesen testen könnt (zu den CRO-Hypothesen: siehe Teil 3) und die Tests statistisch validiert — so dass sich daraus wertschöpfende Ableitungen zur Optimierung der Conversion Rate treffen lassen.

 

 

E-Mail-Kampagnen testen mit A/B- und multivariaten Tests

 

Optimierungen, die auf CRO-Hypothesen basieren, werden üblicherweise nicht direkt implementiert. Zuvor solltet Ihr verifizieren, ob sie wirklich zum gewünschten Erfolg führen. Hierfür stellt Ihr die (potenziell) optimierte Version einer E-Mail der aktuellen Version in einem Test gegenüber und analysiert das Ergebnis. In der Regel wählt Ihr dabei zwischen zwei Hauptarten von Tests: A/B-Tests und multivarianten Tests.

 

A/B-Tests: Bei einem A/B-Test wird die aktuelle Version (Variante A) der angepassten (Variante B) gegenübergestellt. Wichtig ist hier, dass sich die beiden Varianten bestenfalls nur in einem Optimierungskriterium unterscheiden. Sonst lassen sich keine validen Aussagen treffen. Dabei kann es sich z. B. um die Betreffzeile, die Headline, den Text, das Header-Motiv, den Call to Action oder andere Elemente des UX-Designs handeln. Die beiden Varianten werden nun an zufällig ausgewählte Segmente einer Zielgruppe gesendet. Danach wird gemessen, welche Variante das bessere Ergebnis hinsichtlich des KPI erzielt, den Ihr in der CRO-Hypothese definiert habt.

 

Multivariate Tests: Im Gegensatz zu den A/B-Tests erlauben es multivariate Tests mehrere Variablen innerhalb einer E-Mail zu messen. Diese Tests sind jedoch komplexer und erfordern eine größere Anzahl von Stichproben.

 

 

Beispiel: A/B-Test zur Auswirkung einer Optimierungsmaßnahme auf die Conversion Rate. Quelle Vision11

 

 

 

E-Mail-Kampagnen testen: So geht Ihr vor

 

Bezieht sich Eure CRO-Hypothese und somit auch der Test auf E-Mail-Kampagnen mit Einmal-Charakter (z. B. Newsletters), könnt Ihr die Tests manuell umsetzen. Dabei wird die Zielgruppe nach dem Zufallsprinzip eingeteilt und mit den Varianten manuell bespielt.

 

Tests im E-Mail-Marketing lassen sich jedoch durch Automatisierung erleichtern. Dazu helfen Euch Marketing-Automation-Tools u. a. dabei, die Tests einfach einzurichten und zu verwalten. In der Salesforce Marketing Cloud etwa lässt sich eine multivariate Testing-Journey erstellen. Hierfür teilt der „Path Optimizer“ die Zielgruppe per Zufall auf die verschiedenen Varianten auf. Der Vorteil dieser Tools: Das zu testende KPI-Kriterium kann hinterlegt werden – so dass das Tool nach einer vordefinierten Zeit künftige Empfänger automatisch mit der Gewinner-Variante beschicken wird.

 

 

 

 

Path Optimizer in der Salesforce Marketing Cloud. Quelle: salesforce.com Germany GmbH.

 

 

Standard-KPIs wie z. B. Open oder Klick Rates können direkt im Versandsystem gemessen werden. Habt Ihr jedoch andere KPIs definiert (etwa Anzahl der Käufe, Anzahl der Mitglieder in einem Loyalitätsprogramm oder ähnliches), dann benötigt Ihr zusätzliche Tools und deren Integration, um den Test auswerten zu können.

 

Bezieht sich die Hypothese beispielweise auf die Conversion Rate (Kauf), dann wird der Erfolg in einem E-Commerce- oder Analytics-Tools erfasst. Doch um die getätigten Käufe mit den jeweiligen E-Mail-Varianten in Verbindung setzen zu können, braucht Ihr ein Indiz. Bei manuellen und teilautomatisierten Tests werden dafür meist die Links in den E-Mail-Versionen mit unterschiedlichen UTM-Parametern versehen. So lässt sich der Erfolg der zu testenden Versionen später im Analytics-Tool vergleichen.

 

Bei automatisierten Tests hingegen benötigt das Versandsystem die entsprechenden Informationen. Durch die Standardintegration von Google Analytics in die Salesforce Marketing Cloud etwa wird die gemessene Conversion zurück in das System gespielt. So kann es den Test automatisch auswerten und den Versand optimieren.

 

 

Statistische Validität sicherstellen

 

Um sicherzustellen, dass die Ergebnisse nicht nur für die Testgruppe gelten, sondern sich mit hoher Wahrscheinlichkeit auch auf die gesamte Zielgruppe übertragen lassen, sollten diese statistisch valide sein. Das bedeutet u. a.: Die Anzahl der Stichproben muss ausreichend groß sein (Empfehlung: min. 1000 pro Version). Zugleich sollte die Testdauer so gewählt werden, dass sich Verzerrungen durch zeitlich bedingte Schwankungen minimieren lassen – und das gewünschte Signifikanzniveau beachtet wird.

 

 

Tests auswerten und Schlussfolgerungen ziehen

 

Sobald die Tests abgeschlossen sind, solltet Ihr die Ergebnisse sorgfältig evaluieren. Erweist es sich dann, dass eine Variante hinsichtlich der CRO-Hypothese signifikant besser abschneidet, steht der Optimierung der E-Mail-Kampagne nichts mehr im Wege.

 

Wichtig dabei: Die jeweiligen Ergebnisse gelten immer nur für die getestete Zielgruppe.  Sie lassen sich nicht allgemeingültig auf andere Bereiche übertragen. Manchmal kann es auch vorkommen, dass sich der definierte KPI durch die Optimierung steigern lässt, sich die Maßnahme aber negativ auf einen anderen KPI auswirkt. (Beispiel: Eine Maßnahme führt kurzfristig zu einem höheren Average Order Value, senkt damit aber potenziell den Customer Lifetime Value). Auch hier gilt es sorgfältig abzuwägen.

 

Grundsätzlich gilt jedoch immer: CRO ist ein kontinuierlicher Prozess. Denn die Charakteristika einer Zielgruppe ändern sich. Die Kommunikationsinhalte müssen also immer wieder an die Bedürfnisse und Erwartungen der Nutzer:innen angepasst werden. Doch diese Mühe lohnt sich. Denn sie bildet die Basis, um den Erfolg Eures E-Mail-Marketings systematisch und langfristig zu verbessern.

 

 

Wie geht es nun weiter?

 

Unsere Reihe zur Conversion Rate Optimization ist noch nicht zu Ende. In loser Folge werden wir Euch nun zeigen, wie Ihr Eure Texte und Euer UX-Design in Sachen CRO optimieren könnt – und was auf technischer Seite im Backend Development zu beachten ist. Bleibt also gespannt!

 

 

Hier findet Ihr die ersten Teile dieser Beitragsreihe:

CRO x E-Mail-Marketing (Teil 1): Der Grundlagen-Guide zur optimierten Conversion Rate

CRO x E-Mail-Marketing (Teil 2): das strategische Fundament

CRO x E-Mail-Marketing (Teil 3): Optimierungspotenziale erkennen und CRO-Hypothesen ableiten

Christoph Korsten

 

M +49 151 42401495