A/B Testing

Beim A/B-Testing werden zwei Versionen eines digitalen Assets erstellt, um zu sehen, auf welche Version Benutzer besser reagieren. Beispiele für Assets sind Landingpages, Display-Ads, Marketing-E-Mails und Posts in den sozialen Medien. Bei einem A/B-Test erhält die Hälfte der Zielgruppe automatisch die „Version A“ und die andere Hälfte die „Version B“. Die Leistung jeder Version basiert auf Zielvorgaben für die Konversionsraten, wie beispielsweise dem Prozentsatz der Personen, die auf einen Link klicken, ein Formular ausfüllen oder einen Kauf tätigen.

A/B-Tests sind mit dem Aufkommen des digitalen Marketings keine Neuheit mehr. Früher war die Postkarte das Maß aller Dinge, Angebote aufzuteilen oder in Gruppen zusammenzufassen, um herauszufinden, welche Version am besten funktionierte. Digitales A/B-Testing basiert auf derselben Idee, ermöglicht jedoch spezifischere, zuverlässigere und schnellere Testergebnisse.

Wenn du versuchst, dein Geschäft zu vergrößern, kann es schwierig sein, zu erkennen, welche Marketing-Assets bei deiner Zielgruppe am besten ankommen. Mit A/B-Tests – zusammen mit anderen Maßnahmen zur Konversionsoptimierung – kannst du verschiedene Methoden ausprobieren, um deine Inhalte zu verbessern, die besten Kundenerlebnisse bereitzustellen und deine Konversionsziele schneller zu erreichen. Dieser Leitfaden für AB-Tests wird dir helfen, die Grundlagen zu lernen.

Was ist A/B-Testing?

A/B-Tests, auch bekannt als Split-Tests, erlauben es dir, zwei Versionen von etwas zu vergleichen, um zu erfahren, welche wirkungsvoller ist. Vereinfacht gesagt: Gefällt deinen Benutzern Version A oder Version B besser?

Das Konzept ist dem wissenschaftlichen Verfahren ähnlich. Wenn du herausfinden willst, was passiert, wenn du eine Kleinigkeit veränderst, musst du eine Situation schaffen, in der sich nur diese eine Kleinigkeit verändert.

Denke an die Experimente, die du in der Grundschule gemacht hast. Wenn du zwei Samen in zwei Tassen Erde gibst und eine in den Schrank und die andere ans Fenster stellst, wirst du unterschiedliche Ergebnisse beobachten. Auch ein A/B-Test ist ein solches Experiment.

Geschichte der A/B-Tests

In den 1960er Jahren begannen die Vermarkter zu erkennen, wie diese Art von Tests ihnen helfen kann, die Wirkung ihrer Werbung zu verstehen. Würde eine Fernseh- oder Radio-Ad mehr Kunden ansprechen? Sind Briefe oder Postkarten besser für Postkartenmarketing?

Als das Internet in den 1990er Jahren zu einem integralen Bestandteil der Geschäftswelt wurde, wurden A/B-Tests digital. Sobald digitale Marketingteams über technische Ressourcen verfügten, begannen sie, ihre Strategien in Echtzeit zu testen – und das in einem viel größeren Maßstab.

Was umfasst ein A/B-Test?

A/B-Tests nutzen digitale Lösungen, um unterschiedliche Elemente einer Marketingkampagne zu testen. Um einen A/B-Test durchzuführen, brauchst du:

• Eine zu testende Kampagne. Um eine Marketingkampagne mit einem A/B-Test zu testen, brauchst du eine E-Mail, einen Newsletter, eine Ad, eine Landingpage oder ein anderes bereits genutztes Medium.
• Zu testende Elemente. Überlege dir, welche unterschiedlichen Elemente deiner Kampagne du eventuell verändern kannst, sodass Kunden dazu bewegt werden, zu handeln. Achte darauf, dass du die Elemente einzeln testest, um korrekte Messergebnisse zu erhalten.
• Definierte Ziele. Eines der Ziele deiner A/B-Tests sollte sein, herauszufinden, welche Version deiner Kampagne die besseren Ergebnisse für dein Unternehmen zur Folge hat. Berücksichtige die verschiedenen Metriken, die du tracken kannst, wie Klicks, Registrierungen oder Käufe.

Wie sieht ein A/B-Test im digitalen Zeitalter aus?

Im Kern ist ein A/B-Test im Marketing genauso, wie er schon immer war. Du wählst den Faktor aus, den du überprüfen willst, wie beispielsweise einen Blogbeitrag mit Bildern im Vergleich zu demselben Beitrag ohne Bilder. Dann zeigst du den Besuchern zufällig einen Stil von Blogposts an, wobei du andere Faktoren kontrollierst. Außerdem solltest du so viele Daten wie möglich aufzeichnen – Bounce-Raten, Verweildauer auf der Seite und so weiter.

Du kannst sogar mehr als eine Variable auf einmal testen. Wenn du zum Beispiel die Schriftart sowie das Vorhandensein von Bildern bewerten möchtest, könntest du vier Seiten erstellen, von denen jede den Blogbeitrag mit Folgendem anzeigt:

1. Arial mit Bildern
2. Arial ohne Bilder
3. Times New Roman mit Bildern
4. Times New Roman ohne Bilder

Eine Marketingsoftware für A/B-Tests liefert die Daten von Experimenten wie diesem. Dann interpretiert jemand aus deinem Unternehmen die Ergebnisse und entscheidet, ob es für das Unternehmen Sinn macht, darauf zu reagieren – und wenn ja, wie.

Warum ist ein A/B-Test wichtig?

A/B-Tests liefern dir die erforderlichen Daten, um das Beste aus deinem Marketingbudget zu machen. Angenommen, dein Chef hat dir ein Budget gegeben, um mit Google AdWords Besucher auf deine Seite zu locken. Du richtest einen A/B-Test ein, der die Anzahl der Klicks für drei verschiedene Artikeltitel verfolgt. Du lässt den Test eine Woche lang laufen und stellst sicher, dass du an jedem Tag und zu jeder Zeit die gleiche Anzahl an Ads für jede Option hast.

Die Ergebnisse dieses Tests werden dir helfen herauszufinden, welcher Artikel die meisten Klicks erhält. Du kannst diese Daten dann nutzen, um deine Marketingkampagne entsprechend zu gestalten und ihren ROI (Return on Investment) zu verbessern, und zwar mehr, als wenn du einen Artikel zufällig ausgewählt hättest.

Kleine Änderungen, große Verbesserungen

Mit A/B-Tests kannst du die Auswirkungen von Änderungen evaluieren, die relativ kostengünstig zu implementieren sind. Das Betreiben einer AdWords-Kampagne kann kostspielig sein, daher sollte jeder Aspekt so effektiv wie möglich sein.

Angenommen, du führst A/B-Tests für die Schriftart, die Textgröße, die Menütitel, die Links und die Positionierung des Registrierungsformulars auf deiner Homepage durch. Du testest jeweils zwei oder drei dieser Elemente gleichzeitig, damit nicht zu viele Unbekannte miteinander interagieren.

Wenn der Test abgeschlossen ist, stellst du fest, dass die Änderung der letzten drei Elemente die Konversionsrate um jeweils 6 % erhöht. Dein Webdesigner implementiert diese Änderungen in weniger als einer Stunde, und wenn sie fertig sind, hast du die Chance, 18 % mehr Umsatz zu machen als vorher.

Geringe Risiken, hohe Belohnungen

A/B-Tests sind nicht nur kostengünstig, sondern auch zeitsparend. Du testest zwei oder drei Elemente und bekommst deine Antwort. Dann kannst du einfach entscheiden, ob du eine Veränderung durchführen willst oder nicht. Wenn die realen Daten nicht mit deinen Testergebnissen übereinstimmen, ist es immer möglich, zu einer älteren Version zurückzukehren.

Den Traffic optimal nutzen

Wenn du A/B-Tests nutzt, um deine Website so effektiv wie möglich zu gestalten, kannst du mehr Konversionen pro Besucher erzielen. Je höher deine Konversionsrate, desto weniger Zeit und Geld musst du für Marketing aufwenden. Das liegt daran, dass theoretisch jeder, der deine Website besucht, mit höherer Wahrscheinlichkeit auch aktiv wird.

Denke daran, wenn du deine Website verbesserst, kann das deine Konversionsrate sowohl für bezahlten als auch für nicht bezahlten Traffic erhöhen.

Wie funktioniert ein A/B-Test?

Wenn es um kundenorientierte Inhalte geht, gibt es so viel, was du mit A/B-Testing auswerten kannst.

Häufige Ziele schließen Folgendes ein:

• E-Mail-Kampagnen
• Einzelne E-Mails
• Multimedia-Marketingstrategien
• Kostenpflichtige Internet-Werbung
• Newsletters
• Website-Design

In jeder Kategorie kannst du A/B-Tests für eine beliebige Anzahl von Variablen durchführen. Wenn du zum Beispiel das Design deiner Seite testest, kannst du verschiedene Optionen ausprobieren, wie beispielsweise Folgendes:

• Farbschema
• Layout
• Anzahl und Art der Bilder
• Überschriften und Teilüberschriften
• Produktpreise
• Sonderangebote
• Design einer „Call-to-Action“-Schaltfläche
• E-Mails mit Video vs. E-Mails ohne Video

Im Grunde genommen kann fast jedes Stil- oder Inhaltselement in einem kundenorientierten Artikel getestet werden.

Wie kannst du A/B-Tests durchführen?

Letzten Endes ist der Prozess des A/B-Tests nur das wissenschaftliche Verfahren. Wenn du das Beste daraus machen willst, musst du es wissenschaftlich angehen. Genau wie bei der Laborversion des wissenschaftlichen Verfahrens beginnt der A/B-Test mit der Auswahl dessen, was getestet werden soll. Der ganze Prozess besteht aus mehreren Schritten:

1. Identifiziere ein Problem

Achte darauf, dass du ein bestimmtes Problem identifizierst. „Nicht genug Konversionen“, zum Beispiel, ist zu allgemein. Es gibt zu viele Faktoren, die darüber entscheiden, ob aus einem Website-Besucher ein Kunde wird oder ob ein E-Mail-Empfänger sich auf deine Seite durchklickt. Du musst wissen, warum deine Inhalte nicht zu Konversionen führen.

Beispiel: Du arbeitest für einen Einzelhandel im Bereich Damenbekleidung, der viele Online-Verkäufe hat, aber nur sehr wenige dieser Verkäufe kommen von seinen E-Mail-Kampagnen. Du schaust dir deine Analysedaten an und stellst fest, dass ein hoher Prozentsatz der Benutzer deine E-Mails mit Sonderangeboten öffnet und sie liest, aber nur wenige tatsächlich einen Artikel kaufen.

2. Analysiere Benutzerdaten

Technisch gesehen könntest du A/B-Tests für alles durchführen, was deine Kund*innen sehen, wenn sie deine E-Mails öffnen, aber das würde eine Menge Zeit in Anspruch nehmen. Es gibt viele Design- und Inhaltselemente, auf die sie stoßen, die nicht relevant sind, also musst du herausfinden, welches Element du ansprechen willst.

Beispiel: Die Benutzer öffnen deine E-Mails, also ist es nicht falsch, wie du deine Betreffzeilen schreibst. Sie verbringen auch Zeit damit, sie zu lesen, also gibt es nichts, was sie sofort wegklicken lässt. Da viele der Benutzer, die deine Website von woanders her finden, am Ende zu Kunden werden, kannst du sagen, dass auch an der Art und Weise, wie du deine Produkte präsentierst, nichts falsch ist. Das deutet darauf hin, dass die Benutzer deine E-Mails zwar ansprechend finden, aber irgendwie den Faden verlieren, wenn sie sich auf deine Seite durchklicken wollen.

3. Entwickle eine Hypothese zum Testen

Jetzt schränkst du die Auswahl wirklich ein. Dein nächster Schritt ist zu entscheiden, was genau du testen willst und wie du es testen willst. Schränke deine Unbekannten auf eine oder zwei ein, zumindest für den Anfang. Dann kannst du herausfinden, wie du das Problem lösen kannst, indem du ein oder zwei Elemente änderst.

Beispiel: Du bemerkst, dass Benutzer erst nach unten scrollen müssen, um die Schaltfläche zu entdecken, die zu deinem Online-Shop führt. Du vermutest, dass mehr Empfänger auf deinen Shop gelangen, wenn du die Schaltfläche oben auf dem Bildschirm platzierst.

4. Führe den Hypothesentest durch

Entwickle eine neue Version der Testaufgabe, die deine Idee umsetzt. Dann führe einen A/B-Test zwischen dieser Version und deiner aktuellen Seite mit deiner Zielgruppe durch.

Beispiel: Du erstellst eine Version der E-Mail, bei der die Schaltfläche weiter oberhalb positioniert und auf Anhieb sichtbar ist. Du änderst nicht das Design, sondern nur die Positionierung. Du entscheidest dich, den Test für 24 Stunden laufen zu lassen, also stellst du das als Zeitparameter ein und startest den Test.

5. Analysiere die Daten

Wenn der Test vorbei ist, schau dir die Ergebnisse an und prüfe, ob dein neues E-Mail-Design zu merklichen Veränderungen geführt hat. Wenn nicht, versuche ein neues Element zu testen.

Beispiel: Deine neue E-Mail hat die Konversionen leicht erhöht, aber dein Chef will wissen, ob etwas anderes besser funktionieren könnte. Da deine Variable die Positionierung der Schaltfläche war, entscheidest du dich, sie an zwei anderen Stellen zu platzieren.

6. Finde neue Herausforderer für den Champion

In der Welt der A/B-Tests werden manchmal „Champion“ und „Herausforderer“ verwendet, um sich auf die aktuell beste Option und neue Möglichkeiten zu beziehen. Wenn zwei oder mehr Optionen konkurrieren und eine deutlich erfolgreicher ist, wird sie als Champion bezeichnet. Du kannst diesen Sieger dann gegen andere Optionen testen, die Herausforderer genannt werden. Dieser Test könnte dir einen neuen Champion liefern, oder er könnte offenbaren, dass der ursprüngliche Champion der Beste war.

Beispiel: Du hast zwei Versionen einer Landingpage einem A/B-Test unterzogen und den Champion von beiden gefunden, aber es gibt auch eine dritte Version der Seite, die du mit dem Gewinner aus deinem ersten Test vergleichen möchtest. Die dritte Version wird der neue Herausforderer, der gegen den bisherigen Champion antritt.

Wenn du alle sechs Schritte durchlaufen hast, kannst du entscheiden, ob die Verbesserung signifikant genug war, dass du den Test beenden und die notwendigen Änderungen vornehmen kannst. Oder du kannst einen weiteren A/B-Test durchführen, um die Auswirkungen eines anderen Elements zu evaluieren, wie beispielsweise die Größe der Schaltfläche oder ihr Farbschema.

Tipps für A/B-Tester

Hier sind einige Hinweise, die dir helfen, deine A/B-Tests so nützlich wie möglich zu gestalten.

Verwende repräsentative Stichproben deiner Benutzerinnen

Jeder Wissenschaftler wird dir sagen, dass du, wenn du ein Experiment durchführst, dafür sorgen musst, dass deine Teilnehmergruppen so ähnlich wie möglich sind. Wenn du eine Website testest, kannst du eine Reihe von automatisierten Test-Tools verwenden, um sicherzustellen, dass eine zufällige Auswahl von Personen jede Version sieht.

Wenn du Material direkt an deine Kunden oder potenziellen Kunden versendest, musst du vergleichbare Listen manuell erstellen. Mache die Gruppen möglichst gleich groß und verteile die Empfänger gleichmäßig nach Geschlecht, Alter und Geographie (sofern du die Daten hast). Auf diese Art und Weise haben Variationen in diesen Faktoren nur minimale Auswirkungen auf deine Ergebnisse.

Optimiere deine Stichprobengröße

Je mehr Benutzer du testest, desto zuverlässiger werden deine Ergebnisse sein. Das hängt mit einem Konzept zusammen, das Statistiker als „statistische Signifikanz“ bezeichnen.

Wenn das Ergebnis statistisch signifikant ist, ist es eher unwahrscheinlich, dass es durch Zufall entstanden ist. Wenn du zum Beispiel eine neue Version einer E-Mail an 50 Personen schickst und eine Kontrollversion an 50 weitere, bedeutet eine 5%ige Steigerung der Klickrate nur, dass fünf Personen besser auf deine neue Version reagiert haben. Der Unterschied ist so gering, dass er durch Zufall erklärt werden könnte – und wenn du den gleichen Test noch einmal durchführst, besteht eine gute Chance, dass du andere Ergebnisse bekommst. Mit anderen Worten, deine Ergebnisse waren nicht statistisch signifikant.

Wenn du in der Lage bist, denselben Satz von E-Mails an Gruppen von 500 zu senden, bedeutet eine Steigerung von 5 %, dass 50 Personen besser auf deinen neuen Stil reagiert haben, was viel wahrscheinlicher ist.

Vermeide die üblichen Fehler

Es ist verlockend, eine Pop-up-Schaltfläche mit einer neuen Schriftart, einer neuen Textgröße, neuen Schaltflächengrößen und neuen Schaltflächenfarben zu erstellen. Aber je mehr neue Elemente du hinzufügst, desto verworrener werden deine Ergebnisse sein.

Um bei dem obigen Beispiel zu bleiben: Wenn dein neues Pop-up ein völlig anderes Design hat als das Original, wirst du wahrscheinlich Korrelationen sehen, die völlig zufällig sind. Vielleicht funktioniert die große lila Schaltfläche „Zur Kasse“ mit dem Dollarzeichen besser als die kleine blaue Schaltfläche, die du vorher genutzt hast. Es kann allerdings sein, dass nur eines dieser Designelemente von Bedeutung war, wie zum Beispiel die Größe.

Denke daran, dass du später immer einen neuen Test mit anderen Elementen durchführen kannst. Es wird einfacher sein, sich diesen Folgetest anzusehen, als zu versuchen, einen Test mit 18 verschiedenen Variablen zu analysieren.

Warte das Ende des Testzeitraums ab, bevor du Änderungen vornimmst

Da du bei A/B-Tests die Auswirkungen einer Änderung in Echtzeit sehen kannst, ist es verlockend, den Test zu beenden, sobald du Ergebnisse siehst, damit du sofort eine neue Version implementieren kannst. Allerdings bedeutet dies, dass deine Ergebnisse mit höherer Wahrscheinlichkeit unvollständig sind und weniger wahrscheinlich statistisch signifikant sind. Zeitabhängige Faktoren können deine Ergebnisse beeinflussen, daher musst du das Ende des Testzeitraums abwarten, um von der Randomisierung zu profitieren.

Führe Tests mehrmals aus

Selbst die beste Software für A/B-Tests liefert falsch positive Ergebnisse, weil das Benutzerverhalten so variabel ist. Es gibt nur einen Weg, um sicherzugehen, dass deine Ergebnisse korrekt sind: den gleichen Test mit den gleichen Parametern zu wiederholen.

Das erneute Testen ist besonders wichtig, wenn deine neue Version nur kleine Verbesserungen aufweist. Ein einzelnes falsch positives Ergebnis fällt mehr ins Gewicht, wenn es nicht so viele positive Ergebnisse gibt.

Wenn du viele A/B-Tests durchführst, ist es außerdem wahrscheinlicher, dass du auf ein falsch positives Ergebnis stößt. Du kannst es dir vielleicht nicht leisten, jeden Test zu wiederholen, aber wenn du hin und wieder einen erneuten Test durchführst, findest du Fehler mit höherer Wahrscheinlichkeit.

Vereinfache A/B-Tests mit Mailchimp

A/B-Tests sind ein effizienter und effektiver Weg, um die Reaktion deiner Zielgruppe auf eine Design- oder Inhaltsidee zu messen, da sie das Benutzererlebnis nicht stören oder störende Feedback-Umfragen verschicken. Probiere einfach etwas Neues aus und lass die Ergebnisse für sich sprechen.

Du kennst dich noch nicht mit A/B-Tests aus? Teste deine Kampagnen ganz einfach mit Mailchimp, um zu erkennen, welche E-Mail-Header, visuellen Elemente, Betreffzeilen und Texte am besten bei deinen Kunden ankommen.