5 Fehler, die beim A/B-Testing nicht passieren dürfen

Das erwartet euch in diesem Artikel

  • Warum müsst ihr auf jeden Fall genug Daten sammeln?
  • Warum ist eine intensive Vorbereitung die halbe Miete?
  • Welche externen Faktoren müsst ihr beachten?

A/B-Tests sind eine tolle Sache. Mit ihrer Hilfe könnt ihr die Performance eurer Website signifikant verbessern und dafür sorgen, dass die Conversion-Rate nach oben geht. Doch sie können auch nach hinten losgehen. Und zwar dann, wenn ihr einen Fehler macht, der das Ergebnis verzerrt.

Fehler können kostspielig werden

Im besten Fall kostet euch das nur ein paar Conversions (was schon schlimm genug ist, denn ihr wolltet ja eigentlich optimieren und nicht verschlimmbessern). Im schlechtesten Fall kann so ein Fehler aber auch sehr teuer werden – wenn ihr beispielsweise eure funktionierenden Landing-Pages komplett über den Haufen werft, weil ihr einem falschen Ergebnis aufgesessen seid. Dann leiden nicht nur die Conversions, ihr habt auch viele Ressourcen in den Roll-Out eines neuen – auf lange Sicht nutzlosen – Designs gesteckt.

Damit euch dieses Schicksal erspart bleibt, haben wir euch die fünf nervigsten Fehler im Bereich A/B-Testing zusammengefasst. Schaut euch diesen Artikel an und lernt, wie ihr sie vermeiden könnt.

Resultate werden zu schnell für richtig gehalten

Ihr habt endlich euren ersten A/B-Test eingerichtet und wartet nun schon seit Tagen sehnsüchtig auf ein signifikantes Ergebnis. Die Daten eures CRO-Tools zeigen, dass eure variierte Landing-Page besser funktioniert als das Original. Die Wahrscheinlichkeit, dass euer Test erfolgreich ist, liegt bei 75%. Das klingt doch ganz gut, oder?

Nein! Ergebnisse zu früh als wahr anzusehen ist einer der am häufigsten gemachten Fehler in der Welt des A/B-Testing.

Eine Signifikanz von 75% bedeutet aber, dass eure neue Landing-Page bei jedem vierten Test nicht besser funktionieren wird als das Original. Bevor ihr also viel Geld und Zeit in die Umgestaltung eurer Website investierst, solltet ihr warten, bis die Wahrscheinlichkeit wenigstens 90% beträgt. Noch besser sind allerdings 95% und mehr. Nur dann könnt ihr mit Sicherheit sagen, euer Ergebnis allen Zweifeln standhält.

Das Problem der zu kleinen Stichprobe

Es kann auch passieren, dass eure Testergebnisse nicht der Wahrheit entsprechen, weil die Stichprobe zu klein ist. Ihr habt also schlicht nicht genug Daten gesammelt, um eine belastbare Grundgesamtheit aufzubauen. Denn was bringt es euch, wenn die ersten fünf Nutzer alle übereinstimmende Daten liefern? Dieser Wert ist so klein, dass er nicht einfach auf die Allgemeinheit übertragen werden kann.

Grafik: Ein A/B-Test Setup

Abb. 1: Das Setup eines A/B-Tests.

Vor allem dann, wenn der Unterschied zwischen der Variation und dem Original am Anfang sehr groß ist, werden häufig zu voreilige Entscheidungen getroffen. Auch viele bekannte Testing-Tools entscheiden sich in solchen Fällen oft zu schnell für einen Gewinner. Hier liegt es dann an euch, die Einstellungen so anzupassen, dass ihr solche Fehler ausschließen könnt.

Wenn ihr euch zu früh auf eine –auf lange Sicht vielleicht sogar schwächere – Variante festlegt, schadet ihr eurem Unternehmen. Genau deswegen ist es so wichtig, dass ihr auf eine hohe Signifikanz und große Stichproben setzt. Dieses Vorgehen reduziert gleich zwei Gefahren:

  1. Einen Gewinner auszurufen, der eigentlich gar kein Gewinner ist (False Positive).
  2. Keinen Gewinner zu erkennen, obwohl es einen gibt (False Negative).

Es ist menschlich und ganz normal, dass ihr euch gerade in der Anfangsphase euren Tests verbunden fühlt. Jeder möchte, dass die Zeit, Ressourcen und Mühe, die er in einen Test gesteckt hat, nicht umsonst waren. Und jeder möchte, dass seine Tests möglichst schnell zu einem wahren Ergebnis führen. Das ist leider auch der Hauptgrund dafür, dass viele A/B-Tests zu früh abgebrochen werden. Deswegen sollte euch als verantwortungsbewussten Conversion-Optimierern immer bewusst sein, dass es nicht nur darum geht, eine bessere Landing-Page oder ein schöneres Design zu kreieren.

Es geht darum, die Wahrheit zu finden. Und die Wahrheit hängt von zwei Dingen ab – von der Signifikanz der Daten und von euren Hypothesen.

Der Test ohne Plan oder: die fehlenden Hypothesen

Kennt ihr das auch? Ihr seid so begeistert davon, endlich mit einer neuen Testreihe beginnen zu können, dass ihr euch Hals über Kopf ins Abenteuer stürzt. Das ist bestimmt jedem schon einmal passiert. Was dann jedoch auf der Strecke bleibt, ist ein belastbarer Plan, auf dessen Grundlage der Test von Statten gehen soll.

Denn wenn ihr einen A/B-Test startet, ohne euch vorher ausführliche Gedanken gemacht zu haben, werdet ihr am Ende keine hilfreichen Ergebnisse erhalten. In ihrem Enthusiasmus unterschätzen Menschen nämlich oft, wie wichtig es ist, vor einem A/B-Test sinnvolle Hypothesen aufzustellen.

Viele gehen einfach davon aus, dass am Ende schon genug interessante Daten für eine zielgerichtete Analyse herauskommen werden – doch das ist ein Irrglaube. Erst die richtigen Hypothesen machen einen Test informativ. Und nur sie helfen auch dabei, die Strategien herauszuarbeiten, die wirklich zu einer besseren Conversion-Rate führen.

 „Die Qualität der Ergebnisse eines A/B-Tests steht und fällt mit den getesteten Hypothesen.

Das bedeutet, dass das Formulieren von belastbaren Hypothesen einer der wichtigsten Schritte des ganzen Prozesses ist – es ist die Grundvoraussetzung für den Erfolg der nächsten Schritte. Hierbei müsst ihr auf jeden Fall das Gesamtkonzept eurer Website im Auge behalten – denn es bringt nichts, wenn ihr euch nur auf den einen aktuellen Test versteift.

Und wenn dann bei einem Test doch einmal etwas schiefgeht – weil er zum Beispiel nicht in das große Ganze passt – dann ist das auch kein Problem. A/B-Tests sind eine fortlaufende Angelegenheit. Auch aus gescheiterten Tests könnt ihr wichtige Lehren ziehen, die euch im weiteren Verlauf der Optimierung fraglos helfen werden.

Die Vorbereitung ist also ein zentraler Bestandteil von erfolgreichen A/B-Tests, den ihr nicht unterschätzen solltet. Nur wenn ihr wisst, was ihr testen wollt und welchen Einfluss die Ergebnisse haben werden, könnt ihr eure Website wirklich kontinuierlich verbessern.

Segmentieren nicht vergessen

Ihr dürft auch nicht vergessen, eure Nutzer vor dem Test zu segmentieren. Wollt ihr Informationen zu allen Besuchern sammeln – oder nur zu neuen oder wiederkehrenden Nutzern? Wollt ihr alle Endgeräte testen oder unterscheidet ihr zwischen Desktop und Mobile? Dabei müsst ihr euch auch immer vor Augen halten, welchen Einfluss diese Entscheidungen auf die Größe eurer Stichprobe haben. Denn wie gesagt muss diese immer groß genug sein, um ein signifikantes Ergebnis sicherzustellen.

Screenshot: Segmentierung in Google Analytics

Abb. 2: Segmente in Google Analytics

Wenn ihr immer nur alle Nutzer in einen Topf werft und sie als eine uniforme Masse betrachtet – also auf eine Segmentierung verzichtet – werdet ihr nie sehen können, was sich in den einzelnen Segmenten tut. Es kann nämlich sein, dass ein Test, der in der Gesamtheit als gescheitert gilt, für ein einzelnes Segment durchaus hilfreiche Ergebnisse geliefert hat. Denn neue Besucher verhalten sich anders als wiederkehrende; und auch das Alter, das Geschlecht, die Herkunft und das genutzte Endgerät spielen eine wichtige Rolle. Es wäre doch schade, wenn ihr diese Ergebnisse übersehen und damit Potentiale verschenken würdet.

Externe Faktoren werden außer Acht gelassen

Um einen Test mit einem signifikanten Ergebnis abschließen zu können, braucht ihr wie gesagt eine bestimmte Anzahl an Teilnehmern sowie eine bestimmte Anzahl an Conversions. Wenn eure Seite richtig viele Besucher hat, kann ein Test manchmal auch schon nach weniger als einer Woche einen Gewinner haben. Aber was ihr bei A/B-Tests niemals vergessen dürft, ist der Umstand, dass externe Faktoren einen gehörigen Einfluss auf die Testergebnisse haben.

Die meisten Menschen leben in einem bestimmten Rhythmus. Regelmäßige Tätigkeiten wie die Arbeit, das Studium, die Freizeitaktivitäten und das Familienleben bestimmen, was wir an bestimmten Wochentagen machen. Dieser Rhythmus hat einen großen Einfluss auf die Conversion-Rate eurer Website und muss im A/B-Test berücksichtigt werden. Auch Feiertage oder Events (wie beispielsweise der Gewinn einer Fußballweltmeisterschaft) wirken sich auf das Verhalten der Nutzer aus. In vielen Fällen ist es daher auch sinnvoll, einen Blick in den Kalender zu werfen, um den Test zu einem „normalen“  Zeitpunkt durchzuführen. Dinge wie die Schulferien, die das Ergebnis verzerren können, sind ja meist im Voraus bekannt und können daher rechtzeitig beachtet werden.

Um den Einfluss von externen Faktoren auf eure A/B-Tests zu minimieren, solltet ihr diese also mindestens zwei Wochen (und damit auch zwei Wochenenden) lang laufen lassen – und das in einer Zeitspanne, die sich nicht großartig von anderen Intervallen im Jahr unterscheidet. Wichtig ist hierbei, dass ihr saisonale Besonderheiten und das Wetter ebenfalls mit einbezieht. Denn je nach eurer Branche ist das Nutzerverhalten bei Schneestürmen vielleicht anders als bei strahlendem Sonnenschein.

Nur, wenn ihr all diese Unwägbarkeiten einfließen lasst, wisst ihr mit Sicherheit, das eurer Test auch gegen eventuelle Schwankungen, die durch externe Faktoren hervorgerufen wurden, gewappnet ist.

Fazit: Vorsicht ist besser als Nachsicht

Vergesst bei euren A/B-Tests also nicht, diese Dinge im Blick zu haben. Nichts ist ärgerlicher, als wenn ihr viel Zeit, Geld und Energie in einen Test investiert, dessen Ergebnisse ihr im Endeffekt nicht verwenden könnt. Deshalb gilt: Vorsicht ist besser als Nachsicht.

Denkt daran: Jede Website ist einzigartig und daher gibt es keine Checkliste für die perfekt optimierte Website. Betreibt also ausführliche Recherchen im Hinblick auf eure Branche und Zielgruppe, anstatt euch blindlings in einen schlecht vorbereiteten A/B-Test zu stürzen.

Beginnt damit, die Menschen zu fragen, die eure Website bereits regelmäßig nutzen. Hier bieten sich Heatmaps und Eye-Tracking an, um tiefgreifende Informationen zu den Problemzonen eurer Seite zu erhalten. Mit Hilfe dieser qualitativen Daten werdet ihr in der Lage sein, die Probleme eurer Website zu verstehen und darauf aufbauend die Hypothesen für eure Tests zu formulieren.

Ansonsten bleibt euch nur, euch in Geduld zu üben. Plant also immer genug Puffer ein, falls unvorhergesehene Ereignisse dazu führen, dass ihr eure Tests verlängern müsst. Wenn ihr diese Punkte beachtet, habt die die vermeidbarsten Fehlerquellen für eure A/B-Tests schon einmal ausgeschlossen.

Über den Autor

Job van Hardeveld

Redakteur
Ich war mehr als drei Jahre lang als Conversion-Analyst bei der Berliner Agentur LEAP/ tätig. Meine Spezialgebiete sind die Analyse von Daten und Behavioural Patterns sowie die darauf aufbauende Erstellung von Hypothesen, die ich dann in A/B-Tests überprüfe.
Kommentare