A/B-Testing in der Conversion-Rate-Optimierung: So führen die richtigen Ziele zum Erfolg

Das erwartet euch in diesem Beitrag

  • Welche unterschiedlichen Ziele gibt es bei der Erfolgsmessung?
  • Warum schränken primäre und sekundäre Ziele die Perspektive ein?
  • Warum darf der Umsatz nicht der Haupt-Erfolgsindikator sein?

Conversion-Agenturen haben es täglich mit unterschiedlichen Kunden und den unterschiedlichsten Geschäftsmodellen und Erfolgsansprüchen zu tun. Aber eines haben alle Kunden und wir gemein: Wir möchten mehr Umsatz generieren und dafür datengetrieben die richtigen Entscheidungen treffen. Doch Erfolg ist nicht gleich Erfolg.

Welche Herausforderungen bestehen also bei der Definition eures Erfolgs? Was müsst ihr dabei beachten?

Zentral bei all dem sind A/B-Tests, und die Grundvoraussetzung für den Erfolg eines jeden A/B-Testings besteht darin, die richtige Hypothese für die richtigen Ziele zu haben. Diese muss durch das definierte Tracking bestätigt oder widerlegt werden. Doch welche Fallstricke gilt es zu vermeiden, wenn es um die Definition der richtigen Test-Ziele geht? Können auch messbar erfolgreiche Tests dem Unternehmenserfolg schaden? Und worauf ist bei primären und sekundären Zielen zu achten?

Apropos Fallstricke: Vielleicht interessiert euch ja auch unser Beitrag “5 Fehler, die beim A/B-Testing nicht passieren dürfen“?

In vorliegenden Beitrag erfahrt ihr, wie ihr eure primären und sekundären Ziele bei A/B-Tests definieren müsst, um die Weichen auf Erfolg zu stellen. Und warum der Umsatz niemals der Haupt-Erfolgsindikator sein darf!

CRO und A/B-Testings sind nur ein Teil der Rechnung

Das wahrscheinlich wichtigste Ziel in der Conversion-Optimierung sind die Sales bzw. die Anzahl der verkauften Produkte. Dieser Wert kann unterschiedlich erhoben und unterschiedlich definiert werden. So lässt sich dieses Ziel zum Beispiel als Aufruf der Danke-Seite, als Transaktion oder als Button-Klick messen.

Wenn Nutzer in einer Sitzung zweimal eine Bestellung aufgeben, würde dies als zwei Aufrufe der Danke-Seite getrackt werden – aber nur als eine Transaktion. Denn üblicherweise werden Transaktions-IDs vergeben, die sicherstellen, dass jede Transaktion mit derselben ID nur einmal pro Sitzung gezählt wird.

Das Problem beim Tracking auf einen „Jetzt kaufen Button“-Klick ist, dass dieser noch nicht der finale Kauf sein muss. Bei der Zahlungsmethode PayPal wird beispielsweise ein Link zu PayPal gesetzt, und der Nutzer muss sich erst anmelden. Macht er dies nicht, und gibt er die Zahlung nicht frei, erreicht er nicht die Danke-Seite, und es wird keine Transaktion gezählt. Bedeutet: Das Ziel ist nicht erreicht, obwohl er auf „Jetzt kaufen“ geklickt hat. Erhebt die Sales daher am besten auf Transaktionsbasis und wertet sie auf Nutzerbasis aus.

Die Art und Weise der Datenerhebung hat folglich eine Auswirkung auf den Testerfolg. Und das Ganze wird noch komplexer, wenn die mögliche Umsatzsteigerung prognostiziert werden soll. Der Umsatz berechnet sich aus dem Warenkorbwert multipliziert mit der Anzahl der Verkäufe.

Unsere entsprechenden Tests bei LEAP/ haben gezeigt, dass höhere Warenkorbwerte durch mehr Klicks auf „Add to Cart“ oder den Kauf von teureren Produkten zu mehr Umsatz führen, während die Nutzer gleichzeitig weniger Transaktionen ausführen. Ein höherer Warenkorbwert führt aber nur zu mehr Umsatz, wenn sich die Verkäufe nicht signifikant verschlechtert haben.

Viele Optimierer setzen mehr Umsatz mit einer höheren Anzahl an Verkäufen gleich. Für gewöhnlich ist dies auch richtig, wenn sich – wie beschrieben – die anderen Metriken nicht verschlechtert haben.

Wenn der Warenkorbwert sinkt und die Anzahl der Verkäufe gestiegen ist, kann der Test auch erfolgreich sein, obwohl er keinen wirklichen Mehrwert bzw. Nutzen bietet. Der Umsatz darf darum nie der Haupt-Erfolgsindikator sein! Mehr dazu weiter unten.

Bedenkt zudem, dass, wenn ihr mehr Umsatz generieren wollt, Conversion-Rate-Optimierung und A/B-Testing nur ein Teil der Rechnung sind. Viel wichtiger ist es, die Traffic-Kanäle und Maßnahmen für mehr Traffic mit in die Optimierung einzubeziehen. Denn mehr Traffic bedeutet bei gleicher Conversion-Rate mehr absolute Conversions und somit mehr Umsatz. Denn es ist so, dass sich alleine schon durch die richtige Traffic-Zusammensetzung auf eurer Seite ein Uplift auf die Conversion-Rate erzielen lässt.

Der tatsächliche Unternehmenserfolg wird in der Finanzabteilung am Gewinn bzw. der Gewinnsteigerung im Vorjahresvergleich festgemacht. Diese Metrik wird in der Conversion-Rate-Optimierung häufig nicht beachtet, obwohl auch hier ein Einfluss zu verspüren sein sollte. So lässt sich ein höherer Unternehmensgewinn etwa auch durch geringere Kosten erreichen. Es ist daher wichtig, zum Beispiel auch die Rücksendequote oder den Adspend zusammen mit den Conversion-Maßnahmen zu optimieren.

Ziele bzw. Messmetriken immer richtig priorisieren!

Die Auswertung der Ergebnisse hängt von den zuvor festgelegten Zielen und den entsprechenden Indikatoren ab. Um möglichst viele Insights aus dem Test zu gewinnen, ist ein umfangreiches Tracking sinnvoll. Dazu muss jedoch eine Priorität der Messmetriken festgelegt werden, denn häufig fallen die Ergebnisse bei zwei Messmetriken gegenteilig aus (zum Beispiel: mehr Einkäufe vs. geringerer durchschnittlicher Warenkorbwert). In der Praxis hat es sich daher eingebürgert, ein primäres und mindestens ein sekundäres Ziel zu vergeben.

Das primäre Ziel ist das Ziel, weswegen der Test durchgeführt wird (zum Beispiel Verkäufe, Bestellungen, Abonnements oder Registrierungen). Durch sekundäre Ziele können weitere Informationen zum Nutzerverhalten erhoben werden. Diese ermöglichen es, die Insights zu vertiefen und bessere Folgetests zu generieren. Wichtig ist dabei die Interpretationsfähigkeit der Metriken!

Schauen wir uns zum Beispiel die Besuchsdauer an: Ist es positiv oder negativ, wenn sich die Nutzer lange oder kurz auf der Seite aufhalten? Wenn die Nutzer lange auf eurer Seite verweilen, könnten die Inhalte interessant sein, oder aber die Nutzer finden sich nicht zurecht und müssen lange suchen. Ist die Besucherdauer hingegen kurz, könnten die Inhalte nicht relevant für sie gewesen sein, oder aber die Nutzer haben sich gut zurechtgefunden. Die Metrik „Besuchsdauer“ ist somit nicht eindeutig bzw. aussagekräftig und ohne Branchen-Benchmark nicht klar bewertbar.

Auch die Senkung der Absprungrate auf der Landingpage kann ein primäres Ziel sein – wobei dies nicht direkt zu mehr Verkäufen und mehr Umsatz führen muss. Denn die Nutzer können auf der Seite durch andere Unterseiten abgelenkt werden. Wenn der User aber beispielsweise über SEO gekommen ist, kann die verbesserte Absprungrate ein positives Signal für Google sein, welches zu verbesserten Rankings führt. Und ist der User über SEA gekommen, wirkt sich die gesunkene Absprungrate positiv auf den Quality-Score der Seite aus, so dass langfristig Geld bei der Ausspielung von Anzeigen eingespart werden kann. Heißt: Die Senkung der Absprungrate als primäres Ziel wirkt sich wirtschaftlich also hier wie dort indirekt vorteilhaft aus.

Es ist außerdem zu beachten, dass sich Klicks bzw. Micro-Conversions nicht als Indikatoren für A/B-Tests eignen. Diese Metriken sind zu „klein“, und ein Uplift auf diese Metriken garantiert nicht, dass eine höhere Anzahl zu mehr Sales oder gar zu mehr Umsatz führt.

Primäre und sekundäre Ziele schränken die Perspektive ein

Best Practice bei A/B-Tests: Schon bei der Definition der Testhypothesen sollten die Ziele definiert werden und primäre Ziele auf eindeutig interpretierbare und für euer Unternehmen sinnvolle Metriken bezogen sein. Sekundäre Ziele indes beschreiben sozusagen die weiteren Auswirkungen des Tests, wie zum Beispiel Aufruf der nächsten Seite im Funnel oder Klick auf einen Button. Sie dienen einerseits der besseren Bewertung des Ergebnisses und erleichtern andererseits die Ableitung von Folgetests.

Wichtig ist es, bei der Definition der Test-Ziele darauf zu achten, dass sich die Ziele der Tests nicht gegenseitig kannibalisieren. So kann eine höhere Neu-Registrierungsrate unter Umständen zu einer geringeren Conversion-Rate führen – und vice versa. Das Tracking im Test darf daher nicht zu sehr in eine Richtung gedacht werden. Denn eine Verstärkung der Performance in eine Richtung kann sich negativ auf eine andere Richtung auswirken.

Zum Beispiel nutzen Affiliate-Anbieter häufig mehrere Geschäftsmodelle. Die gängigsten sind die Vergütung nach Click-out (CPC), die Kontaktvergütung (CPL) oder die Vergütung nach Impression der Anzeige (TKP). Wenn jetzt in einem Test auf die Lead-Generierung optimiert wird, so kann es sein, dass die Vergütung über CPC sinkt, weil die Nutzer eher auf einen Lead geführt werden. Es gilt daher, für beide Zielrichtungen Ziele zu tracken und hinterher zu entscheiden, ob eine Umsetzung sinnvoll ist. Dazu müssen die Werte der Ziele gegeneinander abgewogen werden.

Warum darf der Umsatz nicht der Haupt-Erfolgsindikator sein?

Ausschlaggebend bei dieser Frage ist die Definition der statistischen Signifikanz, und das statistisch signifikante Niveau gibt hierbei die Risikotoleranz an: Wenn ein A/B-Testexperiment mit einer Signifikanz von 95 Prozent abgeschlossen wird, bedeutet das, dass ihr bei der Festlegung des Gewinners zu 95 Prozent zuversichtlich seid, dass die beobachteten Ergebnisse „wahr“ und nicht etwa fehlerhaft sind. Fehler können zufällig zustande kommen.

Werden nun Experimente durchgeführt, um auf Basis der Ergebnisse eine Entscheidung zu treffen, so ist sicherzustellen, dass es tatsächlich einen Zusammenhang zwischen der Veränderung (Testvariante) und der Auswirkung gibt. Dieser Zusammenhang lässt sich allerdings nur dann zweifelsfrei nachweisen, wenn nur eine Änderung in der Testvariante vorgenommen wurde. Wurden dagegen gleich mehrere Faktoren verändert, kann nicht eindeutig auf den einen Erfolgs- oder Misserfolgsfaktor für die jeweilige Auswirkung geschlossen werden. Der Ursache-Wirkungszusammenhang ist in diesem Fall zumeist diffus.

Das bringt uns zu der Antwort auf die Frage, warum der Umsatz nicht der Haupt-Erfolgsindikator sein darf. Dazu muss man sich vor Augen führen, dass der Umsatz auf der Anzahl der Verkäufe, den Warenkorbwerten und dem Traffic auf der Seite beruht. All diese Metriken bzw. Faktoren werden unterschiedlich gemessen und unterliegen ihrerseits weiteren Einflüssen, die zufällig sein können. Dies lässt sich an den folgenden zwei Beispielen verdeutlichen:

Ein Problem ist die randomisierte Ausspielung (zufällige Ausspielung) der Testvarianten. Für die Nutzer wird dabei zufällig eine Variante ausgespielt, und die Abweichung in der absoluten Anzahl der Ausspielungen und somit der Verläufe verzerrt in der Regel das Umsatz-Ergebnis. Denn die zufällige Anzahl an mehr Nutzern in einer Variante kann zu mehr Umsatz führen, insofern zunehmender Traffic bei gleichbleibender Conversion-Rate bekanntermaßen den Umsatz erhöht.

Ein weiteres Problem besteht darin, dass Extrem-Werte in den Warenkorbwerten bei der Berechnung nur aufwendig beglichen werden können. Ein Nutzer kann zum Beispiel durch einen extrem hohen Warenkorbwert, der auf seiner individuellen Situation beruht, den durchschnittlichen Warenkorbwert verzerren. Um ein statistisch signifikantes Ergebnis zu berechnen, müssten diese Extrem-Werte neutralisiert werden. In diesem Fall wäre es Zufall, dass Nutzer mit hohen Warenkorbwerten die eine oder andere Variante ausgespielt bekommen.

Kurzum: Wenn es um A/B-Tests geht, ist der Umsatz ein trügerischer Indikator, da dieser per se unterschiedlichen, oftmals eher zufälligen Faktoren unterliegt und der Ursache-Wirkungszusammenhang zumeist komplexer ist, als es sich im jeweiligen Testaufbau abbilden lässt.

Zusammenfassung

Das übergreifende Ziel, weswegen A/B-Testings durchgeführt werden, muss stets im Fokus bleiben. In Abhängigkeit des Testszenarios müssen zusätzlich sekundäre Ziele, aber auch sich etwaig kannibalisierende Ziele betrachtet werden. Conversion-Optimierung funktioniert am besten in Etappen, die nach einzelnen Seitentypen der Website optimiert werden. Dies führt in der Regel zur Steigerung der übergreifenden Conversion-Rate. Der Umsatz und der Warenkorbwert müssen immer mit erhoben werden, dürfen aber nie als Haupt-Erfolgsmetrik angesetzt werden. Wenn mehr Umsatz generiert werden soll, dann muss zwangsweise auch die Traffic-Generierung optimiert werden.

Es kommt bei der Conversion-Rate-Optimierung aber nicht nur auf die richtigen Test-Ziele an. Auch psychologisches Gespür ist gefragt! Mehr darüber erfahrt ihr in unserem Beitrag “Conversion-Rate-Optimierung: So helft ihr euren Usern mit einer Prise Psychologie auf die Sprünge“.
Über den Autor

Fabian Hans

Redakteur
Ich sammelte noch während meines Studiums der Business Psychology viele Erfahrungen in verschiedenen Bereichen des Online-Marketing. Als Conversion-Analyst bei der Berliner Agentur LEAP/ berate ich Unternehmen mit meinem psychologischen Wissen, um ihre Websites effizient und zielgerichtet zu optimieren.