Was sind A/A-Tests im Marketing? • BUOM

1. April 2021

Eine Änderung des Designs und Layouts der Website oder App Ihres Unternehmens kann erhebliche Auswirkungen auf das Benutzererlebnis und letztendlich auf die Ziele Ihres Unternehmens haben. Stichprobenartige Tests können dabei helfen, festzustellen, welche zusätzlichen Funktionen in das Update aufgenommen werden sollten. Durch die Wahl des richtigen Testprogramms und der richtigen Methode können Sie sicherstellen, dass Ihre Änderungen durch zuverlässige Daten gestützt werden. In diesem Artikel besprechen wir, was A/A-Tests sind, warum sie wichtig sind und wie Sie sie für Ihre Webseiten und Apps durchführen.

Was ist ein A/A-Test?

A/A-Tests sind eine statistische Testtechnik, die im Web- und App-Design verwendet wird. Es verwendet ein Algorithmus-Tool, um zwei identische Versionen einer Anwendung oder Webseite zu vergleichen. Ein A/A-Test kann ein Vorläufer eines A/B-Tests oder eines Split-Tests sein. Bei einem A/B-Test werden zwei verschiedene Versionen einer Webseite oder App verglichen, um festzustellen, welche für Benutzer besser funktioniert.

Warum sind A/A-Tests wichtig?

Einer der Hauptzwecke von A/A-Tests besteht darin, Ihnen bei der Auswahl eines genauen und gut kalibrierten A/B-Testtools zu helfen. Bei der Durchführung eines A/A-Tests meldet ein zuverlässiges Programm eine statistisch nicht signifikante ähnliche Conversion-Rate zwischen beiden Seiten. Es ist auch nützlich, Ihnen den potenziellen Konvertierungsfehler für ein bestimmtes Testtool anzuzeigen.

Wann sollten Sie einen A/A-Test durchführen?

Es gibt bestimmte Punkte im Webdesign- und Entwicklungsprozess, an denen die Durchführung von A/A-Tests am vorteilhaftesten sein kann. Zu diesen Situationen gehören:

• Wenn Sie ein neues Testtool auf Ihrem System installiert haben

• Wenn Sie die Einstellungen Ihres aktuellen Testtools aktualisiert oder geändert haben

• Wenn Sie ein neues Web- oder Anwendungsprojekt starten

• Wenn Sie Unterschiede in den Datenberichten Ihres Testtools und anderen Analyseberichten bemerken

So führen Sie A/A-Tests durch

Mit diesen Schritten erfahren Sie, wie Sie einen A/A-Test durchführen:

1. Wählen Sie Ihr Instrument

Wählen Sie ein Testtool aus, um den A/A-Testprozess zu starten. Diese Arten von Programmen sind von verschiedenen Analyseunternehmen erhältlich. Sie können ein Tool wählen, das Sie bereits verwendet haben, oder ein neues Programm, das Sie ausprobieren möchten, und vielleicht auf A/B-Tests umsteigen. Sehen Sie sich die Schulungsunterlagen für alle neuen Instrumente an, um sicherzustellen, dass Sie diese kalibrieren und die Testparameter korrekt eingeben. Dadurch können Sie feststellen, ob das Programm genaue Ergebnisse liefert.

2. Testtyp auswählen

Entscheiden Sie je nach gewähltem Tool, welche Methode Sie für Ihren A/A-Test verwenden möchten. Zu den Optionen gehören:

Hypothese

Das Testen von Hypothesen erfordert eine vorgegebene Stichprobengröße. Das Programm wird ausgeführt, bis für jede Option genügend Beispiele vorhanden sind. Sobald die gewünschte Anzahl an Proben erreicht ist, können Sie feststellen, ob sich Ihre KPIs unterscheiden und den Test stoppen.

Bayesianisch

Bayesianische Tests erfordern keine vorgegebene Stichprobengröße, was Sie für einen A/B-Test möglicherweise bevorzugen. Stattdessen zeigt dieser Typ von zwei Optionen, welche Option besser ist, und zwar selbst auf der Grundlage kleiner Bruchteile der Differenz in der zugrunde liegenden Metrik. Je mehr Daten für einen Bayes’schen Test gesammelt werden, desto empfindlicher reagiert er auf Unterschiede bei den wichtigsten Leistungsindikatoren. Dies bedeutet, dass bei einem A/A-Test eher die „beste“ Version ausgewählt wird, selbst wenn die Proben genau gleich sind.

3. Passen Sie die Benutzererfahrung an

Benutzer wissen nicht, dass Sie Daten über ihre Surfgewohnheiten auf Ihrer Website sammeln, während Sie A/A-Tests durchführen. Ein Grund dafür ist, dass die Benutzererfahrung für diejenigen, die die Kontrollseite und die Variablenseite besuchen, möglicherweise identisch ist. Stellen Sie sicher, dass es zwischen ihnen keine Änderungen gibt, und legen Sie dann KPIs für beide Gruppen fest, um die Conversion-Rate zu überprüfen. Zu den wichtigsten Leistungsindikatoren können Aktionen wie das Klicken auf eine Schaltfläche, das Vergrößern eines Bildes, das Aufrufen einer bestimmten anderen Seite oder das Tätigen eines Kaufs gehören.

4. Interpretieren Sie die Ergebnisse

Sehen Sie sich die von Ihnen gesammelten Daten an, um zu sehen, ob sie im Kontext des Programms und des größeren Projekts sinnvoll sind. Bedenken Sie, dass es bei A/A-Tests immer ein Element der Zufälligkeit gibt. Ihre identischen Seiten können je nach gewähltem Programm und Testmethode leicht unterschiedliche Conversion-Raten aufweisen. Die Conversion-Rate ist der Prozentsatz der Benutzer, die die in Ihren KPIs beschriebenen gewünschten Aktionen ausführen.

Jede Conversion-Rate von weniger als 0,05 oder 5 % ist statistisch unbedeutend und kann im Test als Zufallsgenerierung behandelt werden. Bayesianische Tests wählen mit größerer Wahrscheinlichkeit ein statistisch unbedeutendes, aber höheres Ergebnis als leistungsstärkere Version aus, aber Sie berücksichtigen sie möglicherweise nicht, wenn Sie die Daten durch einen Menschen überprüfen. Sie können feststellen, dass identische und statistisch nicht signifikante A/A-Testergebnisse darauf hinweisen, dass das Testprogramm ordnungsgemäß funktioniert.

5. Legen Sie eine Basis-Conversion-Rate fest

Sobald Ihr A/A-Test abgeschlossen ist, können Sie die Fehlermarge der Conversion-Rate für Ihr spezifisches Testtool bestimmen. Wenn Sie diese Zahl kennen, können Sie eine grundlegende Conversion-Rate für Ihren A/B-Test festlegen, um die wichtigsten Änderungsbereiche von Ihrer Kontrollseite bis zu Ihrer Variante zu ermitteln.

6. Bestimmen Sie die Stichprobengröße

Durch die Durchführung von A/A-Tests können Sie ermitteln, wie viele Benutzerinteraktionen Sie während Ihres A/B-Tests erwarten können. Beim Testen von Hypothesen kann dies Ihnen dabei helfen, eine angemessene Zahl für eine vorgegebene Stichprobengröße auszuwählen. Bei Bayes’schen Tests kann dies Ihnen helfen zu verstehen, an welchem ​​Punkt Sie den Test beenden und die Ergebnisse analysieren sollten.

Best Practices für A/A-Tests

Verwenden Sie diese Tipps, um einen gründlichen und genauen A/A-Test durchzuführen:

Verwenden Sie eine große Stichprobengröße

Unabhängig davon, für welche Testmethode Sie sich entscheiden, wählen Sie eine Mindeststichprobengröße, die ausreicht, um realistische Ergebnisse zu erhalten. Diese Zahl kann statistisch proportional zu Ihrer Ziel-Conversion-Rate sein. Nutzen Sie Ihre aktuellen Analysen und Statistiken, um eine Zahl auszuwählen, die Ihrer täglichen Reichweite oder Ihrem Zugriff entspricht. Denken Sie daran, dass ein A/A-Test einer wissenschaftlichen Methode folgt und mehrmals wiederholt werden kann, bevor er greifbare Ergebnisse liefert.

Behalten Sie Ihre Zeit im Auge

Bei A/A-Tests kann es länger dauern als bei A/B-Tests, bis eine Schlussfolgerung über die Genauigkeit der Leistung gezogen wird. Bei robusten Programmen ist dies nützlich, da es schwierig ist, Diskrepanzen zwischen zwei Stichproben zu finden, weil sie nicht existieren. Eine Verlängerung des Tests trägt dazu bei, die Genauigkeit zu verbessern und ein breiteres Datenspektrum zu erfassen. Dies ermöglicht auch konsistentere und genauere Ergebnisse.