Auswertung
Wann ein Ergebnis trägt — und wann die Zahlen nichts wert sind, obwohl sie gut aussehen.
Drei Bedingungen vor der Aussage
Ein Gewinner wird erst benannt, wenn alle drei erfüllt sind. Jede für sich reicht nicht:
| Stichprobe | Genug Besucher je Variante, abgeleitet aus der Rate des Originals und dem Effekt, den du überhaupt sehen willst. |
| Conversions | Eine Mindestzahl je Variante. Bei zwei Käufen gegen einen ist jede Rate Zufall. |
| Laufzeit | Eine Mindestzahl an Tagen. Wer Dienstag startet und Mittwoch entscheidet, misst den Wochentag mit. |
Die Schwellen stellst du im Projekt unter Einstellungen ein — Konfidenzniveau, Mindest-Conversions und Mindestlaufzeit.
Was die Zahlen bedeuten
| Uplift | Der relative Unterschied zum Original. |
| Konfidenzintervall | Der Bereich, in dem der wahre Unterschied liegt. Schließt er die Null ein, ist alles offen. |
| Signifikanz | Wie unwahrscheinlich dieser Unterschied wäre, wenn beide Varianten gleich gut sind. |
| Wahrscheinlichkeit besser | Wie wahrscheinlich die Variante das Original schlägt — die Zahl, die man intuitiv sucht. |
| Erwarteter Verlust | Was es im Mittel kostet, wenn du dich für diese Variante entscheidest und sie doch schlechter ist. |
Entschieden wird am klassischen Test; die beiden bayesschen Zahlen stehen daneben, weil sie die Frage beantworten, die man tatsächlich hat. Sie ersetzen die Bedingungen oben nicht.
Sequenziell: warum du hinsehen darfst
Der Test oben setzt etwas voraus, das niemand einhält: dass die Stichprobe vorher feststeht und du einmal am Ende nachsiehst. Tatsächlich schaut man jeden Morgen ins Dashboard — und jeder Blick ist eine weitere Gelegenheit, zufällig eine Grenze zu reißen.
Wie groß der Effekt ist, haben wir gemessen statt geschätzt. In 400 simulierten A/A-Tests — zwei identische Varianten, es gibt also nichts zu finden — mit 24 Blicken je Test:
| klassisch, bei jedem Blick geprüft | 26,5 % Fehlalarm |
| sequenziell | 1,8 % Fehlalarm |
Deshalb steht unter jedem Goal eine zweite Zeile. Ihre Aussage gilt zu jedem Zeitpunkt, unabhängig davon, wie oft du hingesehen hast. Steht dort Gewinner, darfst du sofort stoppen.
Der Preis ist Vorsicht: das sequenzielle Intervall ist breiter und die Sicherheit steigt langsamer als beim Test darüber. Einen echten Unterschied von 20 % fand es in der Simulation in 73 % der Läufe innerhalb von 12.000 Besuchern je Arm. Es findet also etwas später — dafür stimmt es dann auch.
Aussichtslos heißt nicht „kein Unterschied“, sondern „keiner, der sich lohnt“: das Intervall liegt vollständig innerhalb dessen, was du als kleinsten interessanten Effekt angegeben hast. Weiterlaufen bringt dann nichts mehr.
Welche der beiden Zahlen den Ton angibt, stellst du je Test ein — die Vorgabe dafür steht im Projekt unter Einstellungen → Statistik. Beide Zahlen stehen ohnehin immer da; die Wahl entscheidet nur, welche als maßgeblich markiert ist. Ein Test, der laufend ausgewertet wird, startet erst mit einem übernommenen Testplan: das Verfahren braucht eine Angabe darüber, worauf der Test hinauswill.
Unter der Auswertung steht zusätzlich der Verlauf mit den Stoppgrenzen: wo die Teststatistik an jedem Tag stand und wo an diesem Tag die Grenze lag. Das ist oft die wichtigere Auskunft. Eine Kurve, die mehrfach fast an die Grenze stieß und wieder zurückfiel, ist kein knapper Sieg, sondern Rauschen — in einer einzelnen Zahl sieht beides gleich aus.
Die beiden Zeilen können sich widersprechen — der Test oben sagt „signifikant“, sequenziell steht noch „offen“. Das ist kein Fehler, sondern der ganze Punkt: die obere Zahl hat deine bisherigen Blicke nicht eingerechnet, die untere schon.
Wenn die Verteilung nicht passt
Kommt bei eingestellten 50/50 in Wahrheit 55/45 an, ist das Ergebnis wertlos — egal wie klein der p-Wert daneben ist. Die Ursache liegt dann außerhalb der Statistik: Varianten-Code, der auf einer Seite abbricht, eine Weiterleitung, Bot-Verkehr. Abvantage prüft das bei jedem Aufruf und warnt oben auf der Seite, statt die Zahl einfach zu zeigen.
Die Schwelle liegt bei 0,1 %, nicht bei den üblichen 5 %: Geprüft wird ständig, und eine Warnung, die in jedem zwanzigsten gesunden Test grundlos erscheint, liest nach zwei Wochen niemand mehr.
Segmente
Nach Gerät und Zeitraum filtern. Oft gewinnt eine Änderung am Desktop und verliert mobil — das ist dann die eigentliche Erkenntnis, nicht das Mittel aus beidem.
Gefiltert wird die Zuweisung, nicht das Ereignis: Wer im Zeitraum zugewiesen wurde, zählt mit allem, was er danach getan hat — auch drei Wochen später. Andersherum gäbe es Conversions ohne zugehörigen Besucher und damit Raten über 100 %.
Neben dem Filter steht immer, wie viele Besucher er wegnimmt. Eine Auswertung über acht Besucher sieht sonst aus wie eine über achttausend.
Was das Werkzeug nicht tut
Es rechnet nicht schön. Wenn ein Test nach vier Wochen nichts zeigt, steht dort, dass er nichts zeigt — kein Gewinner, keine Empfehlung. Das ist ein Ergebnis: Die Änderung war dem Aufwand nicht wert, und du weißt es, statt es zu glauben.