Der A/B Test wird verwendet, um zwei oder mehr Versionen einer Website oder Anwendung gegenüberzustellen und die bessere Lösung der beiden zu ermitteln indem man sich die Nutzerreaktionen auf beide Versionen betrachtet. Dabei wird zunächst eine konkrete Fragestellung bzw. ein zu erreichendes Ziel formuliert mit dessen Hilfe System A gegen System B eindeutig abgewogen und eine objektive Entscheidung über die Performance getroffen werden kann.

Für einen A/B Test werden zunächst zwei Versionen einer Website oder Anwendung gebraucht, die sich im besten Fall nur in einer Variablen unterscheiden. Diese Variable könnte zum Beispiel die Wahl der Formelemente oder die Art der Buttons auf der Seite sein. Dazu wird eine konkrete, messbare Frage oder Ziel formuliert mit Hilfe deren man die beiden Versionen miteinander vergleichen kann. Ein mögliches Ziel, das zum Vergleichen genutzt werden kann, ist die Anzahl der Nutzer, die sich dazu entscheiden sich für den auf der Seite angebotenen Mailverteiler anzumelden. Beim Aufrufen der Website oder Nutzen der Anwendung wird dem Nutzer per Zufallsprinzip eine der beiden Versionen gezeigt und muss mit dieser interagieren.

Mit einem A/B Test möchte man das bessere interaktive System ermitteln und sich für das System, welches besser abschneidet entscheiden. So wird ermittelt welche der beiden Versionen die erwünschten Ergebnisse liefert allerdings bleibt es dem Entwicklerteam verborgen warum dieses eine System bessere Ergebnisse liefert. Es ist zwar bekannt welche Variable die Änderung im Verhalten der Nutzer hervor gerufen hat, jedoch ist der Grund dafür bei den rein quantitativen Daten nicht bekannt.

.Hanington, B., & Martin, B. (2012). Universal methods of design: 100 ways to research complex problems, develop innovative ideas, and design effective solutions. Rockport Publishers. pp. 8.

GERMAN UPA, Usability Professionals’ Association. Usability Quartett.