Die „Zauberer von Oz“-Methode hilft Teams, Entwürfe, die auf komplexen Technologien basieren, kostengünstig zu testen. Anstatt die Technologie zu entwickeln, können Designer die Reaktionen simulieren, die die Technologie liefern könnte, indem sie eine Person die Rolle des Systems „spielen“ lassen.
Beschreibung der Methode
Die „Zauberer von Oz“-Methode ist eine moderierte Forschungsmethode, bei der ein Benutzer mit einer scheinbar autonomen Schnittstelle interagiert, die aber (ganz oder teilweise) von einem Menschen gesteuert wird.
Die „Zauberer von Oz“-Methode hat ihren Namen aus dem Kinderroman „Der wunderbare Zauberer von Oz“ von Frank Baum. In diesem Roman treffen die Hauptfigur Dorothy und ihre Begleiter auf einen riesigen Kopf, der ein mächtiger Zauberer zu sein scheint, um dann zu erfahren, dass es sich nur um einen gewöhnlichen Mann handelt, der hinter einem Vorhang an Hebeln zieht.
Die „Zauberer von Oz“-Methode wird in moderierten Usability-Tests verwendet. Wie bei einem traditionellen moderierten Usability-Test sind auch bei einer Zauberer von Oz-Studie ein Moderator und ein Zielnutzer beteiligt. Darüber hinaus benötigen Sie jemanden, der „der Zauberer“ ist. Diese Person reagiert auf die Auswahl des Testnutzers und stellt diese auf die Benutzeroberfläche.
Die „Zauberer von Oz“-Methode ähnelt dem Testen von Papierprototypen (bei denen jemand die Rolle des Computers übernimmt). Bei der „Zauberer von Oz“-Methode kann der Entwurf jedoch digital sein, und die Person, die die Systemreaktion erzeugt, ist für den Benutzer nicht sichtbar.
Wann wendet man diese Methode an?
Die „Zauberer von Oz“-Methode ist nützlich, wenn neue Schnittstellen getestet werden sollen, die mit einem Prototyp, der statische Inhalte enthält, nur schwer sinnvoll zu testen sind. Zu solchen Schnittstellen gehören:
- Konversations-basierte Benutzeroberflächen, wie Chatbots
- Schnittstellen, die Lernalgorithmen verwenden, um empfohlene Inhalte bereitzustellen
- Schnittstellen, die Informationen in Echtzeit abrufen und dem Benutzer die Ergebnisse präsentieren
Vorteile der Methode
Die „Zauberer von Oz“-Methode senkt das Investitionsrisiko in komplexe, kostspielige Technologien (wie generative KI): Sie liefert frühzeitige Erkenntnisse über die Erwünschtheit, ihren Nutzen und ihre Anwendbarkeit, bevor Unternehmen Geld für ihre Entwicklung ausgeben.
Die „Zauberer von Oz“-Methode wird häufig bei der Entwicklung von MVPs (Minimum Viable Products) eingesetzt. Eines der berühmtesten Beispiele für ein MVP, bei dem die „Zauberer von Oz“-Methode zum Einsatz kam, stammt von Zappos, dem ersten Online-Schuhhändler. Bevor er Geld in Lagerhäuser, Inventar und Serviceautomatisierung investierte, testete der Gründer Nick Swinmurn das Wertversprechen des Unternehmens, indem er selbst Bestellungen ausführte. Wenn auf seiner Website Bestellungen eingingen, ging Swinmurn in ein lokales Schuhgeschäft, kaufte die Schuhe und schickte sie dem Kunden.
Anwendung der Methode
Für die erfolgreiche Anwendung der „Zauberer von Oz“-Methode sind mehrere Faktoren zu berücksichtigen. Befolgen Sie diese 5 Schritte, um Ihre Studie auf den Weg zu bringen:
Schritt 1: Erstellen eines Prototypen
Sie benötigen einen Prototyp des zu testenden Designs, mit dem der Benutzer interagieren kann. Je nachdem, was Sie testen wollen, könnte das folgendes sein:
- Ein Prototyp in einer Design-Software (wie Figma)
- Ein code-basierter Prototyp
- Eine bestehende Technologie als Stellvertreter für die neue Funktionalität (z. B. eine bestehende Messaging-Plattform zur Simulation eines neuen Chatbots)
Wenn Sie eine Design-Software verwenden, überlegen Sie, wie der Assistent den Prototyp schnell aktualisieren kann. Sie könnten zum Beispiel Komponenten für alle Elemente in Ihrem Prototyp erstellen, die in der Sitzung aktualisiert werden müssen. Auf diese Weise muss der Assistent nicht mehr nach bestimmten Bereichen des Entwurfs suchen, die aktualisiert werden sollen.
Schritt 2: Antwortvorgaben
Es gibt drei Vorgehensweisen, wie der der Zauberer auf die Eingaben der Nutzer reagieren kann.
- Geschlossen: Der Assistent kann aus einer vorgegebenen Liste von Antworten wählen
- Offen: Der Assistent erstellt neue Antworten während der Sitzung.
- Hybrid: Der Assistent kann aus einer kurzen Liste auswählen und nach Bedarf neue Antworten erstellen.
Das geschlossene Vorgehen eignet sich für Situationen, in denen es nur wenige mögliche Antworten gibt, die das System geben könnte.
Das offene Vorgehen eignet sich besser für Schnittstellen, die fließende Benutzerinteraktionen ermöglichen (z. B. dialogorientierte Benutzeroberflächen); bei diesen Arten von Schnittstellen kann es schwierig sein, voreingestellte Antworten vorherzusagen und bereitzustellen.
Das hybride Vorgehen bietet die größte Flexibilität; einige Antworten sind vorgegeben, aber wenn eine nicht passt, kann eine neue Antwort erstellt werden.
Schritt 3: Erstellen eines Studienprotokolls
Ein Studienprotokoll ist eine detaillierte Beschreibung der Studienziele und des Ablaufs der Studie. Das Studienprotokoll hilft dem Zauberer und dem Moderator zu verstehen, wie sie sich in der Sitzung verhalten sollen.
Zusätzlich zu den üblichen Elementen, die in einem Testplan zu finden sind (wie die Aufgaben, die Sie dem Benutzer stellen), sollte das Studienprotokoll für eine „Zauberer von Oz“-Studie Folgendes enthalten:
- Einen Überblick über die Rollen, einschließlich der Frage, wer die Sitzung moderiert und wer der Zauberer ist.
- Die Fragen, die der Moderator dem Nutzer zu Beginn der Sitzung stellen wird und die die Antworten des Zauberers während der Sitzung beeinflussen könnten (falls relevant).
- Die Elemente des Entwurfs, die vom Assistenten gesteuert werden, und wie sie gesteuert werden (z. B. Entscheidungsbäume, Schritt-für-Schritt-Anweisungen oder Screenshots, die der Assistent einsehen oder befolgen kann).
- Die Antworten, die der Assistent wählen kann, wenn er sich für die geschlossene oder hybride Methode entscheidet ( z. B. Laden… bitte warten, wenn der Assistent mehr Zeit benötigt, oder Im Aufbau, wenn der Benutzer auf unerwartete Weise mit dem System interagiert).
- Richtlinien, wie der Assistent reagieren soll, wenn er während der Sitzung neue Systemantworten improvisiert (z. B. Empfehlungen für den Tonfall, wenn der Assistent vorgibt, ein Chatbot zu sein).
Schritt 4: Wähle den Zauberer und bereite ihn vor
Der Zauberer sollte mit den folgenden Themen vertraut sein:
- Produktkonzept und -design: Der Zauberer sollte verstehen, was das Produkt leisten soll und wie es funktioniert. Im Idealfall kennt er auch alle technologischen Einschränkungen, so dass er vermeiden kann, Systemantworten zu geben, die nicht machbar sind.
- Antworten, die sie geben sollten: Wenn Sie einen geschlossenen oder hybriden Test durchführen, hat der Zauberer möglicherweise bei der Erstellung der Antworten geholfen.
- Prototyping-Software oder Code, wenn der Zauberer Elemente in einem Prototyp aktualisieren muss.
In vielen Fällen muss ein Designer oder Entwickler den Zauberer spielen. Verwenden Sie einige Zeit auf die Vorbereitung des Zauberers vor der Studie, damit die Sitzungen reibungslos ablaufen. Dazu kann es gehören, dass Sie mit dem Zauberer das Studienprotokoll durchgehen, ihm Übungen zum Reagieren oder Aktualisieren des Prototyps geben und ihn sogar zur Teilnahme an einem Pilotversuch einladen.
Schritt 5: Finalisieren der Untersuchung
Da es viele Einflussfaktoren geben kann, stellt die Pilotierung Ihrer Studie sicher, dass alles wie vorgesehen funktioniert und dass der Zauberer schnell Antworten geben kann. Sie können den Test mit einem Freund, Kollegen oder einem echten Benutzer durchführen. Das Pilotprojekt gibt Ihrem Zauberer einige Übung vor den echten Sitzungen und vermeidet, dass Sie während der Sitzung wertvolle Zeit mit der Lösung unerwarteter technischer Probleme verschwenden.
Im Rahmen des Pilottests stellen Sie vielleicht fest, dass neue Antworten erforderlich sind, die Sie nicht erwartet hatten. Solche Erkenntnisse ermöglichen es Ihnen, Ihr Protokoll zu verfeinern, bevor die Studie beginnt.
Den Zauberer demaskieren?
Die Anwesenheit des Zauberers wird dem Teilnehmer in der Regel nicht angezeigt, um sicherzustellen, dass während der Sitzung ein realistisches Verhalten erfasst wird. Manchmal erraten die Teilnehmer jedoch, dass eine Person eine Antwort gibt, vor allem wenn das Design wenig realitätsnah ist oder der Teilnehmer über ein großes technisches Wissen verfügt. In diesem Fall ähnelt die Methode eher einem Rollenspiel.
Machen Sie sich keine Sorgen, wenn die Teilnehmer raten oder fragen, ob die Antworten von einem Menschen generiert wurden. Erinnern Sie sie daran, sich so zu verhalten, als ob sie mit einem echten System interagieren würden.
Sofern es dem Teilnehmer nicht schaden könnte, diese Informationen nicht zu kennen, müssen Sie nicht offenlegen, dass ein Mensch die Systemreaktion erzeugt hat.
Schlussfolgerung
Eine „Zauberer von Oz“-Studie bietet erste Einblicke in komplexe und hochgradig interaktive Schnittstellen, deren Erprobung und Erstellung kostspielig sein könnte. Nicht alle Usability-Studien müssen die „Zauberer von Oz“-Methode anwenden. Bedenken Sie Ihre Forschungsziele und was Sie lernen wollen. In vielen Fällen ist ein Prototyp mit statischem Inhalt mehr als ausreichend.
Wenn Sie wissen wollen, wie Benutzer auf Systeme reagieren, die personalisierte Echtzeit-Empfehlungen geben oder natürlichsprachliche Modelle verwenden, kann die „Zauberer von Oz“-Methode Aufschluss darüber geben, wie diese Systeme am effektivsten gestaltet werden können. Bei der Durchführung einer „Zauberer von Oz“-Studie sind Vorbereitung und Planung der Schlüssel. Erstellen Sie einen Plan, beziehen Sie Systemingenieure mit ein und testen Sie Ihre Studie, um die besten Ergebnisse zu erzielen.