Im Bereich der Usability-Evaluation existiert eine Vielzahl unterschiedlicher Untersuchungsmethoden, die anhand verschiedener Kriterien kategorisiert werden können. Anzumerken ist, dass eine trennscharfe Abgrenzung der Methoden oftmals nicht möglich ist, da die Methoden teilweise in unterschiedlichen Varianten für verschiedene Zwecke eingesetzt werden können. Nachfolgend werden die wichtigsten Methodenkategorien vorgestellt.

Formative vs. Summative Evaluation

Eine mögliche Art der Unterscheidung basiert auf dem Zeitpunkt, zu dem die Evaluation durchgeführt wird. Dabei unterscheidet man zwischen formativen und summativen Verfahren der Evaluation.

Bei der formativen Evaluation stehen konkrete Verbesserungsmöglichkeiten für die Optimierung einer Benutzeroberfläche im Vordergrund [Burmester 2003]. Die formative Evaluation findet während der Entwicklungphase des Produkts, also entwicklungsbegleitend statt. Bei der formativen Evaluation spielen insbesondere so genannte qualitative Daten eine wichtige Rolle. Damit sind in der Regel verbale Aussagen oder Beschreibungen von Beobachtungen gemeint. Mit Hilfe dieser Daten werden Nutzungsprobleme identifiziert und entsprechende Lösungsansätze abgeleitet. Grundsätzlich sollte die formative Evaluation möglichst frühzeitig angewandt werden, denn in den frühen Phasen der Produktentwicklung ist der Spielraum für Änderungen am Produkt noch am größten [Burmester 2003].

Nachfolgend sind beispielhaft einige Methoden aufgelistet, die für eine formative Evaluation verwendet werden können:

• Card Sorting
• Personas
• Usability Test
• Walkthrough-Verfahren

Dagegen erfolgt die summative Evaluation nachdem die Produktentwicklung bereits abgeschlossen ist und bewertet daher das fertige Produkt [Schweibenz & Thissen 2003]. Bei der summativen Evaluation werden hauptsächlich Urteile und Gesamteinschätzungen vergeben. Dabei werden quantitative Daten gesammelt, wie beispielsweise Angaben zur Zeit, die Testpersonen für die Erledigung einer Aufgabe benötigen, die Anzahl der Fehler, die sie dabei machen, oder wie häufig sie gewisse Fehler wiederholen. Diese Masszahlen haben den Vorteil, dass sie objektiv gemessen und ausgewertet werden können [Dumas & Redish 1999].

Beispiele für Methoden, die zum Zwecke einer summativen Evaluation herangezogen werden können sind:

• Fragebögen
• Umfragen
• Kriterienkataloge

Expertenorientierte / analytische Methoden vs. Benutzerorientierte / empirische Methoden

Ein weiteres Unterscheidungskriterium basiert darauf, welche Art von Gutachtern für die Evaluation herangezogen wird. Man unterscheidet die expertenorientierten oder analytischen Methoden, sowie die benutzerorientierten oder empirischen Methoden [Schweibenz & Thissen 2003].

Bei den benutzerorientierten bzw. empirischen Methoden der Usability-Evaluation werden künftige, reale Benutzer mit dem Produkt konfrontiert und während der Interaktion mit diesem Produkt beobachtet [Schweibenz & Thissen 2003]. Die Beobachtung der Nutzer ermöglicht Rückschlüsse über die Stärken und Schwächen der untersuchten Produkte [Heuer 2003].

Methoden, die für eine benutzerorientierte bzw. empirische Evaluation verwendet werden können:

• Usability Test
• Fragebögen
• Card Sorting
• Focus Groups

Dagegen werden bei der Verwendung von expertenorientierten bzw. analytischen  Methoden Experten als Ersatz-Benutzer für die Untersuchung herangezogen. Diese untersuchen Benutzungsschnittstellen mit Hilfe vorgegebener Richtlinien und anhand ihrer Erfahrung auf mögliche Usability-Probleme [Heuer 2003]. Expertenorientierte Verfahren lassen sich bereits mit einer geringen Anzahl von Gutachtern durchführen. Diese Methoden haben daher den Vorteil, dass sie relativ schnell und flexibel durchführbar und auswertbar sind. Da diese Methoden nicht so strengen formellen Anforderungen unterliegen wie die benutzerorientierten Methoden, werden sie häufig auch als informelle Methoden der Evaluation bezeichnet [Schweibenz & Thissen 2003].

Methoden, die für eine expertenorientierte bzw. analytische Evaluation verwendet werden können:

• Heuristische Evaluation
• Walkthrough-Verfahren
• Kriterienkataloge

Fazit

In der Praxis gestaltet sich eine genaue Unterteilung der verwendeten Methoden häufig schwierig, da diese oftmals in Kombinationen eingesetzt werden [Burmester 2003]. Dadurch können zusätzliche oder tiefer gehende Erkenntnisse gewonnen werden, indem die Ergebnisse aus der Anwendung der verschiedenen Methoden bestätigt oder widerlegt werden [Bartel 2004].

• Bartel, T. (2004). Die Verbesserung der Usability von WebSites auf der Basis von Web Styleguides, Usability Testing und Logfile-Analysen. Stuttgart: WiKu.
• Burmester, M. (2003). Ist das wirklich gut? Bedeutung der Evaluation für die benutzerzentrierte Gestaltung. In: Machate, J. und Burmester, M. (Hrsg.), User Interface Tuning – Benutzungsschnittstellen menschlich gestalten (S. 97-119). Frankfurt: Software und Support.
• Dumas, J. und Redish, J. (1999). A Practical Guide to Usability Testing. Exeter: Intellect Books.
• Heuer, J. (2003). Expertenevaluation. In: Heinsen, S. und Vogt, P. (Hrsg.). Usability praktisch umsetzen (S. 116-135). München: Hanser.
• Schweibenz, W. und Thissen, F. (2003). Qualität im Web – Benutzerfreundliche Webseiten durch Usability Evaluation. Berlin: Springer.