Im Rahmen eines Usability-Tests bearbeiten Testpersonen mit dem zu untersuchenden Produkt realistische Aufgaben, wobei sie von Usability-Experten beobachtet werden. Auf Basis der Äusserungen der Probanden, Beobachtungen des Testleiters oder auch auf Grund von Messungen (z.B. Zeitdauer für die Aufgabenbearbeitung) können Probleme im Umgang mit dem System erkannt und Verbesserungsmöglichkeiten erarbeitet werden [Sarodnick & Brau 2006].

Entscheidend für den Nutzen der Untersuchung ist die möglichst repräsentative Auswahl der Testpersonen. In Bezug auf die Anzahl der benötigten Probanden lässt sich festhalten, dass bereits mit 4-6 Personen verlässliche  Ergebnisse erzielt werden können [Nielsen 1994; Kantner & Rosenbaum 1997].

Generell kann zwischen induktiven und deduktiven Tests unterschieden werden. Im Sinne einer formativen Evaluation sollen durch induktive Tests Schwachstellen eines Systems aufgedeckt, sowie Gestaltungs- und Verbesserungsmöglichkeiten gewonnen werden. Bei deduktiven Tests hingegen soll die Leistungsfähigkeit eines Systems beurteilt werden. Dabei können auch mehrere Alternativen miteinander verglichen werden [Sarodnick & Brau 2006].

Usability-Tests können in verschiedenen Varianten und mit unterschiedlichem technischen und finanziellen Aufwand durchgeführt werden [Bartel 2004]. Dabei können bspw. folgende Methoden zum Einsatz gelangen [Sarodnick & Brau 2006]:

• Videoaufzeichnung (die Interaktionen der Testperson mit dem System werden per Video aufgezeichnet)
• Videofeedback/Post-Video-Session (hierbei werden ausgewählte Ausschnitte einer vorgenommenen Videoaufzeichnung nochmals gemeinsam von Testleiter und Testperson betrachtet, wobei bestimmte Handlungsschritte der Testperson diskutiert werden)
• Eingabeprotokolle/Log-Files (alle Interaktionen mit dem System werden in einem Protokoll festgehalten)
• Lautes Denken (die Testpersonen sprechen alle ihre Gedanken und Gefühle während der Evaluation laut aus)
• Co-Discovery (zwei Probanden bearbeiten die ihnen gestellten Aufgaben gemeinsam)
• Coaching Methode (es wird gezielt eine Interaktion zwischen Testleiter und Proband während der Evaluation herbeigeführt) 
• Aufmerksamkeitsanalyse/Eye-Tracking (die Blickbewegungen der Probanden werden aufgezeichnet) 
• Attention Tracking (die Mausklicks der Probanden werden aufgezeichnet)
• Messung von Zeit- und Fehlerdaten 
• Diary Studies (die Nutzung des Systems wird von den Testpersonen entweder schriftlich oder per Audioaufnahme über einen längeren Zeitraum dokumentiert)

Ein Usability-Test muss genau geplant und vorbereitet werden. Dies ist einerseits wichtig, da der Aufwand für den Test so hoch ist, dass er nicht so einfach wiederholt werden kann. Andererseits ist in Bezug auf die Vergleichbarkeit der Ergebnisse des Tests zu gewährleisten, dass der Testablauf bei allen Probanden gleich ist. Der Ablauf eines Tests lässt sich in folgende vier Phasen unterteilen [Nielsen 1993]:

• Vorbereitung
• Einführung
• Durchführung
• Nachbereitung

Es ist schwierig genauere Aussagen zur zeitlichen Planung für einen Produkttest im Labor zu machen, da der Zeitaufwand von verschiedenen Faktoren abhängt. Ein wesentlicher Faktor ist der Funktionsumfang und die Komplexität des Produkts, das getestet werden soll. Daneben spielt auch die Anzahl der Aufgaben, mit denen ausgewählte Features des Produkts getestet werden sollen eine Rolle. Zudem wird der zeitliche Aufwand für den Test auch durch die Art und Weise der Aufzeichnung des Testverlaufs beeinflusst [Schweibenz & Thissen 2003]. Insgesamt ist für einen Usability-Test daher ein mehrwöchiger Zeitraum einzuplanen [Dumas & Redish 1999].

Produkttests mit Benutzern gelten als unverzichtbar für die Usability Evaluation, da diese Methode einen direkten Einblick in die Interaktion eines Anwenders mit einem Produkt gibt und die Probleme der Interaktion sichtbar macht. Dies hat Vorteile gegenüber retrospektiven Testmethoden (z.B. Fragebögen oder Interviews), bei denen die Benutzer erst nach der Interaktion mit dem Produkt zu nach Schwierigkeiten beim Umgang mit dem Produkt befragt werden. Ausserdem neigen Testpersonen dazu, im Nachhinein ihr Verhalten zu rationalisieren und zu rechtfertigen, was die Verwertbarkeit ihrer Aussagen einschränkt.
Der Nachteil des Produkttests ist, dass er sehr zeit-, arbeits- und kostenaufwendig ist. Für die Durchführung ist die Ausarbeitung von Testplan, Testaufgaben und Testszenarios notwendig, die Einrichtung bzw. Unterhaltung eines provisorischen oder permanenten Usability-Labors, die Rekrutierung von Testteilnehmern, die Durchführung und Videoaufzeichnung der Tests, sowie die Auswertung der Videoaufzeichnungen und Notizen. Hinzu kommt, dass man für einen Produkttest immer eine Auswahl unter den zu evaluierenden Produktfeatures treffen muss, weil es in der Regel aus zeitlichen und organisatorischen Gründen nicht möglich ist, das gesamte Produkt zu testen [Dumas & Redish 1999].

• Bartel, T. (2004). Die Verbesserung der Usability von WebSites auf der Basis von Web Styleguides, Usability Testing und Logfile-Analysen. Stuttgart: WiKu-Verlag.
• Dumas, J. und Redish, J. (1999). A Practical Guide to Usability Testing. Exeter: Intellect Books.
• Nielsen, J. (1993). Usability Engineering. San Diego: Academic Press.
• Nielsen, J. (1994). Estimating the Number of Subjects Needed for a Thinking Aloud Test. In: International Journal of Human-Computer Studies 41, 1994, S. 385-397.
• Kantner, L. und Rosenbaum, S. (1997). Usability Studies of WWW Sites: Heuristic Evaluations vs. Laboratory Testing. In: Proceedings of the 15th International Conference on Computer Documentation SIGDOC'97: Crossroads in Communication, S. 153-160. New York: ACM Press.
• Sarodnick, F. und Brau, H. (2006). Methoden der Usability Evaluation: Wissenschaftliche Grundlagen und praktische Anwendung. Bern: Hans Huber.
• Schriver, K.A. (1989). Evaluating Text Quality: The Continuum From Text-Focused to Reader-Focused Methods. In: IEEE Transactions on Professional Communication 32(4), S. 238-255.
• Schweibenz, W. und Thissen, F. (2003). Qualität im Web – Benutzerfreundliche Webseiten durch Usability Evaluation. Berlin: Springer.