Das Software Usability Measurement Inventory (SUMI) ist ein Fragebogen, mit dem die Nutzungsqualität von Software aus Sicht des Benutzers gemessen werden kann. Er wurde von der „Human Factors Research Group“ der Universität Cork in Irland entwickelt. Als Einsatzzweck für den Fragebogen werden von den Entwicklern folgende Aspekte angeführt [Kirakowski 1998]:

• Bewertung von Produkten während der Entwicklung
• Produktvergleich
• Formulierung von Gestaltungszielen für die Weiterentwicklung eines Produkts

Der Fragebogen besteht aus 50 Items, die fünf Subskalen zugeordnet sind. Die Subskalen repräsentieren die Konstrukte „Effizienz“, „Affekt“, „Hilfe und Unterstützung“, „Kontrollierbarkeit“ und „Erlernbarkeit“ durch jeweils 10 dreistufige Items mit den verbalen Ankern: „stimme zu“, „weiss nicht“ oder „stimme nicht zu“.

Zusätzlich gibt es eine „Global“-Skala, die 25 der insgesamt 50 Items umfasst, die gemeinsam das Konstrukt „Gebrauchstauglichkeit“ am besten repräsentieren.

Der Fragebogen ist vollständig standardisiert und ist in einer Vielzahl von Sprachen verfügbar (z.B. englisch, deutsch, italienisch, spanisch, französisch, etc.). Ergänzend zur Auswertung der Skalenwerte kann eine so genannte Item Consensual Analysis (ICA) vorgenommen werden. Dazu werden die für eine Software erfassten Antwortmuster auf Itemebene mit den Antwortmustern aus einer „Standardisierungs-Datenbank“, die einen „generischen Software Standard“ repräsentiert, verglichen. Dabei wird bestimmt, auf welchen Items die Software besser oder schlechter als der Standard bewertet wird.

Eine weitere Variante der ICA wird für detaillierte Problemanalysen empfohlen. Hierbei nimmt man in einem ersten Schritt mit einer Stichprobe von 12 Personen eine SUMI-Analyse vor und erstellt auf der Basis der ICA-Ergebnisse einen Interviewplan. Im zweiten Schritt werden ausgewählte Nutzer interviewt, um Ursachen für die im ersten Schritt festgestellten Abweichungen vom Standard zu finden.

Die Gütekriterien des SUMI-Fragebogens wurden in verschiedenen Untersuchungen überprüft. Die Zuverlässigkeit (Reliabilität) der Skalen kann als gut bezeichnet werden. Die Gültigkeit (Validität) der durch SUMI getroffenen Bewertungen wurde in Feld- und Laboruntersuchungen, teilweise aber auch nur in Feldstudien überprüft. Die Ergebnisse zeigen u.a., dass der Fragebogen in der Lage ist, zwischen verschiedenen Textverarbeitungs- und Datensystemen mit unterschiedlicher ergonomischer Qualität sowie zwischen Programmen mit graphischer und zeichenorientierter Oberfläche zu unterscheiden [Kirakowski 1996; Kirakowski 1998].

Die Anwendung des Fragebogens sowie die Datenauswertung sind in einem ausführlichen Handbuch beschrieben, in dem auch der theoretische Hintergrund und die Entwicklung des Verfahrens dargestellt werden. Für die Datenauswertung liegt eine spezielle Auswertungssoftware vor. Der Zeitaufwand für die Bearbeitung des Fragebogens wird mit 10 Minuten angegeben. Haben die Nutzer noch keine Erfahrung mit der zu bewertenden Software, wird zusätzlicher Zeitaufwand für Einführung, Training und Bearbeitung von Nutzungsszenarien im Umfang von wenigstens 20 Minuten bis über eine Stunde in Abhängigkeit von der Komplexität der Software angegeben [Kirakowski 1998].

Online

Weitere Information bzgl. der Entwicklung des Fragebogens, den Lizenzkosten, der Datenauswertung und ähnlichem sind unter http://sumi.ucc.ie verfügbar [Hamborg et al. 2003].

• Hamborg, K.C., Gediga, G. und Hassenzahl, M. (2003). Fragebogen zur Evaluation. In: Heinsen, S. und Vogt, P. (Hrsg.). Usability praktisch umsetzen, S. 171-186. München: Hanser.
• Kirakowski, J. (1996). The Software Usability Measurement Inventory: background and usage. In: Jordan, P.W., Thomas, B., Weerdmeester, B.A. und McClelland, I.L. (Hrsg.). Usability Evaluation in Industry, S. 169-177. Brighton: Taylor & Francis.
• Kirakowski, J. (1998). SUMI User Handbook. University College Cork: Human Factors Research Group.