Quantitative Methoden zur Messung von User Experience

Vorträge und Materialien

Download der Vorträge und der Ergebnisse des Pausen-Quiz

Zielsetzung des Workshops

Die Messung der Benutzererfahrung (User Experience, kurz UX) ist kein Selbstzweck. Es gibt eine Reihe von unterschiedlichen und sehr wichtigen Fragestellungen, die eine quantitative Messung von UX erfordern (siehe z.B. [1]):

• Kontinuierliches UX Monitoring: Hat eine Neugestaltung des Produkts die UX verbessert? Ist die neue Version in einem objektiven Sinne besser als die Vorversion. Eine reliable und valide Methode zur Messung von UX kann diese Frage durch einen statistischen Vergleich zweier UX Messungen leicht beantworten.
• Vergleich mit Wettbewerbern auf dem Markt: Wie gut ist die UX des eigenen Produkts verglichen mit der UX der Wettbewerber? Das ist ähnlich zur ersten Frage, mit dem Unterschied, dass das Produkt mit einer Reihe von anderen Produkten verglichen wird.
• Prüfen, ob ein Produkt eine ausreichende UX aufweist: Erfüllt das Produkt die allgemeinen Erwartungen der Nutzer bzgl. UX? Solche allgemeinen Erwartungen entstehen durch die Verwendung von häufig verwendeten Produkten. Falls die verwendete Messmethode einen Benchmark (d.h. einen Datensatz mit Messergebnissen vieler Produkte) bereitstellt, kann diese Frage einfach durch einen Vergleich des eigenen Ergebnisses mit den Daten im Benchmark beantwortet werden.
• Klären in welchen Bereichen man investiert: Oft hat man eine einfache Verbindung zwischen bestimmten Design-Elementen und UX Aspekten. Zum Beispiel zwischen der Navigationsstruktur eines Produkts und der Effizienz der Bedienung oder zwischen der verwendeten Terminologie und der einfachen Verständlichkeit. Eine Messung der UX Aspekte kann damit zeigen, welche Veränderungen das größte Verbesserungspotential haben.
• Return on Investment: Hat sich eine Investition in die Verbesserung der UX gelohnt? Investitionen zur UX Verbesserung lassen sich meist leicht durch eine Kennzahl messen, z.B. Entwicklungsaufwand in Tagen oder ein investierter Geldbetrag. Eine sinnvolle Diskussion der Frage, ob sich eine solche Investition gelohnt hat, erfordert es, die Verbesserung der UX ebenfalls numerisch auszudrücken.

Es gibt eine Reihe von Methoden, UX oder einzelne Aspekte von UX zu messen. Eine sehr weit verbreitete Methode sind UX Fragebögen. Auch auf der Mensch und Computer wurden in den letzten Jahren mehrere neue UX Fragebögen vorgestellt, z.B. AttrakDiff2 [2], UEQ [3], UEQ+ [4], meCUE [5] ,VISAWI [6], oder Web-CLIC [7], die auch häufig in Praxisprojekten eingesetzt werden.

Neben Fragebögen sind aber noch eine Reihe anderer Verfahren vorhanden, die numerische UX Kennwerte liefern, z.B. das Messen von Bearbeitungszeiten für Tasks [8] oder deren Schätzung über Verfahren der kognitiven Modellierung, z.B. GOMS [9]. Auch Methoden, die aus der automatischen Erfassung von Click-Pfaden oder Mausbewegungen Rückschlüsse auf UX Qualitäten ziehen, sind hier zu nennen.

Der Workshop ist als Fortsetzung der beiden sehr gut besuchten Workshops zum Thema UX Fragebögen auf der Mensch und Computer 2018 bzw. 2019 (siehe [10] bzw. [11]) geplant. Allerdings wird das Themenspektrum jetzt explizit auf alle Methoden zur Messung von UX ausgeweitet.

Wie auch in den beiden Vorgänger-Workshops sollen die Vorträge offene Probleme bei der Konstruktion, Validierung und Anwendung von quantitativen Methoden zur Messung von UX thematisieren. Natürlich sind insbesondere auch Vorträge willkommen, die an die im Workshop in Dresden 2018 bzw. Hamburg 2019 herausgearbeiteten Problemstellungen anknüpfen und ggfs. Lösungsmöglichkeiten aufzeigen.

Die eingereichten Papers können in Deutsch und Englisch abgefasst werden und werden bei Annahme im Workshopband veröffentlicht.

Mögliche Themen für Vorträge und damit Diskussionspunkte sind:

• Methodische Probleme in Bezug auf quantitative Verfahren, speziell in Bezug auf Objektivität, Reliabilität und Validität der Messergebnisse.
• Innovative Methoden zur Messung und neue Ansätze zur Darstellung und Präsentation der Ergebnisse quantitativer Verfahren.
• Herausforderungen und Probleme bei der Anwendung solcher quantitativer Methoden zur Messung von UX in der Praxis.
• Sicherstellen der Datenqualität, speziell bei Online-Befragungen.
• Etablieren eines auf quantitativen UX Daten basierenden Qualitätsprozesses im Unternehmen.

Natürlich sind auch andere Fragestellungen möglich, solange sie sich im oben beschriebenen Inhaltsbereich bewegen.

Geplanter Ablauf

Der Workshop ist für 4 Stunden ausgelegt und soll folgendermaßen ablaufen:

• Einleitung und kurze Beschreibung des Ablaufs durch die Organisatoren.
• 5-8 kompakte Vorträge (maximal 15-20 Minuten), die jeweils ein konkretes Problem oder Problemfeld bei Entwicklung und beim Einsatz von Fragebögen herausarbeiten.
• Auswahl von Fragestellungen (kurze Abstimmung unter den Teilnehmern anhand von vorbereiteten Themenblöcken, die thematisch zu den Vorträgen passen) über die diskutiert werden soll (genauer Ablauf abhängig von Teilnehmerzahl und den vorhandenen Räumlichkeiten).

Aufruf zur Teilnahme

Wer ein Thema vorstellen möchte, dass thematisch zur oben vorstellten Thematik passt, sollte bis zum 30.04.2020 mit einem der Organisatoren des Workshops Kontakt aufnehmen. Am einfachsten direkt per E-Mail (martin.schrepp@sap.com oder bernard.rummel@sap.com).

Bitte kurz das geplante Thema vorstellen und kurz begründen, wie es zum oben beschriebenen Themenspektrum passt. Hier reicht eine kurze textuelle Beschreibung in Form eines Abstrakts völlig aus. Wir werden dann bis spätestens 10.05.2020 Feedback zu geben, ob der Beitrag angenommen werden kann.

Organisatoren

• Dr. Martin Schrepp studierte Mathematik und Psychologie an der Universität Heidelberg. 1990 Abschluss als Diplom-Mathematiker. 1990 – 1993 Promotion in Psychologie. Seit 1994 bei der SAP AG tätig. Er ist einer der Autoren des User Experience Questionnaire (UEQ) und hat Erfahrungen in der praktischen Anwendung zahlreicher anderer UX Fragebögen. Er ist auch Autor einer Reihe von Beiträgen zu methodischen Fragen im UX Bereich.
• Bernard Rummel studierte Psychologie an der Universität Kiel (Diplom 1990). Nach neun Jahren am Schiffahrtmedizinischen Institut der Marine kam er 2000 zu SAP. Er arbeitet weiterhin im DIN-Normenausschuss Ergonomie – Benutzungsschnittstellen an Normenreihen wie der ISO 9241, sowie als Fachprüfer des UXQB für Usability Testing und Evaluation (CPUX-UT). Seit 2011 beschäftigt er sich bei SAP mit der Quantifizierung von Gebrauchstauglichkeit und Usability Benchmarking.

Literatur

• Schrepp, M.; Hinderks, A. & Thomaschewski, J. (2014). Applying the User Experience Questionnaire (UEQ) in Different Evaluation Scenarios. In: Marcus, A. (Ed.): Design, User Experience, and Usability. Theories, Methods, and Tools for Designing the User Experience. Lecture Notes in Computer Science, Volume 8517, S. 383-392, Springer International Publishing.
• Hassenzahl, M., Burmester, M., & Koller, F. (2003). AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität In: Ziegler, J. & Szwillus, G. (Hrsg.), Mensch & Computer 2003. Interaktion in Bewegung, S. 187-196, Stuttgart, Leipzig: B.G. Teubner.
• Laugwitz, B.; Schrepp, M. & Held, T. (2006). Konstruktion eines Fragebogens zur Messung der User Experience von Softwareprodukten. A.M. Heinecke & H. Paul (Eds.): Mensch & Computer 2006 - Mensch und Computer im Strukturwandel. Oldenbourg Verlag, S. 125 – 134.
• Schrepp, M., & Thomaschewski, J. (2019). Eine modulare Erweiterung des User Experience Questionnaire. Mensch und Computer 2019-Usability Professionals.
• Minge, M. & Riedel, L. (2013). meCUE – Ein modularer Fragebogen zur Erfassung des Nutzungserlebens. In: S. Boll, S. Maaß & R. Malaka (Hrsg.): Mensch und Computer 2013: Interaktive Viel-falt, S. 89-98. München, Oldenbourg Verlag.
• Moshagen, M. & Thielsch, M. T. (2010). Facets of visual aesthetics. International Journal of Human-Computer Studies, 68, S. 689-709.
• Thielsch, M. T. & Hirschfeld, G. (2018). Evaluation von Online-Inhalten mit dem Web-CLIC Fragebogen. In: Dachselt, R. & Weber, G. (Hrsg.), Mensch und Computer 2018 - Tagungsband. Bonn: Gesellschaft für Informatik e.V.
• Rummel, B. (2017). Beyond average: Weibull analysis of task completion times. Journal of Usability Studies, 12(2), 56-72.
• John, B. E., & Kieras, D. E. (1996). The GOMS family of user interface analysis techniques: Comparison and contrast. ACM Transactions on Computer-Human Interaction (TOCHI), 3(4), 320-351.
• Schrepp, M. & Rummel, B. (2018). UX Fragebögen - Konstruktion und praktischer Einsatz. In: Dachselt, R. & Weber, G. (Hrsg.), Mensch und Computer 2018 - Workshopband. Bonn: Gesellschaft für Informatik e.V. DOI: 10.18420/muc2018-ws16-0103.
• Schrepp, M. & Rummel, B., (2019). Konstruktion und praktischer Einsatz von User Experience Fragebögen. Mensch und Computer 2019 - Workshopband. Bonn: Gesellschaft für Informatik e.V. DOI: 10.18420/muc2019-ws-109.

Hier gehts zur Web-Seite des Vorgänger-Workshops auf der Mensch und Computer 2019