Neurodesign & Eyetracking Forschung

Abstract: Eyetracking hat in letzter Zeit viel Aufmerksamkeit erlangt und so auch Eingang in Konsumentenprodukte wie moderne Laptops gefunden. In einem explorativen Forschungsprojekt war es unser Ziel, mithilfe eines Eyetrackers unterschiedliche Verhaltensmuster zweiter Teilnehmenden über längere Zeiträume zu analysieren (keine Laborbedingungen). Dieses Setup wurde bewusst gewählt, um die Robustheit unserer Annahmen unter realen Bedingungen zu prüfen. Analysiert wurden Pupillendurchmesser, die Blick-Position auf dem Bildschirm sowie die Kopfposition relativ zum Display. Gleichzeitig wurde die genutzten Softwareanwendungen und Event-Daten der Anwendungen aufgenommen.

Setting: Das im Folgenden beschriebene Projekt wurde im Rahmen des Seminars „Neurodesign Seminar – How to Measure and Analyse Physiological and Psychological Data?“ während meines Masterstudiums am Hasso-Plattner-Institut gemeinsam mit Philipp Bode durchgeführt.

Laut dem Stanford NeuroDesign Research Lab beschreibt Neurodesign die Schnittstelle zwischen Psychologie, Kognitionswissenschaften, Neurowissenschaften, Anthropologie und Design.

Für die explorative Forschung nutzten wir einen Tobii Pro Nano mit einer Sample Frequenz von 60 Hz. Der Eyetracker wurde am unteren Rand des Laptop- oder Computermonitors befestigt und musste konfiguriert werden, dass die relative Bildschirmgröße sowie der Winkel und die Position zwischen Bildschirm und Eyetracker einmalig vermessen und registriert wurden.

Die Analyse erstreckte sich über mehrere Tage jeweils ganztägig, während reguläre Arbeits- und Universitätsaufgaben (nicht-experimentell) erledigt wurden. Neben der Analyse haben wir auch ein Toolset entwickelt, das auf GitHub verfügbar ist und Experimente sowie Analysen wie Heatmaps der Blickbewegungen und -pfade ermöglicht.

Außerdem setzten wir den Ansatz von REMoDNaV (Robust Eye-Movement Classification for Dynamic Stimulation von Dar, A., Wagner, A. & Hanke, M. (2020)) ein, um die unterschiedlichen Augenbewegungen zu kategorisieren. Dabei unterscheidet man zwischen Fixation (das Halten des Blicks auf einem bestimmten Punkt), Saccades (schnelle Augenbewegungen) und smooth pursuit-Bewegungen (das Verfolgen eines bewegten Ziels).

Für die weitere Analyse war es zudem notwendig, die genutzten Anwendungen zu erfassen, um die Blickdaten den jeweils parallel genutzten Programmen zuordnen zu können.
Das folgende Bild zeigt die durch das Tracking erfassten Daten über alle offenen Applikationen.

Erkenntnis 1: In der Analyse (mehrerer Arbeitstage zweier Teilnehmender) zeigte sich, dass wir mehr blinzeln, je fortgeschrittener der Tag ist. Auch äußere Einflüsse wie Wetter, das Absenken der Rollläden oder andere Faktoren spiegeln sich deutlich in den Daten wider. Zudem sind die Teilnehmenden im Tagesverlauf tendenziell näher an den Bildschirm heran gerückt.

Erkenntnis 2: Bei der Analyse des Arbeitsverhaltens, das sich in den Eyetracking-Daten zeigt, stellten wir klare Interaktionsmuster für die verschiedenen Anwendungen fest. So unterscheidet sich zum Beispiel die Nutzung eines Messenger-Dienstes deutlich von der Arbeit mit PDF-Readern, Browsern oder Entwicklungsumgebungen zum Programmieren. In der Analyse konnten wir Aktivitäten wie Lesen, Programmieren oder Scrollen klar voneinander abgrenzen. Mit einer längeren Analyse ließe sich diese Analyse noch verfeinern – etwa durch die feinere Unterscheidung weiterer Aktivitäten oder genauerer Unterscheidung innerhalb einzelner Aktivitäten z.B. verschiedener Lesearten).

In diesem Vergleich im Bild wird der Unterschied der Interaktionen zwischen dem Messenger-Dienst Slack und der Entwicklungsumgebung Jupyter deutlich (Jupyter Notebook im Split-Screen-Modus mit zwei nebeneinander geöffneten Notebooks).

Proposal: Aufbauend auf bisherigen Forschungsarbeiten haben wir ein experimentelles Framework skizziert, mit dessen Hilfe untersucht werden soll, ob Blinzeln, Mikrosakkaden und Pupillendurchmesser als Indikatoren für die kognitive Belastung von Computer-Usern herangezogen werden können. Damit ließen sich entweder Benutzeroberflächen mit minimaler kognitiver Belastung gestalten oder Systeme entwickeln, die ihre Anforderungen flexibel an die jeweilige Situation der User anpassen. Unser Research Proposal konzentriert sich auf die Untersuchung der Rolle dieser Parameter sowie ihres Zusammenspiels als mögliche Marker für kognitive Belastung im Rahmen von n-back-Tests.

Proposal: Towards Behaviorally Adaptive Software Systems: Im Rahmen einer weiteren Seminararbeit habe ich einen Forschungsvorschlag erarbeitet, wie sich solche Datenquellen in zukünftigen Softwaresystemen nutzen lassen, um ein Nutzererlebnis zu schaffen, das vollständig auf Wissen, Emotionen, Interessen und das Wohlbefinden der User zugeschnitten ist. Das Research-Proposal mit dem Titel Towards Behaviorally Adaptive Software Systems zielt darauf ab, Softwaresysteme so zu gestalten, dass sie sich dynamisch an Verhalten und Interaktionsmuster der User anpassen. Grundlage ist eine adaptive Architektur, die auch physiologische Daten einbezieht.

Unsere explorative Forschung wurde auch im Buch Design Thinking Research – Interrogating the Doing von Meinel und Leifer (2021) veröffentlicht.

GitHub Projekt Neurogaze Tooling & Research