Ausgangslage und Konzept

Sprachassistenten im Auto verstehen Befehle oft nicht eindeutig, besonders wenn mehrere Optionen infrage kommen. Der Ansatz kombiniert Sprache mit kleinen Handgesten: Ein EMG-Armband erkennt Mikrogesten am Handgelenk, während Sprache die grundsätzliche Absicht überträgt. Ein LLM verbindet beide Eingaben mit dem Kontext der Situation, und visuelles Feedback bestätigt die erkannte Aktion.

Kalibrierung: Gesten lernen und Trainingsdaten sammeln

Jeder Teilnehmende musste vor der Studie ein persönliches Gestenmodell trainieren. Für dieses Kalibrierungstool entstand ein Ablauf, der Lernen und Trainingsdatenaufnahme verbindet: Während die Person eine Geste ausführt, zeigt eine Seite des Bildschirms die passende Animation, die andere ein kurzes Video der tatsächlichen Funktion im Fahrzeug.

Live-Gestenerkennung als Fundament

Aus der ersten Live-Demo des Gesten-Teams entwickelte sich die Grundlage, auf der später das gesamte Interface-Team aufbaute: eine Oberfläche mit Live-Vorhersage, einem Abstimmungsfenster zur Stabilisierung der Erkennung, Akkuüberwachung für das Armband und manuellen Rückfalltasten für den Wizard-of-Oz-Betrieb.

Ergebnisse: kognitive Last und Usability

Die Kombination aus Sprache und Geste war schneller als reine Sprachsteuerung und benötigte deutlich weniger Rückfragen. Gleichzeitig zeigte sich, dass reine Gestensteuerung eine spürbar höhere kognitive Last verursachte als Sprache oder die Kombination. Sicherheitsrelevante Momente traten vor allem beim Lesen von Bildschirminhalten auf, nicht beim Ausführen der Gesten selbst.

Fazit

Das Projekt brachte mir Erfahrung im Projektmanagement und einen technischen Tiefgang in ein Feld, das mir vorher komplett fremd war. Am Ende stand ein funktionierendes System, das Gesten- und Sprachinput über ein LLM interpretierte und auf die Nutzer reagierte.