Mathematik | Informatik
Fabian Schmid, 2005 | Lengnau, AG
Joel Steiger, 2006 | Hausen AG, AG
Cedric Willi, 2005 | Würenlos, AG
In dieser Arbeit entwickeln wir ein Brain-Computer-Interface (BCI) unter Verwendung von Open-Source-Hardware und Software mit dem Ziel, ein externes System durch Gedanken zu steuern.
Als Hardware wurden Elektroden von OpenBCI eingesetzt. Mit EEG wurde die Elektrische Aktivität gemessen. Danach wurden die gemessenen Ströme drahtlos an einen Computer übermitteln. Die Signalverarbeitung erfolgte durch ein neuronales Netzwerk.
Mit den ausgewerteten Signalen wurde dann das Spiel Pong angesteuert. Dafür brauchte es drei Signale (keine Bewegung, nach rechts, nach links). Für die praktische Anwendung wurden drei mentale Strategien implementiert: Entspannung (keine Bewegung), mathematische Aufgaben lösen, um die Gehirnaktivität zu steigern (Bewegung nach rechts) und die Vorstellung einer Armbewegung (Bewegung nach links). Die Ergebnisse zeigen eine Kontrollgenauigkeit von 45%, was deutlich über der Zufallswahrscheinlichkeit von 33,3% bei drei möglichen Outputs liegt. Dies bestätigt die grundsätzliche Funktionalität des Systems, zeigt jedoch auch Einschränkungen bei der praktischen Anwendung auf. Für eine flüssigere Spielsteuerung wäre eine höhere Genauigkeit wünschenswert. Verbesserungspotenzial besteht durch umfangreichere Datensätze, hochwertigere Ausrüstung sowie optimierte mentale Strategien und intensiveres Training.
Fragestellung
Gelingt es uns, ein BCI von Grund auf mit Open-Source-Hardware/ Software zu entwickeln und damit ein Computer-Spiel zu steuern?
Methodik
Als Hardware wurden 8 Elektroden von Open BCI eingesetzt. Diese Elektroden messen die Gehirnströme von spezifischen Gehirnregionen. Je nach Aktivität haben diese Ströme eine andere Frequenz. Bei der EEG-Forschung werden vor allem diese Frequenzen untersucht. So auch bei uns. Über einen Chip von Open BCI werden die 8 Frequenzsignale mit der Fast-Fourier-Transformation in ein Spektrum umgerechnet und über Bluetooth an den Computer gesendet.
Dort haben wir in Python ein Neuronales Netzwerk mit Pytorch entwickelt. Dieses verarbeitet das Frequenzspektrum und klassifiziert die Gehirnaktivität der Testperson in die 3 Inputs für unser Spiel.
Dafür wird regelmässig aus dem Neuronalen Netzwerk ein Wert ausgegeben (0, 1, oder 2) und dem entsprechend ein Befehl ausgeführt.
Für das Training des Neuralen Netzwerk haben wir für jede der 3 Klassen abwechslungsweise eine mentale Strategie angewendet und die Gehirnaktivität für 10s aufgenommen und als Sample gespeichert.
Als mentale Strategien haben wir für «links» die Vorstellung einer Armbewegung, für «rechts» komplexe Rechenaufgaben lösen und für «keine Bewegung» Entspannung verwendet.
Insgesamt haben wir pro Klasse 4000 Samples gesammelt und diese in ein Trainings- (80%) und ein Validierungsset (20%) aufgeteilt. Beim Training hat das Neurale Netzwerk die Samples in 5-Batches über 3 Epochen durchlaufen.
Ergebnisse
Das primäre Ziel unseres Projekts, die Kontrolle externer Systeme durch das BCI, wurde erfolgreich erreicht. Die Kontrollgenauigkeit unseres Systems lag bei 45%, was deutlich über der zufälligen Wahrscheinlichkeit von 33,3% bei drei möglichen Outputs liegt.
Diskussion
Die erreichte Genauigkeit von 45% bestätigt die grundsätzliche Funktionalität des Systems, jedoch mit Einschränkungen bei der praktischen Anwendung. Für eine flüssige Spielsteuerung wäre eine höhere Genauigkeit erforderlich, da die aktuelle Erfolgsrate bei manchen Anwendungsversuchen noch einen zu zufälligen Eindruck vermittelt.
Um die Genauigkeit zu verbessern, wäre ein grösseres Datenset sowie hochwertigere Datenqualität vorteilhaft gewesen. Eine höhere Wahrscheinlichkeit für präzisere Ergebnisse erfordert ein besseres EEG-System. Dies lag leider nicht in unserem Budget.
Schlussfolgerungen
Die Entwicklung eines EEG-Controllers erfordert präzise Algorithmen, ein möglichst grosses Datenset und intensives Training. Um die Steuerungsgenauigkeit und Benutzerfreundlichkeit nachhaltig zu verbessern, werden wir in der Zukunft unsere mentalen Strategien anpassen und besser antrainieren.
Abschliessend hoffen wir, dass die Technologie, die wir in diesem Projekt untersucht haben, in der Zukunft vielen Menschen mit Einschränkung zu einem besseren Leben verhelfen wird.
Würdigung durch die Expertin
Dr. Ingrid Odermatt
Joel Steiger, Cedric Willi und Fabian Schmid haben ein Brain-Computer-Interface (BCI) von Grund auf selbst entwickelt. Dafür haben sie sich in komplexe Themen der Neurowissenschaften und des Machine Learnings eingearbeitet. Die Teilnehmer beeindrucken durch ihre Selbständigkeit und ein vertieftes Verständnis aller Komponenten ihres BCIs, von Hardware zu Software. Im Rahmen dieser Arbeit ist ein erfolgreicher Machbarkeitsnachweis eines BCIs gelungen, der eine Grundlage für mögliches weiteres Testen und Entwickeln legt.
Prädikat:
sehr gut
Berufsfachschule BBB, Baden
Lehrer: Roberto Formisano