Physik | Technik
Maurice Zemp, 2006 | Oberdorf, NW
In der vorliegenden Arbeit wurde ein System für autonomes Drohnenracing, basierend auf Reinforcement Learning (RL), für Nanocopter entwickelt. Ziel war es, eine effiziente Simulationsumgebung und ein kostengünstiges Motion-Capture-System (MoCap-System) zu schaffen, um einen RL-Agenten auf das schnelle Durchfliegen einer Torsequenz zu trainieren und die Ergebnisse in der realen Welt umzusetzen. Nach einer kurzen Trainingszeit in der Simulation konnte eine beliebige Rennstrecke in nahezu optimaler Zeit absolviert werden. Zudem erzielte das entwickelte MoCap-System eine Millimetergenauigkeit und erfasste die Drohnenposition präzise in Echtzeit. Schlussendlich konnte der Nanocopter in der Realität die Torsequenz nahezu perfekt absolvieren, selbst bei Geschwindigkeiten von bis zu 25 km/h. Die Ergebnisse demonstrieren das Potenzial von RL im Zusammenhang mit kostengünstigen Lösungen für hochpräzise, autonome Drohnensysteme.
Fragestellung
Im Rahmen dieser Arbeit wurden die folgenden Leitfragen gestellt: (I) Wie kann eine Simulationsumgebung entwickelt werden, die optimal für das Training von Drohnenracing mittels Reinforcement Learning geeignet ist? (II) Wie kann ein kostengünstiges Motion-Capture-System entwickelt werden, das die Position und Orientierung eines Quadrocopters präzise und in Echtzeit erfasst? (III) Wie können die entwickelten Systeme so integriert werden, dass eine reibungslose Umsetzung mit minimaler Latenz in der realen Welt gewährleistet wird?
Methodik
Die Simulationsumgebung wurde in Python entwickelt und nutzt Bibliotheken wie Stable Baselines, OpenAI Gymnasium und Numba. Dabei kam der Proximal Policy Optimization-Algorithmus (PPO) als RL-Algorithmus zum Einsatz. Das MoCap-System basiert auf modifizierten PlayStation-Kameras, die Infrarotlicht erfassen und durch Triangulation die Position der Drohne im Raum bestimmen. Zusätzlich wurde die Drohne, ein Crazyflie 2.1 Nanocopter, mit Infrarotdioden ausgestattet, um die Positionserfassung zu ermöglichen. Die Integration der Systeme erfolgte über das Crazyswarm2- und ROS2-Framework. Beide Subsysteme (Simulationsumgebung und MoCap-System) wurden individuell analysiert: In der Simulationsumgebung wurden Ablationsstudien zum Luftwiderstand durchgeführt, während für das MoCap-System die Genauigkeit in statischen und dynamischen Experimenten ermittelt wurde.
Ergebnisse
Ein einzelner Trainingslauf für eine bestimmte Torabfolge dauerte je nach Schwierigkeitsgrad 1–4 Stunden – in dieser Zeit wurde in der Simulation eine kumulative Flugzeit von bis zu einem Jahr simuliert. Dadurch lernte der Agent, die Rennstrecke in nahezu optimaler Zeit zu absolvieren, sodass bei bestimmten Flugwegen Geschwindigkeiten von bis zu 100 km/h erreicht werden konnten. Dies war jedoch nur in der Simulation möglich, da die reale Drohne dafür nicht genügend Schub produzierte und der verfügbare Raum zu klein war. Das MoCap-System erreichte eine durchschnittliche Abweichung von weniger als 4 mm zur realen Position. In der realen Umsetzung konnte der Nanocopter die simulierten Flugwege mit einer durchschnittlichen Abweichung von 5 cm bis 12 cm abfliegen, selbst bei hohen Geschwindigkeiten von bis zu 25 km/h. Somit konnten die Tore, die ungefähr die Grösse von DIN A3 hatten, in der Realität platziert und präzise durchflogen werden.
Diskussion
Der RL-Agent erwies sich als robust und anpassungsfähig, selbst bei Modellfehlern. Darüber hinaus übertraf das MoCap-System die Erwartungen hinsichtlich Genauigkeit und Kosten: Mit Materialkosten von nur 100 CHF erwies es sich als kostengünstige Alternative zu kommerziellen Systemen wie VICON, die mehr als 100x so teurer sind. Leichte Abweichungen traten dennoch aufgrund der niedrigen Kameraauflösung und fehlenden Synchronisation auf. Die reale Umsetzung offenbarte jedoch physische Grenzen, insbesondere hinsichtlich der Stabilität des Nanocopters bei starken Beschleunigungen. Dennoch zeigte das System eine beeindruckende Präzision, insbesondere bei der Treffsicherheit der kleinen Tore.
Schlussfolgerungen
Die Arbeit zeigt, dass RL ein vielversprechender Ansatz für autonomes Drohnenracing für Nanocopter in kostengünstigen Umgebungen ist. Zudem unterstreichen die Ergebnisse das Potenzial von Low-Cost-Lösungen für anspruchsvolle Anwendungen in Robotik und KI. Zukünftig könnten Fehlerquellen und Herausforderungen, die während des Entwicklungsprozesses auftraten, genauer untersucht werden. Besonders aufschlussreich wäre eine Analyse der Auswirkungen einer Kamerasynchronisation sowie eine detailliertere Untersuchung der Flugstabilität bei höheren Geschwindigkeiten.
Würdigung durch den Experten
Dr. Elia Kaufmann
Maurice Zemps Arbeit zeugt von grosser Begeisterung für Robotik und autonomes Fliegen. Mit viel Einsatz entwickelte er ein gesamtheitliches System, das anspruchsvolle Software mit selbstgebauter Hardware kombiniert. Besonders beeindruckend ist, dass er ein eigenes Motion-Capture-System realisierte und seine Simulationsergebnisse erfolgreich auf eine reale Drohne übertrug. Seine sorgfältige Analyse jeder Systemkomponente zeigt ein gutes Verständnis für Robotik und Systemintegration. Die schriftliche Arbeit ist umfangreich, klar strukturiert und auf hohem sprachlichem Niveau verfasst.
Prädikat:
hervorragend
Sonderpreis «Regeneron International Science and Engineering Fair (ISEF)» gestiftet von der Gebauer Stiftung
Kollegium St. Fidelis, Stans
Lehrer: Urs Zellweger