Entwicklung eines Kollisionsvermeidungssystems für Wasserfahrzeuge mit Hilfe von Objekterkennung und Stereo Vision

 

Mathematik  |  Informatik

 

Johannes Zimmermann, 2004 | Zofingen, AG

 

In dieser Arbeit wird ein Collision Avoidance System (CAS) für Wasserfahrzeuge entwickelt. Dieses CAS soll in der Lage sein, mit Hilfe des selbsttrainierten Yolov5-Algorithmus, Objekte zu erkennen und die Distanz zu den Objekten mit der OAK-D Stereokamera zu berechnen. Ein Pathfinding-Algorithmus wird in die Software implementiert und empfiehlt eine Umfahrungsroute. Diese Route garantiert keine unfallfreie Fahrt. In verschiedenen Versuchen wurde ermittelt, mit welcher Genauigkeit Yolov5 Boote auf dem Vierwaldstättersee erkennt und wie genau die Abstandsmessungen der OAK-D Stereokamera bei verschiedenen Distanzen und Einflüssen sind. Der Test des selbsttrainierten Yolov5-Algorithmus auf dem Vierwaldstättersee zeigt, dass Boote mit einem Abstand von bis zu 30m mit einer Genauigkeit von >90% erkannt werden. Die Evaluation mit dem Evaluationsdatenset liefert eine [email protected] von 0.809. Die Messungen der Stereokamera werden durch geringe Struktur und sich wiederholende Texturen negativ beeinflusst. Ab einem Messabstand von über 10m (bzw. 15 m) beträgt die Ungenauigkeit der Messung bis zu einem (bzw. mehrere) Meter. Es wird gezeigt, dass die CAS-Software in der Lage ist, Objekt zu erkennen und zu lokalisieren. Somit ist es denkbar, dass Kollisionen vermieden werden können, indem der Fahrzeugführer frühzeitig alarmiert wird.

Fragestellung

Folgende Hypothesen wurden im Laufe der Arbeit verifiziert oder widerlegt. (I) Es ist möglich mit der entwickelten Software die Mehrheit alle prädestinierten Objekte (Motorboote und Segelboote) mit Hilfe von Objekterkennung zu erkennen. (II) Die Objekterkennung und Messungsungenauigkeit der Stereokamera zu einem Objekt lassen zu, dass ein Crash verhindert werden kann. (III) Die Performance (in Bezug auf Bildwiederholungsrate und die Erkennungsrate) der Software ist hoch genug, um für die Verwendung in der Praxis angemessen zu sein.

Methodik

Diese Arbeit befasst sich mit der Entwicklung eines Kollisionsvermeidungssystems (CAS), mit der Trainingsdatenerhebung und den anschliessenden Versuchen auf dem Vierwaldstättersee zur Evaluation der Performance. Die quantitative empirische Forschungsmethode, die in Versuchen angewendet wird, gibt darüber Aufschluss, wie genau die Objekte lokalisiert werden können und ob sich die entwickelten Komponenten somit für die Anwendung in der Praxis eignen.

Ergebnisse

Aus den durchgeführten Versuchen zur Messungsgenauigkeit lässt sich entnehmen, dass die Stereokamera auf eine Distanz von 10m eine Abweichung von bis zu ca. einem Meter hat. Die Versuche bestätigen, dass die entwickelte Software in der Lage ist Motor- und Segelboote des Vierwaldstättersees mit einer Wahrscheinlichkeit von 80.1% zu erkennen. Dies gilt für alle untersuchten Objekte. In einem Bereich von bis zu ca. 30m beträgt die Präzision mehr als 90%. Die Evaluation des Yolov5-Algorithmus mit Hilfe des Evaluationsdatensets liefert eine Präzision von 88.3% und eine [email protected] von 0.809. Dies ist genug Evidenz, um für die Qualität des selbsttrainierten Yolov5-Modells zu sprechen.

Diskussion

Die Verwendung der Stereokamera für Messungen, die auf wenige Meter genau sein sollen, wird nur bis zu einer Distanz von 15m empfohlen. Das Verhindern eines Zusammenstosses ist anhand der erhobenen Daten und durchgeführten Versuche möglich, um jedoch dem Fahrzeugführer mehr Zeit zu geben und die Software sicherer zu machen sollte eine Stereokamera mit erhöhter Genauigkeit und Reichweite verwendet werden. Gewonnene Erkenntnisse über die OAK-D Stereokamera sind auch auf andere Stereokameras übertragbar. Aus dem Testlauf auf dem Vierwaldstättersee wird ersichtlich, dass eine geringe Bildrate der Software ausreicht, um gute Ergebnisse zu erzielen. Bei Tests erzielt die Software eine Bildwiederholungsrate von bis zu 35 Bilder pro Sekunde. Trotz der Implementation eines Pathfinding-Algorithmus ist die Software in der Lage diese Leistung zu erbringen. Die Software ist also so konzipiert, dass sie es schafft, mehrere Aufgaben gleichzeitigt zu lösen.

Schlussfolgerungen

Die Versuchsergebnisse zeigen, dass die Verhinderung einer Kollision möglich ist. Neuentwickelte Methoden, wie Depth Validation, Depth Queueing und die Zentrumsmethode verbessern die Genauigkeit der mit der Stereokamera durchgeführten Objektabstandsmessungen. Der selbsttrainierte Yolov5-Algorithmus eignet sich mit einer Erkennungsrate von >90% für die Praxis. Die OAK-D Stereokamera (300 CHF) ist in Bezug auf die Anwendbarkeit in der Praxis der limitierende Faktor (Reichweite). Es ist wichtig anzumerken, dass dies die Qualität der Software nicht herabstuft, denn die Software ist auch mit hochwertigeren Stereokameras kompatibel.

 

 

Würdigung durch den Experten

Dr. Josip Djolonga

The project presents a Collision Avoidance System for boats on inland lakes. It fuses together signals from an inexpensive depth camera in conjunction with deep learning-based object detection algorithms (Yolo) to both detect boats and estimate their depth. The model is fine-tuned on data collected by the student for this use-case and various depth estimation strategies are verified in several experimental setups. Finally, the feasibility of the overall system is thoroughly discussed, and a planning algorithm building on top of the detected objects is proposed and implemented.

Prädikat:

sehr gut

 

 

 

Kantonsschule Zofingen
Lehrer: Michael Franck