Optischer Umgebungssensor

Allgemein

In ihren üblichen Einsatzgebieten müssen Serviceroboter in der Lage sein, unvorhersehbaren Hindernissen auszuweichen. Daher ist es nötig, sie mit Sensoren auszustatten, die eine rechtzeitige Hinderniserkennung ermöglichen. Zusätzlich ist es oft erforderlich, die absolute Position des Roboters, oder seine relative Position bezüglich eines anderen Objektes, zu kennen. Da die üblichen odometrischen Messmethoden systembedingt Schlupf aufweisen, sind auch für diesen Zweck eigene Sensoren nötig. Beide Aufgaben können durch optische Umgebungserkennung gelöst werden. Allerdings muss dabei bedacht werden, dass Bildverarbeitungssysteme oftmals die Autonomie des Roboters einschränken, da sie sehr viel Rechenleistung benötigen.

Aus diesem Grund wird am Institut für Regelungstechnik gerade ein optisches Sensorsystem entwickelt, das aus einer Stereokamera sowie der Verarbeitungs-Hard- und -Software besteht. Um die Autonomie des Roboters zu erhalten, liegt der Schwerpunkt darauf, die Anforderungen bezüglich Stromversorgung und Rechenleistung in einem Rahmen zu halten, der an Bord eines autonomen Serviceroboters zur Verfügung gestellt werden kann.

Aus den Bilddaten der Kameras kann die Struktur der Umgebung abgeleitet werden. Im nächsten Schritt ist es dann möglich Rückschlüsse auf Hindernisse bzw. mögliche Trittflächen zu ziehen. Zusätzlich ist es möglich, Drift-Effekte einer Trägheitsnavigationseinheit zu kompensieren, indem man mit dem optischen System regelmäßig Referenzinformationen bereitstellt.

Das Kamerasystem ist für den Einsatz auf dem zweibeinigen Roboter LISA gedacht, allerdings ist es in den meisten Aspekten unabhängig von einem bestimmten Roboter. Dementsprechend wird es möglich sein, das System auch an Roboter mit einer anderen Anzahl von Beinen oder sogar an radgestützte Roboter anzupassen.

Hardware Beschreibung

Das Stereokamera-System besteht aus zwei Kameras vom Typ Feith CANCam, die in eine Schwenk-Neige-Einheit eingebaut sind. Diese Einheit wird zur Zeit gebaut. Sie ermöglicht Gier- und Nick-Bewegungen (Blick nach links-rechts und oben-unten). Ein weiterer Freiheitsgrad ist für die Verstellung der Basisweite, also des Abstands zwischen den Kameras, vorgesehen. Normalerweise ist die Tiefenauflösung um so besser, je größer die Basisweite ist, allerdings gibt es hier eine Einschränkung: Wenn ein Objekt zu nah ist, um gleichzeitig mit beiden Kameras erfasst zu werden, ist die Stereotriangulation nicht mehr möglich und die Basisbreite muss reduziert werden. Die Möglichkeit die Basisbreite anzupassen könnte auch für Telepräsenz-Einsätze nützlich sein, wenn ein menschlicher Bediener mit Hilfe der Stereobilder den Roboter steuert. Hierfür ist es wahrscheinlich sinnvoll, die Basisbreite auf den Augenabstand des Bedieners einzustellen. Zunächst wird der zusätzliche Freiheitsgrad aber nicht aktuiert sondern nur von Hand verstellbar sein, um die Komplexität zu Beginn nicht unnötig hoch anzusetzen.

Bei der eigentlichen Kamera handelt es sich um eine monochrome CMOS-Kamera mit einer Auflösung von 1280x1024 Pixel. In die Kamera ist ein Freescale Coldfire MCF5272 Mikroprozessor sowie ein Xilinx Spartan-IIE FPGA integriert. Diese ermöglichen es, schon in der Kamera einfache Bildverarbeitungsschritte durchzuführen, bevor die Daten über 100 MBit Ethernet zum Haupt-Bildbearbeitungs-Prozessor geleitet werden.

Hauptthemen

Die wesentlichen Problemstellungen, die im Rahmen dieses Projektes bzw. seiner Nachfolgeprojekte behandelt werden, sind folgende:

Konstruktion und Regelung der Schwenk-Neige-Einheit
Optische Bildstabilisierung für längere Belichtungszeiten
2D Kalibrierung der einzelnen Kameras
3D Kalibrierung und Selbstkalibrierung des Stereokamera-Systems
Bildvorverarbeitung in VHDL
Rekonstruktion eines 3D Modells aus den Stereobildpaaren
Bahnplanung basierend auf Umgebungsinformationen und Missionszielen
Selbstlokalisation mit Hilfe natürlicher Landmarken und selbstgenerierter Karten
Sensordatenfusion zur Positions- und Bewegungsbestimmung

Veröffentlichungen

Eine vollständige und durchsuchbare Liste der Veröffentlichungen mit Abstracts und BibTeX-Einträgen ist hier zu finden.

Gerecke, M., Gerth, W.: Aufbau eines Stereokamerasystems zum Betrieb unter RTOS-UH. In: P. Holleczek, B. Vogel-Heuser (Hrsg.): Echtzeitaspekte bei der Koordinierung Autonomer Systeme. PEARL 2005, Springer Verlag Berlin Heidelberg, 2005, S. 45-54.

Die nachfolgend aufgeführten Veröffentlichungen beziehen sich auf ein vorausgehendes Kooperationsprojekt mit der TU München.

Gerecke, M., Albert, A., Gerth, W.: Vision guided biped walking - trajectories and communication. 5th International Conference on Climbing and Walking Robots, CLAWAR 2002, S. 155-162.
Lorch, O., Albert, A., Denk, J., Gerecke, M., Cupec, R., Seara, J. F., Gerth, W., Schmitdt, G.: Experiments in Vision-Guided Biped Walking. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems EPFL, Lausanne, Switzerland, 2002, S. 2484-2490.


	Optischer Umgebungssensor Allgemein In ihren üblichen Einsatzgebieten müssen Serviceroboter in der Lage sein, unvorhersehbaren Hindernissen auszuweichen. Daher ist es nötig, sie mit Sensoren auszustatten, die eine rechtzeitige Hinderniserkennung ermöglichen. Zusätzlich ist es oft erforderlich, die absolute Position des Roboters, oder seine relative Position bezüglich eines anderen Objektes, zu kennen. Da die üblichen odometrischen Messmethoden systembedingt Schlupf aufweisen, sind auch für diesen Zweck eigene Sensoren nötig. Beide Aufgaben können durch optische Umgebungserkennung gelöst werden. Allerdings muss dabei bedacht werden, dass Bildverarbeitungssysteme oftmals die Autonomie des Roboters einschränken, da sie sehr viel Rechenleistung benötigen. Aus diesem Grund wird am Institut für Regelungstechnik gerade ein optisches Sensorsystem entwickelt, das aus einer Stereokamera sowie der Verarbeitungs-Hard- und -Software besteht. Um die Autonomie des Roboters zu erhalten, liegt der Schwerpunkt darauf, die Anforderungen bezüglich Stromversorgung und Rechenleistung in einem Rahmen zu halten, der an Bord eines autonomen Serviceroboters zur Verfügung gestellt werden kann. Aus den Bilddaten der Kameras kann die Struktur der Umgebung abgeleitet werden. Im nächsten Schritt ist es dann möglich Rückschlüsse auf Hindernisse bzw. mögliche Trittflächen zu ziehen. Zusätzlich ist es möglich, Drift-Effekte einer Trägheitsnavigationseinheit zu kompensieren, indem man mit dem optischen System regelmäßig Referenzinformationen bereitstellt. Das Kamerasystem ist für den Einsatz auf dem zweibeinigen Roboter LISA gedacht, allerdings ist es in den meisten Aspekten unabhängig von einem bestimmten Roboter. Dementsprechend wird es möglich sein, das System auch an Roboter mit einer anderen Anzahl von Beinen oder sogar an radgestützte Roboter anzupassen. Hardware Beschreibung Das Stereokamera-System besteht aus zwei Kameras vom Typ Feith CANCam, die in eine Schwenk-Neige-Einheit eingebaut sind. Diese Einheit wird zur Zeit gebaut. Sie ermöglicht Gier- und Nick-Bewegungen (Blick nach links-rechts und oben-unten). Ein weiterer Freiheitsgrad ist für die Verstellung der Basisweite, also des Abstands zwischen den Kameras, vorgesehen. Normalerweise ist die Tiefenauflösung um so besser, je größer die Basisweite ist, allerdings gibt es hier eine Einschränkung: Wenn ein Objekt zu nah ist, um gleichzeitig mit beiden Kameras erfasst zu werden, ist die Stereotriangulation nicht mehr möglich und die Basisbreite muss reduziert werden. Die Möglichkeit die Basisbreite anzupassen könnte auch für Telepräsenz-Einsätze nützlich sein, wenn ein menschlicher Bediener mit Hilfe der Stereobilder den Roboter steuert. Hierfür ist es wahrscheinlich sinnvoll, die Basisbreite auf den Augenabstand des Bedieners einzustellen. Zunächst wird der zusätzliche Freiheitsgrad aber nicht aktuiert sondern nur von Hand verstellbar sein, um die Komplexität zu Beginn nicht unnötig hoch anzusetzen. Bei der eigentlichen Kamera handelt es sich um eine monochrome CMOS-Kamera mit einer Auflösung von 1280x1024 Pixel. In die Kamera ist ein Freescale Coldfire MCF5272 Mikroprozessor sowie ein Xilinx Spartan-IIE FPGA integriert. Diese ermöglichen es, schon in der Kamera einfache Bildverarbeitungsschritte durchzuführen, bevor die Daten über 100 MBit Ethernet zum Haupt-Bildbearbeitungs-Prozessor geleitet werden. Hauptthemen Die wesentlichen Problemstellungen, die im Rahmen dieses Projektes bzw. seiner Nachfolgeprojekte behandelt werden, sind folgende: Konstruktion und Regelung der Schwenk-Neige-Einheit Optische Bildstabilisierung für längere Belichtungszeiten 2D Kalibrierung der einzelnen Kameras 3D Kalibrierung und Selbstkalibrierung des Stereokamera-Systems Bildvorverarbeitung in VHDL Rekonstruktion eines 3D Modells aus den Stereobildpaaren Bahnplanung basierend auf Umgebungsinformationen und Missionszielen Selbstlokalisation mit Hilfe natürlicher Landmarken und selbstgenerierter Karten Sensordatenfusion zur Positions- und Bewegungsbestimmung Veröffentlichungen Eine vollständige und durchsuchbare Liste der Veröffentlichungen mit Abstracts und BibTeX-Einträgen ist hier zu finden. Gerecke, M., Gerth, W.: Aufbau eines Stereokamerasystems zum Betrieb unter RTOS-UH. In: P. Holleczek, B. Vogel-Heuser (Hrsg.): Echtzeitaspekte bei der Koordinierung Autonomer Systeme. PEARL 2005, Springer Verlag Berlin Heidelberg, 2005, S. 45-54. Die nachfolgend aufgeführten Veröffentlichungen beziehen sich auf ein vorausgehendes Kooperationsprojekt mit der TU München. Gerecke, M., Albert, A., Gerth, W.: Vision guided biped walking - trajectories and communication. 5th International Conference on Climbing and Walking Robots, CLAWAR 2002, S. 155-162. Lorch, O., Albert, A., Denk, J., Gerecke, M., Cupec, R., Seara, J. F., Gerth, W., Schmitdt, G.: Experiments in Vision-Guided Biped Walking. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems EPFL, Lausanne, Switzerland, 2002, S. 2484-2490.

	Institut für Regelungstechnik - URL http://www.irt.uni-hannover.de/forschung/asr/cam.html Verantwortlich: Institut für Regelungstechnik, Biped Team, letzte Änderung 01.09.2009 © Leibniz Universität Hannover 1998 - 2009