Anwenderbericht

Kamerabasierte Sensorsoftware vereinfacht Roboterhardware maßgeblich

Das Startup RoVi Robot Vision von drei Forschern der TU München hat es sich auf die Fahne geschrieben, die Hardware für Roboter jeglicher Art maßgeblich zu vereinfachen: Auf Basis ihrer Forschungen ist es dem Team weltweit erstmals gelungen, teure traditionelle elektronische Sensoren durch eine neue Software und gängige Kameras zu ersetzen. So lassen sich die Kosten von Robotern deutlich reduzieren.

Die Idee für die kamerabasierte Sensorsoftware für intelligente Roboter entstand aus der Doktorarbeit zum Thema ‚Visuell-haptische Umgebungswahrnehmung für autonome Robotersysteme‘ von Mitgründer Dr.-Ing. Nicolas Alt. Inspiriert von der Beobachtung, wie Roboterstaubsauger absichtlich und wiederholt auf Hindernisse für die taktile Kartierung stoßen, entwickelte er während seiner Promotion einen taktilen Sensor für mobile Roboterplattformen. Der Sensor bestand aus einem einfachen Schaumstoffbalken, der von einer bereits vorhandenen Kamera am Roboter beobachtet wird und gleichzeitig als weicher Stoßfänger dient.

Das gleiche Konzept gilt auch für die taktilen Sensoren, die wir jetzt an den Fingern von Greifern anbringen“, erläutert Dr. Clemens Schuwerk, Control Engineering, Marketing and Sales bei RoVi. „Später haben wir das Konzept der Verwendung einer externen Kamera um die Kombination mit passiven Elementen erweitert, um weitere Sensoren für Roboter zu bauen, nämlich Kraft-Momentensensoren und Winkelsensoren.“ Alle drei Sensorkonzepte sind patentiert oder zum Patent angemeldet.

Dr. Nicolas Alt und Dr. Clemens Schuwerk haben sich während ihrer Promotionszeit am gleichen Lehrstuhl kennengelernt und sich schließlich mit dem dritten im Bunde, M. Sc. Stefan Lochbrunner bald darauf zusammengeschlossen, um die neue Technologie weiter zu entwickeln und zu kommerzialisieren und ein Unternehmen auszugründen. Aus dem Forschungsprojekt entstand so 2016 ein Spin-off-Projekt. Finanziert wird das Projekt aktuell von EXIST Forschungstransfer, einem Förderprogramm des Bundesministeriums für Wirtschaft und Energie speziell für High-Tech Gründung aus der Forschung.

Prinzip der Sensorsoftware-Technologie

Die Sensorsoftware ersetzt komplexe hardwarebasierte Sensorsysteme und ermöglicht Robotern quasi das Fühlen durch Sehen. Die technische Innovation umfasst die robuste Messung von Gelenkstellungen, Positionen, Greifkräften, Kontaktprofilen und anderen taktilen bzw. haptischen Kontaktinformationen mit Hilfe von Bildverarbeitung und extern um den Arm oder am Greifer angebrachten Kameras.

Dieses neuartige Sensorkonzept lässt sich mit einer Analogie zum Menschen anschaulich erklären: Mit geschlossenen Augen kann ein Mensch seinen Arm nur ungenau positionieren, da unsere Wahrnehmung der Position unserer Gliedmaßen und deren Gelenkstellungen wenig präzise ist. Klassische Industrieroboter arbeiten in der Regel zwar ‚blind‘, nutzen im Gegensatz zum Menschen jedoch eine hochgenaue Sensorik zusammen mit einer steifen Konstruktion, um trotzdem eine hochgenaue Positionierung des Endeffektors zu erreichen. Der Mensch dagegen verwendet zusätzlich die visuelle Wahrnehmung und somit eine multimodale Informationsverarbeitung, um eine präzise Manipulation von Objekten zu ermöglichen. Auf ähnliche Weise werden mit der softwarebasierten Sensorik von RoVi Gelenkstellungen eines Roboterarms sowie Positionen und Greifkräfte unter Verwendung kostengünstiger Kameras erfasst und dadurch eine präzise und autonome Interaktion des Roboters mit Objekten ermöglicht.

Die Software berechnet die Gelenkstellungen eines Roboterarms im dreidimensionalen Raum mit Hilfe von Bildanalysealgorithmen. Kraft-Momentensensoren und taktile Sensoren werden durch einfache passive flexible Elemente wie kostengünstigen Schaumstoff ersetzt. Kontaktkräfte führen zu charakteristischen Verformungen dieser Elemente. Die Software misst diese Verformung ebenfalls mit Hilfe von Bildanalyseverfahren und berechnet anhand eines Materialmodells die anliegenden Kräfte und Momente. Die Sensorsoftware ist anwendbar auf komplette Robotersysteme, Roboterarme, Greifer oder mobile Roboterplattformen und ermöglicht die intelligente Steuerung dieser Systeme.

Die RoVi-Software ersetzt eine Vielzahl von Sensorik in Robotersystemen, wodurch sich u. a. der Verkabelungsaufwand reduziert. Zudem ermöglicht sie die Realisierung von sensitiven und gleichzeitig kostengünstigen Robotern. Denn diese Kameras sind durch ihre enorme Verbreitung äußerst kostengünstig und leistungsstark. Zugleich sind sie für die Umgebungserkennung auf Robotern unverzichtbar und deshalb bereits auf vielen Robotern vorhanden. Da die aktuelle Roboterkonfiguration über externe Kameras und Software gemessen wird, müssen Verbindungselemente nicht zwangsweise möglichst steif konstruiert und hochpräzise gefertigt werden. Stattdessen können nachgiebige Elemente und Materialien sowie einfachere Fertigungsverfahren mit geringerer Präzision eingesetzt werden. Dadurch lassen sich Kosten sparen und komplexe Schutzsysteme vermeiden. Mit flexiblen Elementen kann jedoch die Position des Arms nicht mehr mit wie herkömmlich über die Gelenkstellungen und das starre Robotermodell berechnet werden. Eine externe Kamera in Verbindung mit der RoVi-Software ermöglicht dagegen trotzdem die präzise Berechnung der Position von Arm und Endeffektor, da auch Verformungen über die Kamera erfasst werden.

Auch an industriellen Greifern werden Kameras zukünftig immer mehr zum Standard. Diese Kameras können in vielen Fällen für die beschriebene softwarebasierte Sensorik verwendet werden, da diese mit beliebigen Kameras zusammenarbeitet.

Kennwerte im Vergleich zur traditionellen Robotik

Industrielle Roboterarme mit herkömmlichen Hardware-Sensoren weisen sehr hohe absolute Genauigkeiten von <0,1 mm und hohe Gelenkgeschwindigkeiten auf, da sie speziell dafür konstruiert wurden. Hardware-Sensoren können hier Abtastraten von >1 kHz liefern. „Es ist nicht das Ziel unserer Technologie, mit diesen Werten zu konkurrieren“, sagt Dr. Schuhwerk. „Ein relevantes Maß für Roboter in unbekannten und veränderbaren Umgebungen ist die relative Genauigkeit zwischen Roboter und Zielobjekt. Und hier sehen wir unser Terrain. Genauso wie jeder Industriearm, der mit einer Kamera ergänzt wird, sind wir dabei durch die kamerabasierte Lageschätzung des Zielobjekts begrenzt. In typischen Setups mit einfachen Kameras erreichen wir ca. 1 mm. Ultra HD-Kameras erlauben <0,3 mm. Wir streben eine Geschwindigkeit von <45°/s an“ erläutert Clemens Schuwerk. Das sei für Roboter ‚außerhalb des Käfigs‘ eine sichere Wahl und wird ebenso von vielen existierenden Robotern verwendet.

Die Genauigkeit der taktilen und Kraft-Momenten-Sensoren hängt stark von der Kameraeinstellung (Abstand, Auflösung) ab. In typischen Fällen wird eine Genauigkeit von unter 5 % erreicht, die mit der Genauigkeit von Hardware-Sensoren im mittleren Preissegment vergleichbar ist.

Intelligenter Greifer mit integrierter Kamera

Für das intelligente Greifsystem mit integriertem Stereo-Kamerasystem und kamerabasierter Sensorik wurde der Zweibacken-Greifer MPLM1630HAN von Gimatic eingesetzt. Zum einen passt dieser gut zu den Anwendungen der aktuellen Baugröße zur Kommissionierung von Kleinteilen. „Vor allem aber konnten wir keinen alternativen Greifer am Markt finden, der uns eine direkte Ansteuerung des Motors erlaubt“, erinnert sich der Jungunternehmer. Diese Schnittstelle ist wichtig, damit die Sensordaten aus der Software dazu verwendet werden können, den Greifprozess intelligent zu steuern und zu überwachen.

Der Gimatic Greifer erlaubt durch die offene Schnittstelle zum Motor die schnelle und einfache Entwicklung eines Prototyps. „Während wir hier auf qualitativ hochwertige und geprüfte/bewährte Hardware zurückgreifen, können wir uns auf unser Kernthema Software konzentrieren“, freut sich Dr. Schuwerk und weiter: „Für junge Startups wie uns ist es besonders wichtig, die uns zur Verfügung stehenden begrenzten Ressourcen effizient einzusetzen. So bekommen wir trotzdem schnell ein Produkt zum Pilotkunden und können dieses mit dem gewonnen Feedback weiterentwickeln.“

Herausforderungen bei der Entwicklung

„Der Bau eines Roboters ist generell eine Herausforderung, die verschiedenen Disziplinen wie Mechanik, Elektronik, Steuerung, Software und Computer Vision in einem kleinen Team zu bewältigen. So mussten auch wir separate Entwicklungsprojekte für jede Disziplin vermeiden“, sagt Dr. Clemens Schuwerk. Die Kernkompetenz von RoVi liege aber nun mal im Bereich Software und so wollten die Jungunternehmer bei der Hardware auf vorhandene Komponenten zurückgreifen. „Es gibt nur eine sehr begrenzte Verfügbarkeit von offener und/oder modularer Hardware für die Robotik, was den Aufbau eines Demosystems erschwert hat“, sagt Dr. Schuwerk. „Genau aus diesem Grund haben wir uns für den Greifer von Gimatic entschieden, denn die ‚offene‘ Schnittstelle zum Motor gibt es sonst nicht am Markt. Wir sind noch auf der Suche nach weiteren Partnern für bestimmte Teilsysteme wie Robotergelenke und -getriebe. Schließlich soll die Software kontinuierlich weiterentwickelt werden und dabei wolle man vor allem sehr nah mit Kunden und Partnern zusammenzuarbeiten.

Zum Erschließen neuer Einsatzfelder

Traditionelle Industrieroboter wie sie zu Handhabung von Materialien, Montage oder in der Logistik Einsatz finden, sind heute zum Großteil auf bestimmte Anwendungen abgestimmte, vorprogrammierte Spezialisten. Diese erledigen meist 24 Stunden am Tag, sieben Tage die Woche verlässlich ihre Aufgabe. „Mit unserer Technologie zielen wir nicht auf traditionelle Anwendungen der Automatisierungstechnik ab, wo sehr geringe Zykluszeiten für fest definierte bzw. vorprogrammierte Aufgaben benötigt werden. Unsere Sensorsoftware ermöglicht neuartige Roboterarme und -greifer, die sensitiv und autonom agieren, dabei aber technisch stark vereinfacht und deshalb sehr kostengünstig herstellbar sind“, erläutert der Mitbegründer die Einsatzvision. Damit ermöglicht das Startup den Einsatz von Robotern in ganz neuen Märkten und Applikationen, die mit heutigen Technologien nicht wirtschaftlich realisierbar wären. Anwendungsbeispiele finden sich in sämtlichen Bereichen der Industrie, aber bevorzugt dort, wo eine flexible und sichere Handhabung von Objekten nötig ist wie in Logistik, Landwirtschaft, Nahrungsmittelindustrie oder auch in Bereichen, wo sich Roboter an einen schnell veränderten Produktmix anpassen müssen. Mittelfristig sehen die Forscher Anwendungen für die Technologie aber auch für Haushaltsanwendungen, wo allgemein ein enormer Preisdruck herrscht.

Erste Erfolge und Blick in die Zukunft

Erstmals wurde die kamerabasierte Sensorsoftware für einen Tischroboterarm auf der Hannover Messe 2018 vorgestellt. Die Resonanz der Standbesucher war sehr positiv. „Wir konnten mit einigen wichtigen Entscheidungsträgern aus der Industrie sprechen und unser Produkt präsentieren. Gleichzeitig konnten wir mit sehr vielen Anwendern aus den verschiedensten Branchen reden. Dabei ergaben sich ganz neue Anwendungsmöglichkeiten für unsere Sensorlösung, welche wir so bisher noch gar nicht im Blick hatten“, resümiert Dr. Schuwerk. Im Juni wird RoVi übrigens auf der Automatica in München vertreten sein. ­­

Als junges Startup verfolgen die drei Forscher das primäre Ziel, die Technologie bei Pilotkunden zum Einsatz zu bringen. Dabei sind sie auf der Suche nach visionären Unternehmern, deren Prozesse sie mit intelligenten und kostengünstigen Robotersystemen verbessern und automatisieren können. Langfristig sehen sie sich als Anbieter dieser Sensorsoftware, welche sie an Hersteller von Robotersystem und Integratoren lizenzieren.

Automatica:
RoVi Robot Vision, Start-Up Arena in Halle B4, Stand 328.B
Gimatic Halle A4, Stand 503

Bilder:

Aufmacherbilder

Bild oben: Ideengeber und Mitgründer Dr.-Ing Nicolas Alt, Computer Vision and Business Development bei RoVi

Funktionsprinzip der kamerabasierten Sensorsoftware für das intelligente Greifsystem

Kamera und Software ersetzen Sensorik und sparen jede Menge Kosten.

Dr.-Ing. Clemens Schuwerk, Control Engineering, Marketing and Sales bei RoVi

 

Download:           Text           Bilder



Kontakt:
Gimatic Vertrieb GmbH
Linsenäcker 18
72379 Hechingen     

Tel.: 07471/96015-0, Fax: 07471/96015 19                                                   

E-Mail: Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!, Web: www.gimatic.com

Bei Veröffentlichung erbitten wir je ein Belegexemplar.

Pressebüro: Presse Service Büro GbR, Strogenstraße 16, 85465 Langenpreising, Tel.: 08 762/73 77 532