REACH – Remote Enhanced Asymmetric Collaboration for Human-Robot Interaction

Roboter spielen eine zentrale Rolle in der modernen Industrie. Sie werden vor allem für Aufgaben eingesetzt, die entweder körperlich belastend, gefährlich für den Menschen oder stark repetitiv sind und eine hohe Geschwindigkeit, Präzision sowie Effizienz erfordern. In klassischen Industrieumgebungen sind Roboter meist durch Sicherheitszonen und -zäune räumlich vom Menschen getrennt. Eine neue Generation von Robotern – sogenannte Cobots (kollaborative Roboter) – wurde speziell dafür entwickelt, direkt mit Menschen zusammenzuarbeiten. Sie ermöglichen sichere, flexible und intuitive Formen der Mensch-Roboter-Interaktion, insbesondere in Bereichen, in denen Zusammenarbeit gefragt ist.

Im Rahmen des REACH-Projekts, unter der Leitung des kofinanzierten EU Projekts MASTER, wird eine innovative Trainingsumgebung in Virtual-Reality (VR) und Mixed-Reality (MR) entwickelt. MASTER zielt darauf ab, ein offenes XR-Ökosystem für die Ausbildung in der Robotik zu schaffen, das flexible Lernumgebungen mit fortschrittlichen Interaktionsformen ermöglicht. REACH setzt dieses Ziel konkret um, indem es ein praxisnahes Szenario mit einem externen Trainer und einem lokalen Trainee erstellt, das den sicheren und effizienten Umgang mit einem kollaborativen Roboter trainiert. Das Trainingsszenario ist in den Kontext einer Qualitätskontrolle eingebettet: Der Roboter präsentiert dem Trainee einen bunten Würfel, der anhand vorgegebener Kriterien überprüft werden muss. Um alle Seiten des Würfels inspizieren zu können, interagiert der Trainee mit dem Roboter, etwa durch blickrichtungsgesteuerte Gesten oder Sprachbefehle, und lässt sich die relevanten Flächen nacheinander anzeigen. Der Trainer begleitet diesen Prozess virtuell, gibt Hinweise und bewertet die Interaktion. Ziel des Projekts ist es, eine intuitive, immersive und praxisnahe Lernumgebung zu schaffen, die sowohl in industriellen Anwendungen als auch in Bildung und Gesundheitswesen eingesetzt werden kann.

Ein zentraler Beitrag zur technischen Umsetzung des Projekts kommt von der MindPort GmbH, die mit ihrem VR Builder ein leistungsfähiges Autorenwerkzeug zur Verfügung stellt. Dieses ermöglicht die einfache und schnelle Erstellung interaktiver VR-Anwendungen in der Unity Engine. Durch die Integration von VR Builder mit VIROO Studio, einem Toolkit zur Erstellung von Extended-Reality-(XR)-Inhalten in Unity, wird im Projekt die Entwicklung plattformunabhängiger, mehrbenutzerfähiger VR- und MR/XR-Anwendungen ermöglicht. Diese Kombination erlaubt es, mit geringem Aufwand kollaborative und immersive Trainingsszenarien zu realisieren.

Basierend auf seiner Expertise mit der eigens entwickelten IMPECT-Toolbox übernimmt das Cologne Game Lab der TH Köln die Gestaltung und Implementierung der asymmetrischen und kollaborativen Interaktionen zwischen Trainer und Trainee. Dazu gehören unter anderem Feedbackfunktionen wie die Echtzeit-Sprachkommunikation über Voice-over-IP sowie gezielte visuelle und auditive Rückmeldungen, die den Lernprozess kontextbezogen unterstützen.

Die Entwicklung des digitalen Zwillings, sowie dessen multi-modale Ansteuerung ist Teil des Aufgabenpakets der Computer Graphics Group an der TH Köln. Als reales Gegenstück wird im Projekt der kollaborative Roboter LARA5 des Herstellers NEURA Robotics GmbH verwendet. Der digitale Zwilling bildet sowohl die Topologie des realen Roboters als auch seine Bewegungen präzise nach. Für die Steuerung des Roboters wird eine eigene inverse Kinematik basierend auf einem Optimierungsansatzes entwickelt. Diese ermöglicht eine robuste und verlässliche Bewegungsausführung sowohl des realen als auch des digitalen Roboters. Abschließend werden multimodale Interaktionsmethoden umgesetzt – konkret Sprachbefehle und blickrichtungs-gesteuerte Gesten – um eine intuitive und natürliche Mensch-Roboter Interaktion zu schaffen.

Darstellung des realen Roboters in einer Mixed-Reality Umgebung (© TH Köln, Mindport GmbH)

Weitere Informationen

MASTER Website: https://www.master-xr.eu/oc-project/reach/
Mindport Website: https://www.mindport.co/research/reach

Forschungsprojektsteckbrief
Forschungsprojekt: REACH
Leitung: Prof. Dr.-Ing. Arnulph Fuhrmann
Fakultät: Fakultät für Informations-, Medien- und Elektrotechnik
Institut: Institut für Medien- und Phototechnik (IMP)
Beteiligte: Kristoffer Waldow, M.Sc, Merle Meyer, M.Sc
Projektpartner: MindPort GmbH, Cologne Game Lab (CGL)
Fördermittelgeber: MASTER, kofinanziert von der Europäischen Union
Laufzeit: 9 Monate (23.12.2024 – 22.09.2025)