DIOR IT

Ziele:

• Wie können Robotik und immersive XR-Technologien zur Wartung und Kontrolle beitragen?
• Wie können aus 3D Scans und Fotografien echtzeitfähige immersive digitale Abbilder eines komplexen Objektes geschaffen werden?In den Bereichen Schifffahrt, Luftfahrt und Straßenverkehr gibt es zahlreiche

In den Bereichen Schifffahrt, Luftfahrt und Straßenverkehr gibt es zahlreiche Möglichkeiten, durch den Einsatz von Robotik sowie Virtual und Augmented Reality (VR/AR) die Effizienz zu steigern. Das Projekt DIOR IT – Digitalisierung vorhandener Infrastruktur zur Optimierung und Wartung mittels Robotik und immersiver Technologien – untersucht, wie mobile Robotik und immersive Technologien (AR/VR) kombiniert werden können, um diese Effizienzsteigerung zu erreichen. Das Fraunhofer CML analysiert dabei das Potenzial dieser Technologien im Logistiksektor, wo zahlreiche Gefahrenquellen bestehen. Roboter können hier eine gefahrlose Inspektion ermöglichen und so den eigentlichen Wartungseinsatz verkürzen, was zu einer Zeitersparnis und einem Sicherheitsgewinn führt. Zusätzlich bieten (teil-)autonome Inspektionen den Vorteil, dass der Operator seine Arbeitszeit anderweitig nutzen oder mehrere Roboter gleichzeitig bedienen kann.

Um diese autonomen und ferngesteuerten Kontroll- und Wartungseinsätze zu realisieren, setzt das CML auf immersive XR-Technologien. Zur Bewertung relevanter technischer Innovationen wurde eine Vielzahl skalierbarer Automatisierungsverfahren analysiert, wobei Dimension, Materialität, Beleuchtung und Zugänglichkeit zentrale Kriterien darstellten. Ziel ist es, Best Practices zur Erfassung eines breiten Spektrums unterschiedlicher Motive für die Repräsentation in immersive XR zu ermitteln.

Die erprobten Verfahren ermöglichen die Produktion naturgetreuer digitaler Abbilder von Objekten. Hierzu werden direkt zugängliche Daten aus Fotostrecken und 3D Scans genutzt.

Projektgegenstand:

Im Rahmen des Projektes wurde eine Fernsteuerungssoftware entwickelt, die es ermöglicht, den Schreitroboter Spot® des Herstellers Boston Dynamics durch eine VR-Anwendung zu steuern. Ein aktuelles 360°-Live-Bild des Roboters wird per Funk auf das VR-Headset übertragen und angezeigt.

Der Operator sieht jederzeit die aktuelle Position des Spots auf einer Karte und kann ihn entweder manuell steuern oder ihm einen Bewegungsauftrag auf der Karte erteilen, sodass der Spot autonom zum Zielpunkt navigiert. In der VR-Ansicht können relevante Punkte markiert werden, die später mit einer AR-Brille vor Ort angezeigt werden können. Zusätzlich wurden Räumlichkeiten mittels photogrammetrischer Techniken digitalisiert, um eine zukünftige Betrachtung des Maintenance Cases zu ermöglichen. Die Visualisierung dieser Daten in einem 3D-Umfeld und die Qualitätssicherung der aus 2D-Dokumentationen entnommenen Daten waren weitere Projektbestandteile.

Rolle des CML:

• Interface für die Fernsteuerung
• Robotercode zur Übertragung der Kamerabilder, Verarbeitung der Fernsteuerungssignale und Übermittlung der aktuellen Position
• VR-Anwendung zur Anzeige des Kamerabildes und zum Versand der Fernsteuerungssignale. Die gesammelten Daten sollen für eine aussagekräftige Repräsentation unterschiedlicher Objekte genutzt werden.

Zusätzlich wurden 3D Scans eingesetzt, um die Erfassung und Darstellung komplexer Objekte in immersiven XR-Umgebungen zu optimieren. Die Integration und Verarbeitung dieser Scans stellen einen wichtigen Fortschritt in der präzisen und umfassenden digitalen Abbildung dar.