Mulcol: AR-Baugruppenkatalog (markerbasiert)

Kurze Zusammenfassung

• Rolle: Leitender Entwickler (feliXart Studios)
• Firma/Kunde: Mulcol
• Projektzeitraum: 2017 (Lieferung)
• Plattformen: iOS, Android
• Engine: Unreal Engine 4 (C++)
• AR Framework: ARToolKit (Marker/NFT)
• Hauptmerkmal: Markerbasierte, Schritt-für-Schritt-Montageanleitung

Zeitleiste

• 2017: Entwicklungs- und Lieferprozess.
• 30.05.2017: Veröffentlichungsdatum der Seite (pubDate).

Industrieller AR-Baugruppenkatalog für Mulcol

Der mobile AR-Montagekatalog, den ich für Mulcol entwickelt habe, verwandelte gedruckte Kataloge in einen interaktiven Leitfaden vor Ort. Benutzer konnten die 3D-Montageschritte in Echtzeit überwachen, indem sie die Markierungen im Katalog mit der Kamera scannten; Dies gewährleistete die richtige Reihenfolge, Teileauswahl und Installationsstandard.

Probleme und Einschränkungen

• Gedruckte Kataloge können keine schnelle und fehlerfreie Orientierung vor Ort bieten.
• Aufgrund der schlechten Lichtverhältnisse und unterschiedlicher Gerätekameras ist eine stabile Verfolgung erforderlich.
• Hohe Leistung und geringe Latenzanforderungen auf Mobilgeräten.
• Optimierung großer CAD-basierter Modelle auf Mobilgeräten.

Lösungszusammenfassung

ARToolKit kombiniert Marker-/NFT-basiertes Tracking, 3D-Montageanimationen und Schritt-für-Schritt-Anleitung zur Unreal Engine. Die Markierungserkennung erfolgte mit dem Kamerastream, die Pose wurde berechnet und der 3D-Inhalt wurde im richtigen Maßstab und an der richtigen Position angezeigt.

Architektur auf einen Blick

• Kamerafluss -> Feature-Matching -> Posenschätzung -> Unreale Transformation -> 3D-Inhalt.
• Erkennung im Arbeitsthread, Szenenaktualisierung im Spielthread.
• Kompensation von Objektivverzerrungen mit Kalibrierungsdateien.

Tracking und Posenschätzung (Marker/NFT)

– Die ARToolKit NFT-Pipeline hat die Markierungserkennung mit FAST/ORB-ähnlicher Merkmalsextraktion implementiert.

• Die Homographie wurde mit Deskriptorübereinstimmungen berechnet und eine 6DoF-Pose erstellt.- Zur Reduzierung von Jitter wurden zeitliche Glättung und Stabilisierung mit festen Schwellenwerten angewendet.

MobilePerformance

• Kameraverarbeitung und Markierungserkennung wurden in separaten Threads ausgeführt.
• Die Hauptschleife wird bei threadsicherer Datenübertragung über die Warteschlange nicht blockiert.
• Zielleistung: 60 FPS, Messung: Unreal Profiling Tools (gerätebasiertes Testen).

Content-Pipeline

• CAD-Modelle wurden optimiert, LOD und Texturkomprimierung wurden angewendet. – Es wurde eine asynchrone Lade- und Reinigungsrichtlinie gemäß den mobilen Speichergrenzen verwendet.

UX: Schritt-für-Schritt-Montage

• Schritte wurden über DataTable verwaltet, der Animationsfluss wurde mit Sequencer eingerichtet.
• Schrittnummern, Teilenamen und Warnungen wurden in der UMG-Oberfläche angezeigt.
• Vorwärts-/Rückwärtsschritte wurden mit Berührungs- und Wischgesten gesteuert.

Markerbasiert vs. markerlos (kurzer Vergleich)

• Markerbasiert bietet hohe Stabilität und niedrige Rechenkosten in kontrollierten Umgebungen.
• Markerless (SLAM) ist flexibler, kann jedoch auf Oberflächen mit geringer Textur instabil sein.
• Markerbasierter Ansatz ermöglicht schnelles Onboarding vor Ort mit einem gedruckten Katalog.
• Der markerlose Ansatz erleichtert die Einrichtung von Inhalten, erfordert jedoch mehr Kalibrierung.
• Markerbasiert bietet sichereres FPS-Targeting auf Low-End-Geräten.
• Markerlos ist im Hinblick auf das Benutzererlebnis natürlicher, aber der Batterieverbrauch steigt.

Auswirkungen/Ergebnisse

• Reduzierung der Montagefehler – 80 % – Zeitraum: [X], Basislinie: Montagefehler vor Ort – Quelle: Erfahrungsbericht/Simulations-KPI (vom Kunden gemeldet).
• Verbesserung der Einrichtungszeit – 40 % – Zeitraum: [X], Ausgangswert: manuelle Katalogzeit – Quelle: Erfahrungsberichte (vom Kunden gemeldet).
• Standardisierung des Feldbetriebs – qualitative Verbesserung – Quelle: Feedback des Außendienstleiters (vom Kunden berichtet).- Mobile Leistung - 60 FPS-Ziel - Messung: gerätebasierte Profiltests.

Wichtige Kompromisse

• Markerbasierte Genauigkeit vs. markerlose Flexibilität.
• Visuelle Qualität der Unreal Engine im Vergleich zu nativen Leistungskosten.
• Hohe Genauigkeit gegenüber Batterieverbrauch und Gerätetemperatur.

FAQ

Warum wurde markerbasierte AR gewählt?

Für stabiles Tracking und schnelles Onboarding unter Feldbedingungen.

Wie funktioniert ARToolKit NFT?

Es gleicht Merkmalspunkte ab und erstellt eine Pose mit Homografie.

Warum wurde Unreal Engine verwendet?

Zur Vereinfachung der 3D-Inhaltsverwaltung, des Renderings und der plattformübergreifenden Verteilung.

Wie wurde die mobile Leistung aufrechterhalten?

Mit Thread-Trennung, LOD, Texturkomprimierung und asynchronem Laden.

Wie wurden die CAD-Modelle optimiert?

Mit Polygonreduzierung, LOD und leichten Materialeinstellungen.

Werden Offline-Szenarien unterstützt?

Grundlegende Anleitung zum Cache und zur lokalen Inhaltsspeicherung beibehalten.

Projektimpressum

• Kunde: Mulcol Fire Suppression Technologies
• Entwicklerunternehmen: feliXart studios
• Rolle: Leitender Entwickler / Leitender Softwareentwickler
• Plattform: iOS, Android
• Engine: Unreal Engine 4 -Kernsprache: C++
• AR Framework: ARToolKit (Markerbasiertes Tracking)
• Fertigstellungsdatum: Mai 2017
• Seitendatum: 30.05.2017

Verwandte Projekte

• Mulcol: VR-Brandschutz-Montagesimulation
• Dunelm: LiDAR-unterstütztes AR-„View-in-Room“-Erlebnis
• Rapid Render: Echtzeit-3D-Produktkonfigurator