企业项目
Mulcol:AR 装配目录(基于标记)
使用虚幻引擎 C++ 和 ARToolKit 进行基于标记的 AR 组装指南;移动性能、功能匹配和 CAD 优化。
Unreal EngineC++ARToolKitMarker-Based ARAugmented RealityComputer VisionFeature MatchingMobile PerformanceMultithreadingOpenCVCAD VisualizationIndustrial Field Support
工程影响
可衡量的范围与结果
- 现场平台
- iOS + 安卓
- 验证方法
- 基于标记的 AR
- 产品产量
- 装配目录
移动设备上的无障碍组装指南。
通过物理标记进行逐步指导。
拥有将 CAD 可视化应用于现场使用的经验。
快速总结
- 角色:首席开发人员(feliXart 工作室)
- 公司/客户:Mulcol
- 项目时间:2017年(交付)
- 平台:iOS、Android
- 引擎:虚幻引擎 4 (C++)
- AR框架:ARToolKit(标记/NFT)
- 主要特点:基于标记的分步组装指南
时间轴
- 2017 年:开发和交付流程。
- 2017-05-30:页面发布日期(pubDate)。
Mulcol 工业 AR 装配目录
我为 Mulcol 开发的移动 AR 装配目录将印刷目录转变为现场交互式指南。用户可以通过摄像头扫描目录中的标记来实时监控3D装配步骤;这确保了正确的顺序、零件选择和安装标准。
问题和限制
- 印刷目录无法提供快速且无差错的现场指导。
- 由于低光照和不同设备的摄像头,需要稳定的跟踪。
- 移动设备上的高性能和低延迟要求。
- 在移动设备上优化基于 CAD 的大型模型。
解决方案总结
ARToolKit 结合了基于标记/NFT 的跟踪、3D 装配动画和虚幻引擎上的分步指导。使用相机流进行标记检测,计算姿势并以正确的比例和位置显示 3D 内容。
架构概览
- 相机流 -> 特征匹配 -> 姿态估计 -> 虚幻变换 -> 3D 内容。
- 工作线程检测,游戏线程场景更新。
- 使用校准文件进行镜头畸变补偿。
跟踪和姿势估计(标记/NFT)
- ARToolKit NFT 管道通过类似 FAST/ORB 的特征提取实现了标记检测。
- 通过描述符匹配计算单应性并生成 6DoF 姿势。- 应用具有固定阈值的时间平滑和稳定来减少抖动。
移动性能
- 相机处理和标记检测在单独的线程中运行。
- 主循环不会被队列上的线程安全数据传输阻塞。
- 目标性能:60 FPS,测量:Unreal 分析工具(基于设备的测试)。
内容管道
- 优化了 CAD 模型,应用了 LOD 和纹理压缩。
- 根据移动内存限制使用异步加载和清理策略。
用户体验:逐步组装
- 通过 DataTable 管理步骤,使用 Sequencer 建立动画流程。
- 步骤号、部件名称和警告显示在 UMG 界面中。
- 前进/后退步骤通过触摸和滑动手势控制。
基于标记与无标记(简要比较)
- 基于标记在受控环境中提供高稳定性和低计算成本。
- 无标记 (SLAM) 更灵活,但在低纹理表面上可能不稳定。
- 基于标记的方法可以通过印刷目录在现场快速入门。
- 无标记方法使内容设置更容易,但需要更多校准。
- 基于标记在低端设备上提供更安全的 FPS。
- 无标记在用户体验方面更自然,但电池消耗增加。
影响/结果
- 装配错误减少 - 80% - 周期:[X],基线:现场装配错误 - 来源:现场报告/模拟 KPI(客户报告)。
- 设置时间改进 - 40% - 周期:[X],基线:手动编目时间 - 来源:现场报告(客户报告)。
- 现场操作标准化 - 质量改进 - 来源:现场领导反馈(客户报告)。- 移动性能 - 60 FPS 目标 - 测量:基于设备的配置文件测试。
关键权衡
- 基于标记的准确性与无标记的灵活性。
- 虚幻引擎视觉质量与本机性能成本。
- 相对于电池消耗和设备温度的高精度。
常见问题解答
为什么选择基于标记的 AR?
用于在现场条件下稳定跟踪和快速启动。
ARToolKit NFT 是如何工作的?
它匹配特征点并使用单应性创建姿势。
为什么使用虚幻引擎?
便于 3D 内容管理、渲染和跨平台分发。
移动性能是如何保持的?
具有线程分离、LOD、纹理压缩和异步加载。
CAD 模型是如何优化的?
具有多边形减少、LOD 和光材质设置。
支持离线场景吗?
维护缓存和本地内容存储的基本指导。
项目印记
- 客户:Mulcol 灭火技术公司
- 开发商公司:feliXart studios
- 角色:首席开发人员/首席软件开发人员
- 平台:iOS、安卓
- 引擎:虚幻引擎 4 -核心语言:C++
- AR框架:ARToolKit(基于标记的跟踪)
- 竣工日期:2017年5月
- 页面日期:2017-05-30