- 命中检测 用户可通过点击终端设备屏幕选中现实环境中的兴趣点 。AR Engine 通过命中检测技术 ， 将终端设备屏幕上的兴趣点映射为现实环境中的兴趣点 ， 并以兴趣点为源发出一条射线连接到摄像头所在位置 ， 然后返回射线与平面（或特征点）的交点 。 命中检测能力使您可与虚拟物体进行交互 。
环境跟踪 跟踪设备周围的光照、平面、图像、物体、环境表面等环境信息 ， 辅助您的应用实现虚拟物体以场景化的方式逼真地融入现实物理世界 。 目前环境跟踪主要包括以下能力：光照估计、平面检测、图像跟踪、环境 Mesh、平面语义、3D 云识别、目标语义 。
- 光照估计 跟踪设备周围的光照信息 ， 支持估计环境光的强度 。AR Engine 可跟踪设备周围的光线信息 ， 并计算出摄像头图像的平均光照强度 。 光照估计能力可让虚拟物体融入到真实的光照环境中 ， 看起来更加逼真 。
- 平面检测 检测水平和垂直平面（例如地面或墙面） 。AR Engine 可识别到水平和垂直平面（地面或墙面）上的成群特征点 ， 并可识别到平面的边界 ， 您的应用可使用这些平面来放置您需要的虚拟物体 。
- 图像跟踪 识别和跟踪 2D 图像的位置和姿态 。AR Engine 提供图像识别与跟踪的能力 ， 检测场景中是否存在用户提供的图像 ， 识别之后输出图像的姿态 。通过图像识别与跟踪功能 ， 您可实现基于现实世界场景中图像（海报或封面等）的增强现实 。 您可提供一组参考图像 ， 当这些图像出现在终端设备的相机视野范围内时 ， AR Engine 可为您的 AR 应用实时跟踪图像 ， 丰富场景理解及交互体验 。
- 环境 Mesh 实时计算并输出当前画面中的环境 Mesh 数据 ， 可用于处理虚实遮挡等应用场景 。AR Engine 提供实时输出环境 Mesh 能力 ， 输出内容包括终端设备在空间中的位姿 ， 当前相机视角下的三维网格 ， 目前拥有后置深度摄像头的机型支持 ， 且支持的扫描环境为静态场景 。通过环境 Mesh 能力 ， 您可将虚拟物体放置在任意可重建的曲面上 ， 而不再受限于水平面和垂直面 。 同时您可利用重建的环境 Mesh 实现虚实遮挡和碰撞检测 ， 使得虚拟角色能够准确的知道当前所在的周围三维空间情况 ， 帮助您实现更好的沉浸式 AR 体验 。
- 平面语义 识别平面语义（例如桌面、地板、门等） 。AR Engine 可识别当前平面的语义 ， 目前可以识别桌面、地板、墙壁、座位、天花板、门、窗户、床 。
- 3D 云识别 识别和跟踪 3D 物体的位置和姿态 。AR Engine 检测场景中是否存在用户在云侧配置的 3D 物体 ， 当这些物体出现在终端设备的相机视野范围内时 ， 云侧实时返回识别结果至终端设备 ， 实现基于现实世界场景中 3D 物体的增强现实 。
推荐阅读
