动态环境感知

我们致力于探索计算机对三维场景感知和理解的可能性,其基本研究内容包括从传感器输入中明确主体在环境中的位置和运动模式,并且对环境和其中的物体形成鲁棒的三维表示等,最终期望为计算机在真实世界中的自由行动提供基础的感知算法。

1. 明确主体在环境中的位置和运动模式,具体是指对相机在环境中的位姿和轨迹进行估计。在这个方面,我们期望将计算机视觉中经典的几何方法和基于学习的语义理解相结合,从而高效且精确地实现该目标。

2. 对环境和其中的物体进行鲁棒的三维表示,则涉及到对场景的三维重建和对物体的三维检测。为了实现这一目标,我们期望将计算机视觉和计算机图形学结合,从多模态的传感器中高效地提取关键信息,从实际需求出发,为场景和物体构建精确而全面的三维表示

室内外动态环境感知示意图

图1. 室内外动态环境感知示意图

主要相关论文

MESA: Matching Everything by Segmenting Anything

CVPR 2024 [Project] [Code] [BibTex]

Zhang, Yesheng; Zhao, Xu

3DTRIP: A General Framework for 3D Trajectory Recovery Integrated With Prediction

IEEE Robotics and Automation Letters 2023 [BibTex]

Ni, Yiyang; Zhao, Xu

EdgeStereo: An Effective Multi-task Learning Network for Stereo Matching and Edge Detection

IJCV 2020 [BibTex]

Song, Xiao; Zhao, Xu; Fang, Liangji; Hu, Hanwen; Yu, Yizhou