(2024届 硕士)邮箱：chzh9311@sjtu.edu.cn课题组：人体姿态估计研究兴趣：三维人体姿态估计、优化算法

(2024届 硕士)邮箱：cszhou159@sjtu.edu.cn课题组：视觉检测测量研究兴趣：缺陷检测

(2024届 硕士)邮箱：pursueyyh@sjtu.edu.cn课题组：人体表面重建研究兴趣：以2.5D/3D数据为输入，利用频域的特性增强人体表面重建的可解释性

(2024届 硕士)邮箱：hrt2021@sjtu.edu.cn课题组：生成模型研究兴趣：图像生成模型

(2024届 硕士)邮箱：1084004851@qq.com课题组：视觉检测测量研究兴趣：缺陷检测、显著性检测

(2021 直博生)邮箱：cz_zhao@sjtu.edu.cn课题组：视频行为理解研究兴趣：视频理解中的时序建模、无监督原子动作分割

(2020 普博生)邮箱：zhaozixuan@sjtu.edu.cn课题组：视频行为理解研究兴趣：video understanding，temporal action detection

(2020 普博生)邮箱：sherrywaan@sjtu.edu.cn课题组：人体姿态估计研究兴趣：双目三维人体姿态估计

(2020 直博生)邮箱：dengyong2016@sjtu.edu.cn课题组：人体表面重建研究兴趣：时序三维人体表面重建

(2024届 博士)邮箱：yiming.bao@sjtu.edu.cn课题组：人体姿态估计研究兴趣：3D Human Reconstruction, Visual-Inertial Fusion, Medical Image Analysis

口型同步是将说话人的嘴唇动作与相应的音频同步的任务。它是许多多媒体应用程序的重要组成部分。实现高质量的口型同步需要准确地模拟音频和视觉信息之间的关系，以及人脸的细节。迄今为止，现有的说话人脸生成方法可以分为两种类型。一种类型使用中间表示（例如人脸关键点）来生成通常会导致僵硬外观的嘴唇运动。另一种类型通过最小化音频和视频编码之间的距离直接生成图像，但通常存在图像分辨率低且缺乏细节的问题。为了解决上述问题，我们提出了一种两阶段方法，该方法利用基于移位窗口的交叉注意机制和矢量量化变分自编码生成对抗网络（VQGAN）。在第一阶段，我们使用 VQGAN 重建精细图像并获得人脸图像的潜在编码字典。在第二阶段，我们引入了一种新颖的网络，利用基于移位窗口的交叉注意力来生成以音频输入为条件的同步图像的潜在表示。为了评估性能，我们从新闻播音员那里收集了高清面部数据集。实验结果表明，我们的方法可以在不同分辨率下生成准确的说话人脸。此外，它可以捕捉到更准确的面部细节，尤其是在高分辨率场景下，可以达到照片般逼真的效果。图1. 口型同步算法流程示意图

在工业生产过程中，金属板带型产品表面受加工设备损坏或工业恶劣环境的影响，难免会造成一定的表面质量问题，例如划痕、孔洞、麻点等，其表面的一些缺陷不仅会直接影响产品外观表现，还会对于后延产品的机械性能、使用性能、成品率造成影响。以工业产品铝箔为例，其主要用途为空调机的散热片，其表面有一层涂层，此图层不仅要具有亲水性，还要经过耐酸耐碱检测，以保证其具有防腐蚀的功能。在生产过程中，受各个环节和设备的影响会出现缺涂、划痕等缺陷，致使其不具有正常产品功能，无法使用。目前，产品的质检主要由人工完成。但是由人工来做测量和判断会因为疲劳、主观差异等产生误差和错误。传统人工目检法存在检测率低、实时性差、检测置信度低、环境适应性差等缺点。智能缺陷检测项目基于计算机视觉和深度学习技术，结合高精度工业相机，旨在对工业现场中的缺陷进行智能检测。项目通过对设备运行时所拍摄的图像进行实时分析和识别，能够自动判断和标注出各种不同类型的缺陷，包括缺涂、划痕、异物等，提高了生产线检测的效率和精度。该项目积累了大量的图像数据，并不断进行算法优化，达到了较高的检测准确率和稳定性，误检率达到0，漏检率降低到20%以下。图1. 人工缺陷检测现场示意图 图2. 智能缺陷检测结果示意图