Xuanke Shi bio photo

Email

Github

Google Scholar

ResearchGate

更新时间:2024/01/18   English Version (英文)

项目


3D人脸重建

单张照片3D人脸重建。


我用这种技术模拟了我外婆的人像。


猎壶者

提出了一种跨相机多目标冰壶跟踪系统,称为CurlingHunter,可实际应用于实际冰壶比赛(由于冰壶比赛的规定,冰壶上不能添加任何辅助设备,因此只能采用机器视觉等非接触式测量方法),CurlingHunter 解决了这些问题:

  1. 在遮挡较多的超大空间环境下,通过远视距离(>20m)准确捕捉相对较小的冰壶;
  2. 大场景图像畸变校正;
  3. 遮挡问题,干扰跟踪和准确度,冰壶在比赛中很容易被运动员擦冰、其他人或物体遮挡;
  4. 因为冰壶具有相同的外观特征,导致多枚冰壶的跟踪和重新识别问题;


作为第一个应用于冰壶比赛的系统,CurlingHunter2022年北京冬奥会冰壶赛和2022年北京冬残奥会冰壶赛上展现了出色的表现。尽管我们专注于冰壶运动,但我们的系统可以轻松转移到其他运动中。

人像风格化

该项目将给定的图像转换为十几种不同的风格,同时保留输入者的特征:素描、美国漫画、漫画、油画、CG风格、迪士尼风格等。


3D人脸卡通化

该项目将给定图像转换为3D版本卡通形象


Avatar 头部姿态估计

该项目估计视频中的人物头部姿态,保证avatar姿态平稳连续


Avatar 自动创建和 Blendshape 生成

Avatar自动捏脸并自动生成blendshape。请注意,对模型的拓扑没有要求



视频驱动生成的形象. 请注意,blendshape动画无任何穿模现象


语音驱动数字人

给定文本或音频,我们生成视音频同步的 2D 头像。说话时头部各部分看起来很自然,没有任何奇怪的嘴、牙齿和鼻子的动作. 同时, 我作为核心研发, 独立完成了 (a) 户外数字人 (b) 视频翻译(HeyGen竞品) (c) 动态局部片段视频融合等 (d) 端侧小模型


我们使用了这项技术还原了商汤科技创始人汤晓鸥的脱口秀表演 完整视频链接

人生也是一样, 向前看, 别回头!


VIMI: 可控人物视频生成

给定参考图,参考动作视频, 生成参考图的动画视频



深度相机人体深度补全

一种基于人体深度补全的AR特效


三维视觉及机器人技术

这个项目是关于物体六自由度估计和机器人操作的。这个项目已经过去太久了,所以我只选择了一些残存的图片。

  1. 关于点分割和物体姿态估计的一些东西。



  1. 关于机器人技术和运动规划的一些内容




更新时间:2024/01/18   English Version (英文)