谷歌被秒杀！高保真3D头像逼真到恐怖 小姐姐挤眼，挑眉毫无破绽

5月31日 消息:最近，一项由德国慕尼黑工业大学（TUM）和伦敦大学学院(UCL)等研究团队提出的新算法——NPGA(Neural Parametric Gaussian Avatar)，引起了广泛关注。这项技术能够生成高保真3D头像，逼真的表情甚至让人怀疑自己的眼睛。

从官方给出的演示可以看到，NPGA生成的小姐姐不仅可以做出挤眼，挑眉，嘟嘴等各种丰富的表情，而且眼神细节等丝毫看不出破绽，俨然和真人无异。

NPGA技术的创新点

NPGA采用[]了一种基于高[]斯点云的方法[]来生成3D人[]像形状。这种[]方法通过无数[]个点来构建3[]D头像，使得[]渲染更加高效[]和逼真。此外[]，NPGA引[]入了神经参数[]化头部模型（[]NPHM），[]可以捕捉人脸[]细微的表情变[]化，从而使3[]D数字化身能[]够更真实地模[]拟人类表情。[]

NPGA算法亮点:

• 高保真3D头像:NPGA能够生成逼真的3D头像，表情丰富，接近真实人类。

• 恐怖谷效应:逼真度极高，以至于让人难以区分是真人还是虚拟形象。

• 创新技术:与传统的3D网格模型相比，NPGA使用高斯点云，通过点来构建3D人像形状，提高渲染效率和逼真度。

• 神经网络模型:利用神经参数化头模型（NPHM）捕捉人脸细微表情变化，模拟真实人类表情。

• 拉普拉斯项:增强数字化身的表现力，通过潜在特征和预测动态提升化身的真实感。

技术细节:

数据集NeR[]Semble[]:包含470[]0多个多视角[]、高分辨率、[]高帧率视频，[]涵盖头部运动[]、情绪、表情[]和口语。

训练和优化:[]使用Mono[]NPHM模型[]和COLMA[]P计算的点云[]追踪，实现几[]何精确的模型[]追踪。

循环一致性目[]标:反转Mo[]noNPHM[]的后向变形场[]，与基于光栅[]化的渲染兼容[]。

规范高斯点云[]和MLP:包[]含先验网络F[]进行前向变形[]，网络G学习[]细粒度动态细[]节。

应用前景:

电影、游戏、[]AR/VR远[]程会议:NP[]GA技术可广[]泛应用于这些[]领域，提供逼[]真的虚拟角色[]。

元宇宙:逼真[]的3D化身对[]于构建沉浸式[]虚拟世界至关[]重要。

实验评估:

自我重现任务[]:评估NPG[]A算法的保真[]度，结果显示[]在自我重现任[]务中有显著提[]升。

交叉重现任务[]:将一个人的[]表情转移到另[]一个虚拟化身[]上，NPGA[]表现出色。

局限性:

可控性和重建[]质量:受限于[]底层3DMM[]表达空间，某[]些区域如颈部[]、躯干等无法[]完全解释。

数据驱动限制[]:受可用数据[]限制，可能需[]要扩展底层3[]DMM以提供[]更详细的人类[]状态描述。

项目页：ht[]tps://[]tobias[]-kirsc[]hstein[].githu[]b.io/n[]ersemb[]le/

论文地址：https://arxiv.org/pdf/2405.19331