三维模型的构建方法与流程-尊龙凯时官方app下载

文档序号:36405500发布日期:2023-12-16 11:41阅读:10来源:国知局

三维模型的构建方法、三维构建模型的训练方法及装置
技术领域
1.本技术实施例涉及人工智能技术领域,特别涉及一种三维模型的构建方法

三维构建模型的训练方法及装置



背景技术:

2.随着人工智能技术的发展,神经网络模型可被用于三维模型的构建场景中,诸如三维全身模型

三维头部模型

三维脸部模型等构建场景

3.以三维头部模型为例,相关技术针对现实生活,通过神经网络模型学习面部姿势

光照和表情控制,以实现三维头部模型的构建

然而,在构建游戏角色的三维头部模型的情况下,由于游戏角色的面部表情夸张

特效多,因此相关技术训练得到的神经网络模型难以结合游戏特效,进行三维头部模型的夸张表情渲染



技术实现要素:

4.本技术实施例提供了一种三维模型的构建方法

三维构建模型的训练方法及装置,能够提高三维头部模型的生成灵活性

所述技术方案包括如下内容

5.根据本技术实施例的一个方面,提供了一种三维模型的构建方法,所述方法包括:获取输入头部图像的初始三维头部模型,所述初始三维头部模型具有所述输入头部图像对应的头部姿势和面部表情;在形变空间中对所述初始三维头部模型进行点采样,得到形变点集,所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点,所述形变点是待形变的点;获取所述形变点集对应的规范点集,所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点;基于所述规范点集,构建所述输入头部图像对应的规范三维头部模型;对于所述规范点集中的各个规范点,基于所述规范点的三维位置和单位方向,预测得到所述规范点的预期颜色值;根据所述各个规范点的预期颜色值,对所述规范三维头部模型进行渲染,得到所述输入头部图像对应的最终三维头部模型

6.根据本技术实施例的一个方面,提供了一种三维构建模型的训练方法,所述方法包括:获取样本头部图像的初始三维头部模型,所述初始三维头部模型具有所述样本头部图像对应的头部姿势和面部表情;在形变空间中对所述初始三维头部模型进行点采样,得到形变点集,所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点,所述形变点是待形变的点;通过三维构建模型获取所述形变点集对应的规范点集,所述规范点集中的规范点
是指所述形变点被形变至规范空间中所对应的点;通过所述三维构建模型基于所述头部姿势

所述面部表情和所述规范点的三维位置,预测得到所述规范点的预测占用率,所述预测占用率用于预测表示所述规范点的编码复杂程度;对于所述规范点集中的各个规范点,通过所述三维构建模型基于所述规范点的三维位置和单位方向,预测得到所述规范点的预期颜色值;基于所述各个规范点的预测占用率和预期颜色值,对所述三维构建模型进行训练,得到训练后的三维构建模型,所述训练后的三维构建模型用于构建并渲染得到输入头部图像的最终三维头部模型

7.根据本技术实施例的一个方面,提供了一种三维模型的构建装置,所述装置包括:初始模型获取模块,用于获取输入头部图像的初始三维头部模型,所述初始三维头部模型具有所述输入头部图像对应的头部姿势和面部表情;形变点集获取模块,用于在形变空间中对所述初始三维头部模型进行点采样,得到形变点集,所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点,所述形变点是待形变的点;规范点集获取模块,用于获取所述形变点集对应的规范点集,所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点;规范模型构建模块,用于基于所述规范点集,构建所述输入头部图像对应的规范三维头部模型;颜色值预测模块,用于对于所述规范点集中的各个规范点,基于所述规范点的三维位置和单位方向,预测得到所述规范点的预期颜色值;最终模型获取模块,用于根据所述各个规范点的预期颜色值,对所述规范三维头部模型进行渲染,得到所述输入头部图像对应的最终三维头部模型

8.根据本技术实施例的一个方面,提供了一种三维构建模型的训练装置,所述装置包括:初始模型获取模块,用于获取样本头部图像的初始三维头部模型,所述初始三维头部模型具有所述样本头部图像对应的头部姿势和面部表情;形变点集获取模块,用于在形变空间中对所述初始三维头部模型进行点采样,得到形变点集,所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点,所述形变点是待形变的点;规范点集获取模块,用于通过三维构建模型获取所述形变点集对应的规范点集,所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点;占用率预测模块,用于通过所述三维构建模型基于所述头部姿势

所述面部表情和所述规范点的三维位置,预测得到所述规范点的预测占用率,所述预测占用率用于预测表示所述规范点的编码复杂程度;颜色值预测模块,用于对于所述规范点集中的各个规范点,通过所述三维构建模型基于所述规范点的三维位置和单位方向,预测得到所述规范点的预期颜色值;构建模型训练模块,用于基于所述各个规范点的预测占用率和预期颜色值,对所述三维构建模型进行训练,得到训练后的三维构建模型,所述训练后的三维构建模型用于
构建并渲染得到输入头部图像的最终三维头部模型

9.根据本技术实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述三维模型的构建方法,或者实现上述三维构建模型的训练方法

10.根据本技术实施例的一个方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述三维模型的构建方法,或者实现上述三维构建模型的训练方法

11.根据本技术实施例的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中

计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述三维模型的构建方法,或者执行上述三维构建模型的训练方法

12.本技术实施例提供的技术方案可以包括如下有益效果

13.通过基于输入头部图像,构建具有输入头部图像对应的头部姿势和面部表情的初始三维头部模型,再将该初始三维头部模型形变至规范空间,得到规范三维头部模型,再结合预期颜色值对该规范三维头部模型进行渲染,即可得到头部姿势和面部表情完全可控的最终三维头部模型,也即通过调整输入头部图像即可灵活调整最终三维头部模型的头部姿势和面部表情,从而提高了三维头部模型的生成灵活性

附图说明
14.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图

15.图1是本技术一个实施例提供的方案实施环境的示意图;图2是本技术一个实施例提供的三维构建模型的示意图;图3是本技术一个实施例提供的三维构建模型的训练方法的流程图;图4是本技术另一个实施例提供的规范点集的获取方法的流程图;图5是本技术一个实施例提供的三维模型的构建方法的流程图;图6是本技术一个实施例提供的面部区域的示意图;图7是本技术一个实施例提供的三维模型的构建装置的框图;图8是本技术另一个实施例提供的三维模型的构建装置的框图;图9是本技术一个实施例提供的三维构建模型的训练装置的框图;图
10
是本技术另一个实施例提供的三维构建模型的训练装置的框图;图
11
是本技术一个实施例提供的计算机设备的框图

具体实施方式
16.在对本技术实施例进行介绍说明之前,首先对本技术中涉及的相关名词进行解释说明

17.1、
形变
其是指改变
3d
模型的形状的过程,如可通过调整各种参数和属性,对
3d
模型进行扭曲

拉伸

挤压等处理

其在
3d
模型的个性化定制和创意设计中扮演重要角色

18.2、mesh
网格,图形学中的基础单元

例如,
3d
模型的表面由多个网格(如三角面片

四角面片等)拼接而成
。mesh
也可以被称之为
vertex
(顶点),如三维模型可以看成是多个小三角形组成,每个小三角形就可以看成一个顶点,顶点越多,三维模型越精细

19.3、3d
重建其是指对三维物体建立适合计算机表示和处理的数学模型的过程,如该数学模型是在计算机环境下对三维物体进行处理

操作和分析性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术

20.4、
蒙皮其是指一种将
3d
模型绑定到骨骼上的技术

例如,在三维软件中创建的
3d
模型的基础上,为
3d
模型添加骨骼,由于骨骼与
3d
模型是相互独立的,为了让骨骼驱动
3d
模型以产生合理的运动,则可以利用蒙皮技术将
3d
模型绑定到骨骼上

21.为使本技术的目的

技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述

22.人工智能(
artificial intelligence

ai
)是利用数字计算机或者数字计算机控制的机器模拟

延伸和扩展人的智能,感知环境

获取知识并使用知识获得最佳结果的理论

方法

技术及应用系统

换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器

人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知

推理与决策的功能

23.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术

人工智能基础技术一般包括如传感器

专用人工智能芯片

云计算

分布式存储

大数据处理技术

预训练模型技术

操作
/
交互系统

机电一体化等

其中,预训练模型又称大模型

基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务

人工智能软件技术主要包括计算机视觉技术

语音处理技术

自然语言处理技术以及机器学习
/
深度学习等几大方向

24.计算机视觉技术(
computer vision

cv
)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别

跟随和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像

作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统

大模型技术为计算机视觉技术发展带来重要变革,
swin-transformer、vit

vision transformer
,视觉转换器)
、v-moe

vision mixture-of-experts

、mae

masked autoencoders
,掩码自动编码器)等视觉领域的预训练模型经过微调(
fine tune
),可以快速

广泛适用于下游具体任务

计算机视觉技术通常包括图像处理

图像识别

图像语义理解

图像检索
、ocr

optical character recognition
,光学字符识别)

视频处理

视频语义理解

视频内容
/
行为识别

三维物体重建
、3d

three-dimensional
)技术

虚拟现实

增强现实

同步定位与地图构建等技术

25.机器学习(
machine learning

ml
)是一门多领域交叉学科,涉及概率论

统计学

逼近论

凸分析

算法复杂度理论等多门学科

专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能

机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域

机器学习和深度学习通常包括人工神经网络

置信网络

强化学习

迁移学习

归纳学习

示教学习等技术

预训练模型是深度学习的最新发展成果,融合了以上技术

26.本技术实施例提供的技术方案涉及人工智能的计算机视觉技术和机器学习技术

首先,其可以利用计算机视觉技术,进行图像(如输入头部图像和样本头部图像)的扫描,以构建初始三维头部模型

其次,其可利用机器学习技术,对三维构建模型(如形变网络

占用网络和纹理网络)进行训练,以得到训练完成的三维构建模型,该训练完成的三维构建模型可用于构建并渲染得到具有输入头部图像对应的头部姿势和脸部表情的三维头部模型

27.本技术实施例提供的技术方案适用于任何需要三维头部模型构建的场景中,诸如游戏角色构建(如
3d
游戏)

动画制作(如
3d
动画)
、3d
重建等场景

本技术实施例提供的技术方案能够提高三维头部模型的生成灵活性

28.下述将对本技术实施例提供方案实施环境和三维构建模型的模型架构进行说明

29.请参考图1,其示出了本技术一个实施例提供的方案实施环境的示意图

该方案实施环境可以包括模型训练设备
10
和模型使用设备
20。
30.模型训练设备
10
可以是诸如手机

台式电脑

平板电脑

笔记本电脑
、pc

personal computer
,个人计算机)

车载终端

服务器

智能机器人

智能电视

多媒体播放设备等电子设备,或者是其他一些具有较强计算能力的电子设备,本技术实施例对此不作限定

其中,服务器可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心

31.模型训练设备
10
用于对三维构建模型
30
进行训练

可选地,模型训练设备
10
可以采用机器学习的方式对该三维构建模型
30
进行训练,以使得其具备较好的性能

其中,三维构建模型
30
是一种用于构建三维头部模型的神经网络模型

该三维构建模型
30
以头部图像为输入,以该头部图像对应的三维头部模型为输出

其中,三维头部模型是指头部的三维模型,头部图像是指包含头部的图像,诸如头部对应的
rgb

red-green-blue
,红色-绿色-蓝色)图像
、rgb-d

rgb-depth

rgb-深度)图像

视频帧

贴图

头像等

32.可选地,上述训练过程是一个迭代过程,如采用多批样本头部图像,对三维构建模型
30
的参数进行迭代调整,以得到训练完成的三维构建模型
30
,本技术实施例以某一个样本头部图像对应的训练过程为例进行说明

可选地,迭代的终止条件可以包括以下至少一种:最小化三维构建模型
30
的总损失

迭代次数大于或等于阈值

三维构建模型
30
的总损失小于或等于阈值等,本技术实施例对此不作限定

33.上述训练完成的三维构建模型
30
可部署在模型使用设备
20
中使用,以提供三维头部模型的构建服务

模型使用设备
20
可以是诸如手机

台式电脑

平板电脑

笔记本电脑

个人计算机

车载终端

服务器

智能机器人

智能电视

多媒体播放设备等电子设备,或者是其他一些具有较强计算能力的电子设备,本技术实施例对此不作限定

34.可选地,模型使用设备
20
中可以安装目标应用程序的客户端,该目标应用程序可以是诸如
3d
模型构建类应用程序
、3d
重建类应用程序

游戏角色模型构建类应用程序

动画制作类应用程序,以及任何支持
3d
模型构建的应用程序

可选地,上述目标应用程序的客户
端支持上述训练完成的三维构建模型
30。
35.示例性地,该三维构建模型
30
可用于游戏类应用程序的建模资源的快速建模场景中

例如,针对一些建模困难的游戏角色,可通过该三维构建模型
30
重新快速渲染建模,以得到该游戏角色的三维头部模型,然后再将该三维头部模型送入游戏类应用程序中实现快速调试,如此可以实现一些不合格的三维头部模型的替换和调试

36.在一个示例中,参考图2,上述三维构建模型
30
包括形变网络
31、
占用网络
32
和纹理网络
33。
37.形变网络
31
是指用于对三维模型进行形变的神经网络,其可用于将三维模型从观察空间(如形变空间)形变至规范空间,以得到规范三维模型

示例性地,其以形变空间中的形变点为输入,以该形变在规范空间中对应的规范点为输出

该形变网络
31
学习有规范空间对应的蒙皮权重场,以实现形变

可选地,该形变网络
31
可以采用诸如
mlp

multi-layer perceptron
,多层感知机)
、resnet101
(具有
101
层的深度残差网络)
、resnet50、cnn

convolutional neural network
,卷积神经网络)
、dnn

deep neural networks
,深度神经网络)等神经网络构建,其也可以采用上述预训练模型构建,本技术实施例对此不作限定

38.其中,形变空间(
deformed space
)可以是指形变前的空间,如
smpl-x

skinned multi-person linear model-x
)模型对应的空间,规范空间(
canonical space
)可以是指形变后的空间,如一个标准的体积空间
/
范围

其中,
smpl-x
模型本身是广泛使用的参数化人体模型

39.可选地,形变网络
31
可以包括多个子网络(即形变器),每个子网络对应处理头部的一个部位

示例性地,本技术实施例将头部划分成四个部分:脸部

左耳

右耳和头发,则可以为形变网络
31
设置四个子网络(如图2中的形变器
1-4
),以分别对该四个部位进行形变

40.占用网络
32
是指用于对占用率进行预测的神经网络,其可用于预测得到规范点的预测占用率,该预测占用率可用于表征该规范点的形状

示例性地,占用网络
32
以规范点的三维位置

头部姿态(如头发姿势)和脸部表情为输入,以规范点的预测占用率为输出

可选地,该占用网络
32
可以采用诸如
mlp、resnet101、resnet50、cnn、dnn
等神经网络构建,其也可以采用上述预训练模型构建,本技术实施例对此不作限定

41.纹理网络
33
是指用于对颜色值进行预测的神经网络,其可用于预测得到规范点的预测颜色值,该预测颜色值可用于表征该规范点的纹理

示例性地,纹理网络
33
以规范点的三维位置和单位方向为输入,以规范点的预测颜色值为输出

可选地,该纹理网络
33
可以采用诸如
mlp、resnet101、resnet50、cnn、dnn
等神经网络构建,其也可以采用上述预训练模型构建,本技术实施例对此不作限定

42.本技术实施例对三维构建模型
30
的模型架构不作限定,上述实施例中的三维构建模型
30
仅为示例性地和解释性地,凡是能够实现三维头部模型构建的模型应当均在本技术实施例的保护范围内

43.下述为本技术方法实施例,通过该方法实施例对三维构建模型的训练过程和三维模型的构建过程进行说明,对于本技术方法实施例中未披露的细节,请参照上述实施例

44.请参考图3,其示出了本技术一个实施例提供的三维构建模型的训练方法的流程图,该方法各步骤的执行主体可以是图1所示方案实施环境中的模型训练设备
10
,该方法可
以包括如下几个步骤(
301~306


45.步骤
301
,获取样本头部图像的初始三维头部模型,该初始三维头部模型具有样本头部图像对应的头部姿势和面部表情

46.样本头部图像是指用于作为训练样本的头部图像,头部图像是指包括头部的图像,诸如针对游戏角色的头部图像

针对三维模型的头部图像

针对人的头部图像,本技术实施例对此不作限定

47.可选地,头部图像携带有头部的姿势信息

表情信息和纹理信息

头部姿势即是指头部的姿势信息,面部表情是指头部对应的脸部的表情

本技术实施例对头部图像对应的头部姿势和面部表情不作限定,其可以是虚构的夸张姿势和表情,也可以是真实的姿势和表情,还可以是指带有特效的姿势和表情

48.在本技术实施例中,头部姿势可以包括以下至少之一:头发姿势

铰接式耳朵姿势

脸部姿势

头部的整体姿势

49.上述初始三维头部模型可以对样本头部图像中的头部进行扫描,构建得到的三维头部模型,该初始三维头部模型的表面可由多个网格拼接得到

50.在一个示例中,该初始三维头部模型可以是一种参数化人体模型,该初始三维头部模型的构建过程可以如下:对样本头部图像进行姿势扫描,得到头部姿势和面部表情

基于头部姿势和面部表情,以及形状参数,构建得到初始三维头部模型;其中,形状参数用于控制初始三维头部模型的形状

51.示例性地,可以利用
smpl-x
技术基于样本头部图像,构建得到初始三维头部模型,该初始三维头部模型可以是
smpl-x
模型,该
smpl
模型可以是一种裸体的基于顶点(即网格)的三维模型,其能够精确地表示三维物体的不同形状和姿态

上述形状参数可利用
pca

principal components analysis
,主成分分析)原理控制
mesh
的胖瘦高矮,从而实现控制整个三维头部模型的形状

52.例如,初始三维头部模型可以表示如下:;其中,为形状参数,为头部姿势,为面部表情

可以进一步分为头部的整体姿势

脸部姿势

铰接式耳朵姿势和头发姿势

在一个示例中,,
、、、、

n=10475。
53.步骤
302
,在形变空间中对初始三维头部模型进行点采样,得到形变点集,该形变点集包括初始三维头部模型在形变空间中的多个形变点,形变点是待形变的点

54.可选地,形变点可以是指在初始三维头部模型的表面上的点,也即对初始三维头部模型的表面上的点进行点采样,即可得到形变点集

采样点的三维位置可以采用其在形变空间中的三维坐标表示

55.在一个示例中,为了减少三维头部模型的构建工作量,提高三维头部模型的构建效率,本技术实施例采用部分感知采样,也即针对头部的不同部位以指定采样率进行采样,以得到形变点集,如此也可以使得采集得到的形变点分布合理,有利于提高三维头部模型的构建效果

56.示例性地,形变点集的获取过程可以包括如下内容

57.1、
获取初始三维头部模型的表面上各个点的部位标签,该部位标签与初始三维头部模型的不同部位对应的骨骼相关

58.上述部位标签用于指示头部的部位,该头部的部位可以根据头部的骨骼进行划分

示例性地,头部的部位标签可以记为
p={f

lh

rh

b}
,f为脸部标签,其与脸部对应的骨骼相关;
lh
为左耳标签,其与左耳对应的骨骼相关;
rh
为右耳标签,其与右耳对应的骨骼相关;b为头发标签,其与头发对应的骨骼相关

59.示例性地,可以先获取各个点分别对应的网格,该网格用于拼接成初始三维头部模型的表面

例如,对于各个点,将离点最近的网格确定为该点对应的网格

然后对于各个点,获取点对应的网格的部位标签

可选地,网格的部位标签可以是预先计算得到的

再将点对应的网格的部位标签确定为点的部位标签

60.2、
根据部位标签对各个点进行划分,得到多个点集,不同的点集对应不同的部位标签

61.不同的点集对应不同的部位

示例性地,对于每个部位标签,该部位标签对应的点集可以表示为,其中,用于指示初始三维头部模型的表面上的点,用于指示点的头部标签

62.3、
对于各个部位标签,按照部位标签对应的指定采样率,在形变空间中对部位标签对应的点集进行点采样,得到部位标签对应的形变点

63.上述指定采样率可以根据经验值进行设置与调整,不同部位标签对应的指令采样率可以不相同,如结合部位标签对应的部位的大小,确定该部位标签对应的指定采样率,本技术实施例对此不作限定

64.例如,对于某个点集,根据该点集对应的部位标签,确定该点集对应的指定采样率,再按照该指定采样率对该点集进行采样,即可得到该部位标签的部位对应的形变点

65.4、
对各个部位标签对应的形变点进行组合,得到形变点集

66.可选地,可将各个部位标签对应的形变点作为子集进行组合,以得到形变点集,如此便于后续以部位标签对应的形变器,对部位标签对应的子集中的形变点进行形变,如此有利于提高形变的合理性

67.步骤
303
,通过三维构建模型获取形变点集对应的规范点集,该规范点集中的规范点是指形变点被形变至规范空间中所对应的点

68.可选地,通过三维构建模型中的形变网络对形变点集中的各个形变点进行形变,得到各个形变点分别对应的规范点

本技术实施例中的三维构建模型与上述实施例介绍相同,这里不再赘述

69.本技术实施例中的目标是将初始三维头部模型转换为由关节神经隐式曲面定义的规范三维头部模型,以使得本技术能够处理不同拓扑结构,且能够实现更高的几何分辨率和更高的整体外观保证度,则上述形变网络可以是用于学习连续蒙皮权重的正向线性混合蒙皮(
lbs

linear blending skinning
)的神经网络,以实现形变

其中,蒙皮权重用于指示网格对于不同的关节点(骨骼点)的影响,不同关节点对不同网格的影响不同,网格的形变量与蒙皮权重相关

70.例如,参考图2,形变网络
31
包括形变器1至形变器4,对于部位标签为脸部标签的形变点,采用形变器1获取该形变点对应的规范点;对于部位标签为左耳标签的形变点,采用形变器2获取该形变点对应的规范点;对于部位标签为右耳标签的形变点,采用形变器3获取该形变点对应的规范点;对于部位标签为头发标签的形变点,采用形变器4获取该形变点对应的规范点

71.在一个示例中,以某个形变点的形变过程为例,参考图4,步骤
303
还可以包括如下几个子步骤

72.步骤
303a
,对于形变点集中各个形变点,通过三维构建模型获取形变点在规范空间中对应的至少一个候选点

73.上述候选点是指可能与形变点相对应的规范点,候选点与形变点对应相同的骨骼(即相同的部位标签),则上述至少一个候选点可以记为:,对于,为该部位标签对应的候选点数量,表示第i个候选点

74.示例性地,至少一个候选点的获取过程可以包括如下内容

75.1、
通过三维构建模型获取候选点对应的蒙皮权重,该蒙皮权重用于指示候选点对应的蒙皮点与骨骼之间的关联程度

76.为了模拟骨骼形变,本技术利用形变网络(如
mlp
)基于
lbs
方法学习规范空间中的蒙皮权重场,该蒙皮权重场用于指示如何将形变空间变换到规范空间,形式上为:将由位姿定义的形变空间中的
3d
点转换至规范空间中的
3d


77.示例性地,本技术通过三维构建模型基于规范空间和形变空间之间的变换矩阵,以及头发

耳朵和面部各自对应的骨骼数量,构建蒙皮权重场,该蒙皮权重场用于指示各个形变点的蒙皮权重

78.例如,该蒙皮权重场可以表示如下:;其中,表示候选点(可以以位置编码表征)在规范空间中的蒙皮权重,
nb、nh

nf
分别表示头发

耳朵和面部的骨骼数量,k是联合数

是k的变换矩阵,
wk
是混合重量,j为矩阵

79.然后,从蒙皮权重场中确定出候选点对应的蒙皮权重

例如,可以根据候选点的三维位置,从蒙皮权重场中确定出候选点对应的蒙皮权重,该候选点对应的蒙皮权重即为该候选点对应的形变点的蒙皮权重

80.2、
根据蒙皮权重和骨骼转换关系,构建形变点和规范点之间的形变表达式;其中,骨骼转换关系用于指示初始三维头部模型的各个骨骼的转换方式

81.形变表达式用于指示形变点和规范点之间的形变对应关系

示例性地,若初始三维头部模型的骨骼数量为g,则蒙皮权重,满足且

82.在通过形变网络学习到蒙皮权重场w,以及给定骨骼转换关系的情况下,对于规范空间中的任意点,其唯一的形变表达式可以如下:
;其中,与形变点相对应(本技术实施例中的点可以以三维位置进行表示),为对应的骨骼转换

由于靠近头部某一部位的点很可能受到该部位骨骼的影响最大,如此通过结合骨骼转换关系构建形变表达式,有利于提高形变的准确性和合理性

83.3、
在第一迭代条件的约束下,通过形变表达式查询得到形变点对应的至少一个候选点

84.规范形状是未知的,并且在训练过程中学习

由于形变点和规范点之间的形变对应关系指示隐式定义的,对于每个形变点,需要在第一迭代条件的约束下,对形变表达式进行迭代,以确定形变点对应的至少一个候选点,该第一迭代条件可以表示如下:

如此可通过每个骨骼转换,将形变点逐步转换到的规范空间中,最后通过分析局部收敛来确定形变点对应的至少一个候选点

85.步骤
303b
,通过三维构建模型获取至少一个候选点的预测占用率

86.可选地,通过三维构建模型中的占用网络获取至少一个候选点的预测占用率

该候选点的预测占用率是指预测得到占用率,其可用于表征候选点的形状,以及候选点的编码复杂度

占用网络可用于对规范空间中的头部的几何形状进行建模

87.为了捕捉局部非刚性形变(如面部

服装的褶皱),本技术以头发姿势和面部表情为参数构建占用网络

示例性地,该占用网络可以表示如下:;其中,用于表示候选点的位置编码,以用于指示该候选点的三维位置,如此有利于更好地保留高频细节,为头发姿势,为面部表情

88.例如,参考图2,将头发姿势

面部表情和候选点的位置编码输入占用网络
32
,即可得到该候选点的预测占用率

89.步骤
303c
,根据预测占用率,从至少一个候选点中选择出形变点对应的规范点

90.可选地,将至少一个候选点中预测占用率最大的候选点确定为形变点对应的规范点

91.示例性地,若形变点对应的候选点集为:,则该形变点对应的规范点可以表示如下:;其中,为对应的部位标签,为第i个候选点

92.则形变点对应的预测占用率可以表示如下:

93.形变点对应的预测占用率可用于构建规范三维头部模型

94.步骤
303d
,对各个形变点对应的规范点进行组合,得到规范点集

95.可选地,通过形变网络分别获取各个形变点对应的规范点后,对各个规范点进行组合,即可得到规范点集

96.在一个示例中,为了提高三维构建模型的训练效率,本技术实施例对形变网络中的每个形变器,仅使用骨骼变换进行初始化

其中,每个形变器可以学习有相同的蒙皮权重场,但对应不同的初始化方法

97.示例性地,本技术首先将初始三维头部模型的骨骼划分成四组(对应上述4个部位标签):头发对应的骨骼

左耳对应的骨骼

右耳对应的骨骼和面部对应的骨骼

对于部位标签为的给定形变点,本技术通过如下公式,对该形变点对应的规范点和雅克比矩阵进行初始化:;;其中,可以是常量超参数,也可以是学习参数,本技术实施例对此不作限定;为均值,为方差;为对应的股骨转换关系,是与具有相同维度的潜在变量,

98.步骤
304
,通过三维构建模型基于头部姿势

面部表情和规范点的三维位置,预测得到规范点的预测占用率,该预测占用率用于预测表示规范点的编码复杂程度

99.可选地,通过三维构建模型中的占用网络基于头部姿势

面部表情和规范点的三维位置,预测得到规范点的预测占用率,该过程与候选点的预测占用率获取方法相同,这里不再赘述

100.规范点的预测占用率可用于指示规范点的几何形状,以及指示规范点的编码复杂程度

形变点对应的规范点的预测占用率可以表示如下:

101.步骤
305
,对于规范点集中的各个规范点,通过三维构建模型基于规范点的三维位置和单位方向,预测得到规范点的预期颜色值

102.规范点的三维位置是指规范点在规范空间中的位置,其可以采用
x、y
和z三维坐标进行表示

规范点的单位方向是指用于观察该规范点的单位方向,如从虚拟相机的原点o观察该规范点的单位方向

预期颜色值可以是指通过三维构建模型中的纹理网络预测得到的颜色值,该预期颜色值可用于指示规范点为纹理

103.在一个示例中,预期颜色值的获取过程可以包括如下内容

104.1、
通过三维构建模型基于规范点的三维位置和单位方向,预测得到规范点对应的体密度和初始颜色值

105.体密度(体积密度)是指射线在规范点终止于无穷小粒子的微分概率,初始颜色值是指在单位方向上经过该规范点的光线的颜色

可选地,可通过三维构建模型中的纹理网络基于规范点的三维位置和单位方向,预测得到规范点对应的体密度和初始颜色值

例如,参考图2,将规范点的三维位置和单位方向输入纹理网络
33
,即可得到规范点的体密度和初始颜色值

106.其中,体密度可以表示为:,初始颜色值可以表示为:;其中,是预定义的位置嵌入应用于
p
和d,
p
为规范点的三维位置,d为规范点的位方向

107.2、
通过三维构建模型基于体密度

初始颜色值,以及相机射线,预测得到规范点的预期颜色值;其中,相机射线是指相机原点沿着单位方向穿过规范点的射线

108.为了渲染样本头部图像中像素的颜色值(如
rgb
值),本技术采用纹理网络学习光线从虚拟相机的原点沿单位方向d透射过规范点时,规范点的预测颜色值

示例性地,该预期颜色值可以表示如下:;其中,,其表示沿单位方向d从近边界
tn

t
的累积透射率,为相机射线,表示相机射线在单位方向d上的长度,o为虚拟相机的原点坐标,s表示曲面

109.步骤
306
,基于各个规范点的预测占用率和预期颜色值,对三维构建模型进行训练,得到训练后的三维构建模型,该训练后的三维构建模型用于构建并渲染得到输入头部图像的最终三维头部模型

110.其中,输入头部图像是指用于指示构建三维头部模型的头部图像,如游戏角色的头部图像

人的头部图像

模型的头部图像等,本技术实施例对此不作限定

最终三维头部模型可以是指经过纹理渲染后的规范三维头部模型

111.三维构建模型的训练过程是一个迭代过程,一个样本头部图像用可于一次迭代;或者,一批样本头部图像用于一次迭代,本技术实施例对此不作限定

可将满足迭代条件的三维构建模型确定为训练完成的三维构建模型,训练完成的三维构建模型可被部署在模型使用设备中,以提供三维头部模型的构建服务

112.在一个示例中,先获取样本头部图像对应的训练损失,再根据训练损失对三维构建模型的模型参数进行调整,在三维构建模型的训练过程中,同时对三维构建模型所包括的形变网络

占用网络和纹理网络的模型参数进行调整

113.示例性地,该过程可以包括如下内容

114.1、
对于各个规范点,基于规范点的预测占用率的梯度,得到规范点的预测法线

115.可选地,规范点的预测法线可以表示如下:;其中,为规范点对应的形变点,为预测法线

116.2、
基于各个规范点的预测占用率和预测法线,构建第一子损失,该第一子损失用
于监督规范三维头部模型的几何形状

117.可选地,对于各个规范点,基于规范点的预测占用率和真实占用率,构建该规范点的占用损失,以及基于规范点的预测法线和真实法线,构建该规范点的法线损失;对各个规范点的占用损失进行求和,得到总占用损失,以及对各个规范点的法线损失进行求和,得到总法线损失,再对总占用损失和总法线损失进行加权求和,得到第一子损失

118.其中,真实占用率和真实法线为标签数据,真实占用率用于指示规范点真正的占用率,真实法线用于指示规范点真正的法线

119.示例性地,以二进制交叉熵函数,构建占用损失,以及以
l2
范式构建法线损失,则第一子损失可以表示如下:;其中,为总占用损失,为总法线损失,为对应的权重参数,为对应的权重参数,为真实占用率(统一以规范点对应的形变点表示),为真实法线,和分别表示初始三维头部模型表面上的点和表面周围薄壳内的点

120.3、
基于各个规范点的预测颜色值,构建第二子损失,该第二子损失用于监督规范三维头部模型对应的纹理,该规范三维头部模型是指初始三维头部模型形变至的三维头部模型

121.可选地,对于各个规范点,基于规范点的预测颜色值和真实颜色值,构建该规范点对应的纹理损失,再对各个规范点对应的纹理损失进行求和,得到第二子损失

真实颜色值为标签数据,用于指示规范点真正的颜色值

122.示例性地,以
l2
范式构建纹理损失,则第二子损失可以表示如下:;其中,为对应的权重参数,为预测颜色值,为真实颜色值

123.4、
基于规范三维头部模型的骨骼对应的候选点的预测占用率

关节对应的候选点的蒙皮权重,以及表面对应的候选点的蒙皮权重,构建第三子损失,该第三子损失用于监督规范三维头部模型的网格

124.可选地,对于骨骼对应的候选点,基于候选点的预测占用率和预测占用率上限1,构建候选点的骨骼损失,对各个候选点的骨骼损失进行求和,得到总股骨损失;对于关节对应的候选点,基于候选点的蒙皮权重,以及规范等级
0.5
,构建候选点的关节损失,对各个候选点的关节损失进行求和,得到总关节损失;对于表面对应的候选点,基于候选点的蒙皮权重和真实蒙皮权重,得到形变损失,对各个候选点的形变损失进行求和,得到总形变损失;
对总骨骼损失

总关节损失和总形变损失进行加权求和,得到第三子损失

125.示例性地,该第三子损失可以表示如下:;其中,为总骨骼损失的权重参数,为总关节损失的权重参数,为总形变损失的权重参数,为候选点,n(i)是i关节的邻近骨骼,为真实蒙皮权重;

和分别是指骨骼

关节和网格(表面)对应的候选点

126.5、
基于第一子损失

第二子损失和第三子损失,得到三维构建模型的总损失

127.可选地,对第一子损失

第二子损失和第三子损失进行求和,得到三维构建模型的总损失

128.6、
基于总损失,对三维构建模型进行训练,得到训练后的三维构建模型

129.基于总损失,对三维构建模型的模型参数进行迭代调整,得到训练完成的三维构建模型,本技术实施例对迭代终止条件不作限定

例如,以最小化总损失为目标,对三维构建模型的模型参数进行迭代调整,即可得到训练完成的三维构建模型

130.综上所述,本技术实施例提供的技术方案,通过结合预测占用率

预测法线

预测颜色值

蒙皮权重,同时在几何形状

纹理和形变三个维度对三维构建模型进行训练,有利于提高三维构建模型构建三维头部模型的准确性和逼真程度

131.另外,在头部姿势和面部表情的基础上,结合预期颜色值对三维头部模型进行训练,实现通过该三维头部模型对三维头部模型的头部姿势和面部表情完全可控,也即通过调整头部姿势和面部表情即可灵活调整最终三维头部模型的头部姿势和面部表情,从而提高了三维头部模型的生成灵活性

132.请参考图5,其示出了本技术一个实施例提供的三维模型的构建方法的流程图,该方法各步骤的执行主体可以是图1所示方案实施环境中的模型使用设备
20
,该方法可以包括如下几个步骤(
501~506


133.步骤
501
,获取输入头部图像的初始三维头部模型,该初始三维头部模型具有输入头部图像对应的头部姿势和面部表情

134.上述输入头部图像是指用于指示构建三维头部模型的头部图像,该输入头部图像包括头部信息,诸如头部的姿势信息

表情信息和纹理信息

本技术实施例对输入头部图像不作限定,其可以是诸如游戏角色的头部图像

人的头部图像

三维模型的头部图像等

头部姿势即是指头部的姿势信息,面部表情是指头部对应的脸部的表情,本技术实施例对头部图像对应的头部姿势和面部表情不作限定,其可以是虚构的夸张姿势和表情,也可以是
真实的姿势和表情,还可以是指带有特效的姿势和表情

135.上述初始三维头部模型可以是指以脸部姿势

面部表情为参数表示的三维头部模型

示例性地,可以先对输入头部图像进行姿势扫描,得到头部姿势和面部表情;再基于头部姿势和面部表情,以及形状参数,构建得到初始三维头部模型;其中,形状参数用于控制初始三维头部模型的形状

该初始三维头部模型的获取过程与上述实施例介绍相同,这里不再赘述

136.步骤
502
,在形变空间中对初始三维头部模型进行点采样,得到形变点集,该形变点集包括初始三维头部模型在形变空间中的多个形变点,形变点是待形变的点

137.可选地,在形变空间中对初始三维头部模型的表面上的点进行点采样,即可得到形变点集合,采样点的三维位置可以采用其在形变空间中的三维坐标表示,本技术实施例对形变点的数量不作限定,其可以根据经验值进行设置与调整

138.在一个示例中,形变点集的获取过程可以包括如下内容

139.1、
获取初始三维头部模型的表面上各个点的部位标签,该部位标签与初始三维头部模型的不同部位对应的骨骼相关

140.可选地,先获取各个点分别对应的网格,该网格用于拼接成初始三维头部模型的表面;对于各个点,获取点对应的网格的部位标签;最后将点对应的网格的部位标签确定为点的部位标签

其中,对于各个点,可以将离点最近的网格确定为该点对应的网格

141.2、
根据部位标签对各个点进行划分,得到多个点集,不同的点集对应不同的部位标签

142.示例性地,头部的部位标签可以记为
p={f

lh

rh

b}
,f为脸部标签,其与脸部对应的骨骼相关;
lh
为左耳标签,其与左耳对应的骨骼相关;
rh
为右耳标签,其与右耳对应的骨骼相关;b为头发标签,其与头发对应的骨骼相关

则可以将各个点划分成4个点集,也即脸部标签

左耳标签

右耳标签和头发标签分别对应一个点集

143.3、
对于各个部位标签,按照部位标签对应的指定采样率,在形变空间中对部位标签对应的点集进行点采样,得到部位标签对应的形变点

144.例如,以脸部标签为例,对于脸部标签对应的点集,采用脸部标签对应的指定采样率,在形变空间中对脸部部位标签对应的点集进行点采样,得到脸部标签对应的形变点

相比采用同一的采样率,对表面进行采样,本技术得到的形变点集的质量更高,有利于提高三维头部模型的构建质量

145.4、
对各个部位标签对应的形变点进行组合,得到形变点集

146.例如,对脸部标签

左耳标签

右耳标签和头发标签分别对应的形变点进行组合,得到形变点集

可选地,各个部位标签对应的形变点可以以子集的形式存在

147.步骤
503
,获取形变点集对应的规范点集,该规范点集中的规范点是指形变点被形变至规范空间中所对应的点

148.可选地,输入头部图像对应的最终三维头部模型由上述三维构建模型得到,该三维构建模型包括形变网络和纹理网络,上述规范点集由形变网络获取,下述预测颜色值由纹理网络获取,该形变网络和纹理网络为神经网络

其中,三维构建模型可以是指训练完成的三维构建模型

149.示例性地,通过形变网络对规范点集中的各个形变点进行形变,即可得到规范点


该过程可以包括如下内容:对于形变点集中的各个形变点,获取形变点在规范空间中对应的至少一个候选点,再获取至少一个候选点的预测占用率,该预测占用率用于预测表示候选点的编码复杂程度,然后根据预测占用率,从至少一个候选点中选择出形变点对应的规范点,最后对各个形变点对应的规范点进行组合,得到规范点集

150.对于至少一个候选点,先通过形变网络获取候选点对应的蒙皮权重,该蒙皮权重用于指示候选点对应的网格与骨骼之间的关联程度,再根据蒙皮权重和骨骼转换关系,构建形变点和候选点之间的形变表达式;其中,骨骼转换关系用于指示初始三维头部模型的各个骨骼的转换方式,最后在第一迭代条件的约束下,通过形变表达式查询得到形变点对应的至少一个候选点

151.对于蒙皮权重,先基于规范空间和形变空间之间的联合数的逆变换矩阵,以及头发

耳朵和面部各自对应的骨骼数量,构建规范空间对应的蒙皮权重场;其中,蒙皮权重场用于指示各个候选点的蒙皮权重,该逆变换矩阵用于指示候选点在规范空间中的三维位置与在形变空间中的位姿之间的转换关系;然后基于候选点的三维位置,从蒙皮权重场中确定出候选点对应的蒙皮权重

152.步骤
502-503
,与上述步骤
302-303
介绍相同,本技术实施例未说明的内容,可以参考上述实施例,这里不再赘述

153.步骤
504
,基于规范点集,构建输入头部图像对应的规范三维头部模型

154.对于规范点集中的各个规范点,通过占用网络基于规范点的三维位置

头发姿势和面部表情,依次预测到各个规范点的预测占用率,再基于各个规范点的预测占用率,对各个规范点进行拼接,构建得到输入头部图像对应的规范三维头部模型

其中,规范三维头部模型可以是指规范空间中的三维头部模型,该规范三维头部模型可以以
3d
点表示

155.示例性地,以占用率为
0.5
等级来定义规范形状,则该规范三维头部模型可以表示如下:;其中,为规范点,为规范点的预测占用率

156.步骤
505
,对于规范点集中的各个规范点,基于规范点的三维位置和单位方向,预测得到规范点的预期颜色值

157.可选地,上述三维构建模型还包括纹理网络,通过纹理网络基于规范点的三维位置和单位方向,即可预测得到规范点的预期颜色值

158.示例性地,先通过纹理网络基于规范点的三维位置和单位方向,预测得到规范点对应的体密度和初始颜色值,再通过纹理网络基于体密度

初始颜色值,以及相机射线,预测得到规范点的预期颜色值;其中,相机射线是指相机原点沿着单位方向穿过规范点的射线

159.步骤
505
与上述步骤
305
介绍相同,本技术实施例未说明的内容,可以参考上述实施例,这里不再赘述

160.步骤
506
,根据各个规范点的预期颜色值,对规范三维头部模型进行渲染,得到输入头部图像对应的最终三维头部模型

161.可选地,对于各个规范点,将规范点的预期颜色值作为该规范点的纹理,对该规范
点的进行渲染,即可得到渲染后的规范点,在规范三维头部模型上的所有规范点均被渲染后,即可得到最终三维头部模型

162.示例性地,参考图6,本技术实施例能够根据头像(即输入头部图像),实现三维头部模型的构建,并且该三维头部模型可旋转

可变换不同表情和姿态,具有很高的灵活性,左侧
601
示出了一种表情姿态下的面部区域,右侧
602
示出了另一种表情姿态下的面部区域,两种表情姿态均较为夸张

163.综上所述,本技术实施例提供的技术方案,通过基于输入头部图像,构建具有输入头部图像对应的头部姿势和面部表情的初始三维头部模型,再将该初始三维头部模型形变至规范空间,得到规范三维头部模型,再结合预期颜色值对该规范三维头部模型进行渲染,即可得到头部姿势和面部表情完全可控的最终三维头部模型,也即通过调整输入头部图像即可灵活调整最终三维头部模型的头部姿势和面部表情,从而提高了三维头部模型的生成灵活性

164.下述为本技术装置实施例,可以用于执行本技术方法实施例

对于本技术装置实施例中未披露的细节,请参照本技术方法实施例

165.参考图7,其示出了本技术一个实施例提供的三维模型的构建装置的框图

该装置具有实现上述方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现

该装置可以是上文介绍的计算机设备,也可以设置在计算机设备中

如图7所示,该装置
700
包括:初始模型获取模块
701、
形变点集获取模块
702、
规范点集获取模块
703、
规范模型构建模块
704、
颜色值预测模块
705
和最终模型获取模块
706。
166.初始模型获取模块
701
,用于获取输入头部图像的初始三维头部模型,所述初始三维头部模型具有所述输入头部图像对应的头部姿势和面部表情

167.形变点集获取模块
702
,用于在形变空间中对所述初始三维头部模型进行点采样,得到形变点集,所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点,所述形变点是待形变的点

168.规范点集获取模块
703
,用于获取所述形变点集对应的规范点集,所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点

169.规范模型构建模块
704
,用于基于所述规范点集,构建所述输入头部图像对应的规范三维头部模型

170.颜色值预测模块
705
,用于对于所述规范点集中的各个规范点,基于所述规范点的三维位置和单位方向,预测得到所述规范点的预期颜色值

171.最终模型获取模块
706
,用于根据所述各个规范点的预期颜色值,对所述规范三维头部模型进行渲染,得到所述输入头部图像对应的最终三维头部模型

172.在一些实施例中,所述形变点集获取模块
702
,用于:获取所述初始三维头部模型的表面上各个点的部位标签,所述部位标签与所述初始三维头部模型的不同部位对应的骨骼相关;根据所述部位标签对所述各个点进行划分,得到多个点集,不同的点集对应不同的部位标签;对于各个所述部位标签,按照所述部位标签对应的指定采样率,在所述形变空间中对所述部位标签对应的点集进行点采样,得到所述部位标签对应的形变点;
对各个所述部位标签对应的形变点进行组合,得到所述形变点集

173.在一些实施例中,所述形变点集获取模块
702
,还用于:获取所述各个点分别对应的网格,所述网格用于拼接成所述初始三维头部模型的表面;对于各个所述点,获取所述点对应的网格的部位标签;将所述点对应的网格的部位标签确定为所述点的部位标签

174.在一些实施例中,如图8所示,所述规范点集获取模块
703
,包括:候选点获取子模块
703a、
占用率预测子模块
703b、
规范点确定子模块
703c
和规范点集获取子模块
703d。
175.候选点获取子模块
703a
,用于对于所述形变点集中的各个形变点,获取所述形变点在所述规范空间中对应的至少一个候选点

176.占用率预测子模块
703b
,用于获取所述至少一个候选点的预测占用率,所述预测占用率用于预测表示所述候选点的编码复杂程度

177.规范点确定子模块
703c
,用于根据所述预测占用率,从所述至少一个候选点中选择出所述形变点对应的规范点

178.规范点集获取子模块
703d
,用于对所述各个形变点对应的规范点进行组合,得到所述规范点集

179.在一些实施例中,所述候选点获取子模块
703a
,用于:获取所述候选点对应的蒙皮权重,所述蒙皮权重用于指示所述候选点对应的网格与骨骼之间的关联程度;根据所述蒙皮权重和骨骼转换关系,构建所述形变点和所述候选点之间的形变表达式;其中,骨骼转换关系用于指示所述初始三维头部模型的各个骨骼的转换方式;在第一迭代条件的约束下,通过所述形变表达式查询得到所述形变点对应的至少一个候选点

180.在一些实施例中,所述候选点获取子模块
703a
,还用于:基于所述规范空间和所述形变空间之间的联合数的逆变换矩阵,以及头发

耳朵和面部各自对应的骨骼数量,构建所述规范空间对应的蒙皮权重场;其中,所述蒙皮权重场用于指示各个所述候选点的蒙皮权重,所述逆变换矩阵用于指示所述候选点在所述规范空间中的三维位置与在所述形变空间中的位姿之间的转换关系;基于所述候选点的三维位置,从所述蒙皮权重场中确定出所述候选点对应的蒙皮权重

181.在一些实施例中,所述颜色值预测模块
705
,用于:基于所述规范点的三维位置和单位方向,预测得到所述规范点对应的体密度和初始颜色值;基于所述体密度

所述初始颜色值,以及相机射线,预测得到所述规范点的预期颜色值;其中,所述相机射线是指相机原点沿着所述单位方向穿过所述规范点的射线

182.在一些实施例中,所述初始模型获取模块
701
,用于:对所述输入头部图像进行姿势扫描,得到所述头部姿势和所述面部表情;基于所述头部姿势和所述面部表情,以及形状参数,构建得到所述初始三维头部模型;其中,所述形状参数用于控制所述初始三维头部模型的形状

183.在一些实施例中,所述最终三维头部模型由三维构建模型得到,所述三维构建模型包括形变网络和纹理网络,所述规范点集由所述形变网络获取,所述预测颜色值由所述纹理网络获取,所述形变网络和所述纹理网络为神经网络

184.综上所述,本技术实施例提供的技术方案,通过基于输入头部图像,构建具有输入头部图像对应的头部姿势和面部表情的初始三维头部模型,再将该初始三维头部模型形变至规范空间,得到规范三维头部模型,再结合预期颜色值对该规范三维头部模型进行渲染,即可得到头部姿势和面部表情完全可控的最终三维头部模型,也即通过调整输入头部图像即可灵活调整最终三维头部模型的头部姿势和面部表情,从而提高了三维头部模型的生成灵活性

185.参考图9,其示出了本技术一个实施例提供的三维构建模型的训练装置的框图

该装置具有实现上述方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现

该装置可以是上文介绍的计算机设备,也可以设置在计算机设备中

如图9所示,该装置
900
包括:初始模型获取模块
901、
形变点集获取模块
902、
规范点集获取模块
903、
占用率预测模块
904、
颜色值预测模块
905
和构建模型训练模块
906。
186.初始模型获取模块
901
,用于获取样本头部图像的初始三维头部模型,所述初始三维头部模型具有所述样本头部图像对应的头部姿势和面部表情

187.形变点集获取模块
902
,用于在形变空间中对所述初始三维头部模型进行点采样,得到形变点集,所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点,所述形变点是待形变的点

188.规范点集获取模块
903
,用于通过三维构建模型获取所述形变点集对应的规范点集,所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点

189.占用率预测模块
904
,用于通过所述三维构建模型基于所述头部姿势

所述面部表情和所述规范点的三维位置,预测得到所述规范点的预测占用率,所述预测占用率用于预测表示所述规范点的编码复杂程度

190.颜色值预测模块
905
,用于对于所述规范点集中的各个规范点,通过所述三维构建模型基于所述规范点的三维位置和单位方向,预测得到所述规范点的预期颜色值

191.构建模型训练模块
906
,用于基于所述各个规范点的预测占用率和预期颜色值,对所述三维构建模型进行训练,得到训练后的三维构建模型,所述训练后的三维构建模型用于构建并渲染得到输入头部图像的最终三维头部模型

192.在一些实施例中,所述形变点集获取模块
902
,用于:获取所述初始三维头部模型的表面上各个点的部位标签,所述部位标签与所述初始三维头部模型的不同部位对应的骨骼相关;根据所述部位标签对所述各个点进行划分,得到多个点集,不同的点集对应不同的部位标签;对于各个所述部位标签,按照所述部位标签对应的指定采样率,在所述形变空间中对所述部位标签对应的点集进行点采样,得到所述部位标签对应的形变点;对各个所述部位标签对应的形变点进行组合,得到所述形变点集

193.在一些实施例中,所述形变点集获取模块
902
,还用于:获取所述各个点分别对应的网格,所述网格用于拼接成所述初始三维头部模型的
表面;对于各个所述点,获取所述点对应的网格的部位标签;将所述点对应的网格的部位标签确定为所述点的部位标签

194.在一些实施例中,如图
10
所示,所述规范点集获取模块
903
,包括:候选点获取子模块
903a、
规范点确定子模块
903b
和规范点集获取子模块
903c。
195.候选点获取子模块
903a
,用于对于所述形变点集中各个形变点,通过所述三维构建模型获取所述形变点在所述规范空间中对应的至少一个候选点

196.所述占用率预测模块
904
,还用于通过所述三维构建模型获取所述至少一个候选点的预测占用率

197.规范点确定子模块
903b
,用于根据所述预测占用率,从所述至少一个候选点中选择出所述形变点对应的规范点

198.规范点集获取子模块
903c
,用于对所述各个形变点对应的规范点进行组合,得到所述规范点集

199.在一些实施例中,所述候选点获取子模块
903a
,用于:通过所述三维构建模型获取所述候选点对应的蒙皮权重,所述蒙皮权重用于指示所述候选点对应的蒙皮点与骨骼之间的关联程度;根据所述蒙皮权重和骨骼转换关系,构建所述形变点和所述规范点之间的形变表达式;其中,骨骼转换关系用于指示所述初始三维头部模型的各个骨骼的转换方式;在第一迭代条件的约束下,通过所述形变表达式查询得到所述形变点对应的至少一个候选点

200.在一些实施例中,所述候选点获取子模块
903a
,还用于:通过所述三维构建模型基于所述规范空间和所述形变空间之间的变换矩阵,以及头发

耳朵和面部各自对应的骨骼数量,构建蒙皮权重场,所述蒙皮权重场用于指示各个所述形变点的蒙皮权重;基于所述候选点的三维位置,从所述蒙皮权重场中确定出所述候选点对应的蒙皮权重

201.在一些实施例中,所述颜色值预测模块
905
,用于:通过所述三维构建模型基于所述规范点的三维位置和单位方向,预测得到所述规范点对应的体密度和初始颜色值;通过所述三维构建模型基于所述体密度

所述初始颜色值,以及相机射线,预测得到所述规范点的预期颜色值;其中,所述相机射线是指相机原点沿着所述单位方向穿过所述规范点的射线

202.在一些实施例中,所述构建模型训练模块
906
,用于:对于各个所述规范点,基于所述规范点的预测占用率的梯度,得到所述规范点的预测法线;基于所述各个规范点的预测占用率和预测法线,构建第一子损失,所述第一子损失用于监督规范三维头部模型的几何形状,所述规范三维头部模型是指所述初始三维头部模型形变至的三维头部模型;基于所述各个规范点的预测颜色值,构建第二子损失,所述第二子损失用于监督
所述规范三维头部模型对应的纹理;基于所述规范三维头部模型的骨骼对应的候选点的预测占用率

关节对应的候选点的蒙皮权重,以及表面对应的候选点的蒙皮权重,构建第三子损失,所述第三子损失用于监督所述规范三维头部模型的网格;基于所述第一子损失

所述第二子损失和所述第三子损失,得到所述三维构建模型的总损失;基于所述总损失,对所述三维构建模型进行训练,得到所述训练后的三维构建模型

203.综上所述,本技术实施例提供的技术方案,通过结合预测占用率

预测法线

预测颜色值

蒙皮权重,同时在几何形状

纹理和形变三个维度对三维构建模型进行训练,有利于提高三维构建模型构建三维头部模型的准确性和逼真程度

204.另外,在头部姿势和面部表情的基础上,结合预期颜色值对三维头部模型进行训练,实现通过该三维头部模型对三维头部模型的头部姿势和面部表情完全可控,也即通过调整头部姿势和面部表情即可灵活调整最终三维头部模型的头部姿势和面部表情,从而提高了三维头部模型的生成灵活性

205.需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能

另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述

206.请参考图
11
,其示出了本技术一个实施例提供的计算机设备的结构示意图

该计算机设备可以是任何具备数据计算

处理和存储功能的电子设备,该计算机设备可以实现成为图1所示方案实施环境中的模型训练设备
10
或模型使用设备
20。
具体来讲可以包括如下内容

207.该计算机设备
1100
包括中央处理单元(如
cpu

central processing unit
,中央处理器)
、gpu

graphics processing unit
,图形处理器)和
fpga

field programmable gate array
,现场可编程逻辑门阵列)等)
1101、
包括
ram

random-access memory
,随机存取存储器)
1102

rom

read-only memory
,只读存储器)
1103
的系统存储器
1104
,以及连接系统存储器
1104
和中央处理单元
1101
的系统总线
1105。
该计算机设备
1100
还包括帮助服务器内的各个器件之间传输信息的基本输入
/
输出系统(
input output system

i/o
系统)
1106
,和用于存储操作系统
1113、
应用程序
1114
和其他程序模块
1115
的大容量存储设备
1107。
208.该基本输入
/
输出系统
1106
包括有用于显示信息的显示器
1108
和用于用户输入信息的诸如鼠标

键盘之类的输入设备
1109。
其中,该显示器
1108
和输入设备
1109
都通过连接到系统总线
1105
的输入输出控制器
1110
连接到中央处理单元
1101。
该基本输入
/
输出系统
1106
还可以包括输入输出控制器
1110
以用于接收和处理来自键盘

鼠标

或电子触控笔等多个其他设备的输入

类似地,输入输出控制器
1110
还提供输出到显示屏

打印机或其他类型的输出设备

209.该大容量存储设备
1107
通过连接到系统总线
1105
的大容量存储控制器(未示出)连接到中央处理单元
1101。
该大容量存储设备
1107
及其相关联的计算机可读介质为计算机
设备
1100
提供非易失性存储

也就是说,该大容量存储设备
1107
可以包括诸如硬盘或者
cd-rom

compact disc read-only memory
,只读光盘)驱动器之类的计算机可读介质(未示出)

210.不失一般性,该计算机可读介质可以包括计算机存储介质和通信介质

计算机存储介质包括以用于存储诸如计算机可读指令

数据结构

程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性

可移动和不可移动介质

计算机存储介质包括
ram、rom、eprom

erasable programmable read-only memory
,可擦写可编程只读存储器)
、eeprom

electrically erasable programmable read-only memory
,电可擦写可编程只读存储器)

闪存或其他固态存储技术,
cd-rom、dvd

digital video disc
,高密度数字视频光盘)或其他光学存储

磁带盒

磁带

磁盘存储或其他磁性存储设备

当然,本领域技术人员可知该计算机存储介质不局限于上述几种

上述的系统存储器
1104
和大容量存储设备
1107
可以统称为存储器

211.根据本技术实施例,该计算机设备
1100
还可以通过诸如因特网等网络连接到网络上的远程计算机运行

也即计算机设备
1100
可以通过连接在该系统总线
1105
上的网络接口单元
1111
连接到网络
1112
,或者说,也可以使用网络接口单元
1111
来连接到其他类型的网络或远程计算机系统(未示出)

212.所述存储器还包括计算机程序,所述计算机程序存储于存储器中,且经配置以由一个或者一个以上处理器执行,以实现上述三维模型的构建方法或三维构建模型的训练方法

213.在一些实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序在被处理器执行时以实现上述三维模型的构建方法或三维构建模型的训练方法

214.可选地,该计算机可读存储介质可以包括:
rom

read-only memory
,只读存储器)
、ram

random-access memory
,随机存储器)
、ssd

solid state drives
,固态硬盘)或光盘等

其中,随机存取记忆体可以包括
reram

resistance random access memory
,电阻式随机存取记忆体)和
dram

dynamic random access memory
,动态随机存取存储器)

215.在一些实施例中,还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中

计算机设备的处理器从所述计算机可读存储介质中读取所述计算机程序,所述处理器执行所述计算机程序,使得所述计算机设备执行上述三维模型的构建方法或三维构建模型的训练方法

216.需要说明的是,本技术实施例在收集用户的相关数据之前以及在收集用户的相关数据的过程中,都可以显示提示界面

弹窗或输出语音提示信息,该提示界面

弹窗或语音提示信息用于提示用户当前正在搜集其相关数据,使得本技术仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后,才开始执行获取用户相关数据的相关步骤,否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时),结束获取用户相关数据的相关步骤,即不获取用户的相关数据

换句话说,本技术所采集的所有用户数据,处理严格根据相关国家法律法规的要求,获取个人信息主体的知情同意或单独同意都是在用户同意并授权的情况下进行采集的,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为且相关用户数据的收集

使用和处理需要遵守相关国家和地区的相关法律法规和标


例如,本技术中涉及到的输入头部图像

样本头部图像等都是在充分授权的情况下获取的

217.应当理解的是,在本文中提及的“多个”是指两个或两个以上
。“和
/
或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和
/
或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况

字符“/”一般表示前后关联对象是一种“或”的关系

另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本技术实施例对此不作限定

218.以上所述仅为本技术的示例性实施例,并不用以限制本技术,凡在本技术的精神和原则之内,所作的任何修改

等同替换

改进等,均应包含在本技术的保护范围之内

当前第1页1  
相关技术
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图