基于虚拟场景的互动观察方法与流程-尊龙凯时官方app下载

文档序号:36175204发布日期:2023-11-24 23:56阅读:43来源:国知局
基于虚拟场景的互动观察方法与流程
基于虚拟场景的互动观察方法、装置、设备及介质
1.本技术是申请号为
202110702790.8、
申请日为
2021

06

24


发明名称为“基于虚拟场景的互动观察方法

装置

设备及介质”的中国申请的分案申请

技术领域
2.本技术实施例涉及虚拟环境领域,特别涉及一种基于虚拟场景的互动观察方法

装置

设备及介质



背景技术:

3.基于虚拟场景的应用程序通常是通过三维模型构建虚拟环境后,基于虚拟环境运行的程序,该应用程序运行时,玩家能够通过控制虚拟对象在虚拟环境之中运动,从而与虚拟环境进行互动

4.相关技术中,玩家在控制虚拟环境中的虚拟对象时,可以通过触摸显示屏进行控制,也可以通过外部输入设备输入控制信号进行控制,虚拟对象则根据玩家的控制实现在虚拟环境中的运动

5.然而,通过上述方式实现的互动观察过程中,通常是通过第一人称视角或者第三人称视角之间切换对虚拟对象进行观察,且观察过程中的视角方向跟随虚拟对象的视线方向,观察结果体现的是虚拟对象视角下的结果,观察方式较为单一



技术实现要素:

6.本技术实施例提供了一种基于虚拟场景的互动观察方法

装置

设备及介质,可以提高对虚拟环境进行观察的效率

所述技术方案如下:
7.一方面,提供了一种基于虚拟场景的互动观察方法,所述方法包括:
8.响应于虚拟场景显示操作获取第一场景图像,所述第一场景图像中包括第一对象;
9.显示虚拟环境画面,所述虚拟环境画面中包括以第一观察角度观察得到的虚拟场景与抠图对象,所述抠图对象中包括对所述第一场景图像进行抠图得到的所述第一对象;
10.接收视角调整操作;
11.基于所述视角调整操作,将观察所述虚拟场景与所述抠图对象的第一观察角度调整为第二观察角度,所述第一观察角度和所述第二观察角度是从不同的观察位置或者不同的观察距离对所述虚拟场景进行观察的角度

12.另一方面,提供了一种基于虚拟场景的互动观察装置,所述装置包括:
13.采集模块,用于响应于虚拟场景显示操作获取第一场景图像,所述第一场景图像中包括第一对象;
14.显示模块,用于显示虚拟环境画面,所述虚拟环境画面中包括以第一观察角度观察得到的虚拟场景与抠图对象,所述抠图对象中包括对所述第一场景图像进行抠图得到的所述第一对象;
15.接收模块,用于接收视角调整操作;
16.所述显示模块,还用于基于所述视角调整操作,将观察所述虚拟场景与所述抠图对象的第一观察角度调整为第二观察角度,所述第一观察角度和所述第二观察角度是从不同的观察位置或者不同的观察距离对所述虚拟场景进行观察的角度

17.另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令

至少一段程序

代码集或指令集,所述至少一条指令

所述至少一段程序

所述代码集或指令集由所述处理器加载并执行以实现如上述本技术实施例中任一所述的基于虚拟场景的互动观察方法

18.另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令

至少一段程序

代码集或指令集,所述至少一条指令

所述至少一段程序

所述代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一所述的基于虚拟场景的互动观察方法

19.另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中

计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的基于虚拟场景的互动观察方法

20.本技术实施例提供的技术方案带来的有益效果至少包括
:
21.首先将玩家对应的抠图对象用于虚拟场景结合显示,并在虚拟场景中显示抠图对象时,通过视角调整操作对观察虚拟场景的观察视角进行调整,且视角调整操作既能够在观察位置上进行调整,也能够在观察距离上进行调整,在通过抠图对象提高虚拟场景的互动多样性的同时,增加了对虚拟场景进行观察的角度调整方式,提高了虚拟场景的观察效率

附图说明
22.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图

23.图1是本技术一个示例性实施例提供的抠图对象生成过程示意图;
24.图2是本技术一个示例性实施例提供的电子设备的结构框图;
25.图3是本技术一个示例性实施例提供的实施环境示意图;
26.图4是本技术一个示例性实施例提供的基于虚拟场景的互动观察方法的界面示意图;
27.图5是基于图4示出的实施例提供的观察角度调整方式的示意图;
28.图6是本技术一个示例性实施例提供的实施环境整体示意图;
29.图7是本技术一个示例性实施例提供的实施环境整体示意图;
30.图8是本技术另一个示例性实施例提供的基于虚拟场景的互动观察方法的流程图;
31.图9是基于图8示出的实施例提供的观察角度变化过程的示意图;
32.图
10
是本技术另一个示例性实施例提供的基于虚拟场景的互动观察方法的流程图;
33.图
11
是基于图
10
示出的实施例提供的方向调整示意图;
34.图
12
是本技术一个示例性实施例提供的互动观察方法的整体流程图;
35.图
13
是本技术一个示例性实施例提供的基于虚拟场景的互动观察装置的结构框图;
36.图
14
是本技术另一个示例性实施例提供的基于虚拟场景的互动观察装置的结构框图;
37.图
15
是本技术一个示例性的实施例提供的终端的结构框图

具体实施方式
38.为使本技术的目的

技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述

39.首先,对本技术实施例中涉及的名词进行简单介绍:
40.虚拟环境:是应用程序在终端上运行时显示
(
或提供
)
的虚拟环境

该虚拟环境可以是对真实世界的仿真环境,也可以是半仿真半虚构的环境,还可以是纯虚构的环境

虚拟环境可以是二维虚拟环境
、2.5
维虚拟环境和三维虚拟环境中的任意一种,本技术对此不加以限定

下述实施例以虚拟环境是三维虚拟环境来举例说明

本技术实施例中,该虚拟环境又称为虚拟场景

41.抠图对象:是指通过实景摄像头采集得到场景图像后,从场景图像中抠图得到的指定对象

示意性的,本技术实施例中,以从场景图像中对人像进行抠图得到抠图对象为例进行说明

示意性的,请参考图1,其示出了本技术一个示例性实施例提供的抠图对象生成过程示意图,如图1所示,通过实景摄像头
100
对场景进行图像采集,得到场景图像
110
,其中,实景摄像头
100
的图像采集范围内包括人物
120
,从而场景图像
110
中包括对应的对象
121
,将对象
121
从场景图像
110
中抠出,得到抠图对象
122。
42.本技术实施例中,通过在虚拟环境画面中显示虚拟场景以及位于虚拟场景中的抠图对象,营造玩家自身在虚拟场景中进行互动的体验

43.本技术中的终端可以是台式计算机

膝上型便携计算机

手机

平板电脑

电子书阅读器
、mp3(moving picture experts group audio layer iii
,动态影像专家压缩标准音频层面
3)
播放器
、mp4(moving picture experts group audio layer iv
,动态影像专家压缩标准音频层面
4)
播放器等等

该终端中安装和运行有支持虚拟环境的应用程序,比如支持三维虚拟环境的应用程序

该应用程序可以是虚拟现实应用程序

三维地图程序

第三人称射击游戏
(third-person shooting game

fps)、
第一人称射击游戏
(first-person shooting game

fps)、
多人在线战术竞技游戏
(multiplayer online battle arena games

moba)
中的任意一种

可选地,该应用程序可以是单机版的应用程序,比如单机版的三维游戏程序,也可以是网络联机版的应用程序

44.图2示出了本技术一个示例性实施例提供的电子设备的结构框图

该电子设备
200
包括:操作系统
220
和应用程序
222。
45.操作系统
220
是为应用程序
222
提供对计算机硬件的安全访问的基础软件

46.应用程序
222
是支持虚拟环境的应用程序

可选地,应用程序
222
是支持三维虚拟环境的应用程序

该应用程序
222
可以是虚拟现实应用程序

三维地图程序
、tps
游戏
、fps
游戏
、moba
游戏

多人枪战类生存游戏中的任意一种

该应用程序
222
可以是单机版的应用程序,比如单机版的三维游戏程序,也可以是网络联机版的应用程序

47.图3示出了本技术一个示例性实施例提供的计算机系统的结构框图

该计算机系统
300
包括:第一设备
320、
服务器
340
和第二设备
360。
48.第一设备
320
安装和运行有支持虚拟环境的应用程序

该应用程序可以是虚拟现实应用程序

三维地图程序
、tps
游戏
、fps
游戏
、moba
游戏

多人枪战类生存游戏中的任意一种

第一设备
320
是第一用户使用的设备,第一用户使用第一设备
320
控制位于虚拟环境中的第一抠图对象活动,其中,第一设备
320
配置有第一摄像头,通过第一摄像头对第一用户或者其他图像采集范围内的用户进行图像采集并抠图后,将第一抠图对象显示在虚拟环境中

49.第一设备
320
通过无线网络或有线网络与服务器
340
相连

50.服务器
340
包括一台服务器

多台服务器

云计算平台和虚拟化中心中的至少一种

服务器
340
用于为支持三维虚拟环境的应用程序提供后台服务

可选地,服务器
340
承担主要计算工作,第一设备
320
和第二设备
360
承担次要计算工作;或者,服务器
340
承担次要计算工作,第一设备
320
和第二设备
360
承担主要计算工作;或者,服务器
340、
第一设备
320
和第二设备
360
三者之间采用分布式计算架构进行协同计算

51.第二设备
360
安装和运行有支持虚拟环境的应用程序

该应用程序可以是虚拟现实应用程序

三维地图程序
、fps
游戏
、moba
游戏

多人枪战类生存游戏中的任意一种

第二设备
360
是第二用户使用的设备,第二用户使用第二设备
360
控制位于虚拟环境中的第二抠图对象活动,其中,第二设备
360
配置有第二摄像头,通过第二摄像头对第二用户或者其他图像采集范围内的用户进行图像采集并抠图后,将第二抠图对象显示在虚拟环境中

52.可选地,第一抠图对象和第二抠图对象处于同一虚拟环境中

可选地,第一抠图对象和第二抠图对象可以属于同一个队伍

同一个组织

具有好友关系或具有临时性的通讯权限

可选地,第一抠图对象和第二抠图对象也可以属于不同队伍

不同组织

或具有敌对性的两个团体

53.可选地,第一设备
320
和第二设备
360
上安装的应用程序是相同的,或两个设备上安装的应用程序是不同控制系统平台的同一类型应用程序

第一设备
320
可以泛指多个设备中的一个,第二设备
360
可以泛指多个设备中的一个,本实施例仅以第一设备
320
和第二设备
360
来举例说明

第一设备
320
和第二设备
360
的设备类型相同或不同,该设备类型包括:游戏主机

台式计算机

智能手机

平板电脑

电子书阅读器
、mp3
播放器
、mp4
播放器和膝上型便携计算机中的至少一种

以下实施例以设备是台式计算机来举例说明

54.本领域技术人员可以知晓,上述设备的数量可以更多或更少

比如上述设备可以仅为一个,或者上述设备为几十个或几百个,或者更多数量

本技术实施例对设备的数量和设备类型不加以限定

55.值得注意的是,上述服务器
340
可以实现为物理服务器,也可以实现为云端的云服务器,其中,云技术
(cloud technology)
是指在广域网或局域网内将硬件

软件

网络等系列资源统一起来,实现数据的计算

储存

处理和共享的一种托管技术

云技术基于云计算
商业模式应用的网络技术

信息技术

整合技术

管理平台技术

应用技术等的总称,可以组成资源池,按需所用,灵活便利

云计算技术将变成重要支撑

技术网络系统的后台服务需要大量的计算

存储资源,如视频网站

图片类网站和更多的门户网站

伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现

56.在一些实施例中,本技术实施例提供的方法可以应用于云游戏场景中,从而通过云服务器完成游戏过程中数据逻辑的计算,而终端负责游戏界面的显示

57.在一些实施例中,上述服务器
340
还可以实现为区块链系统中的节点

区块链
(blockchain)
是分布式数据存储

点对点传输

共识机制

加密算法等计算机技术的新型应用模式

区块链,本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性
(
防伪
)
和生成下一个区块

区块链可以包括区块链底层平台

平台产品服务层以及应用服务层

58.本技术实施例的应用场景包括如下场景中的至少一种:
59.第一种,应用于游戏场景中,其中,该游戏可以实现为云游戏,也即由云服务器完成游戏过程中的计算逻辑,而终端用于完成游戏过程中的显示逻辑

60.示意性的,该游戏可以实现为劲舞游戏

射击游戏

益智游戏中的至少一种

玩家a通过配置有第一摄像头的第一终端采集场景图像,并从场景图像中抠图得到玩家a对应的抠图对象a;玩家b通过配置有第二摄像头的第二终端采集场景图像,并从场景图像中抠图得到玩家b对应的抠图对象
b。
将抠图对象a和抠图对象b以及预先设置好的虚拟场景显示在终端界面中,从而实现玩家a和玩家b在虚拟场景中互动并参与游戏的过程

61.第二种,应用于直播场景中,其中,直播应用程序中包括主播和观众,其中,主播是指创建直播间的用户,观众是指对直播间进行观看的用户,在直播间中,观众能够与观众在虚拟场景中进行互动,或者,主播能够与观众在虚拟场景中进行互动

62.示意性的,主播1在直播间中创建虚拟场景互动活动,并邀请观众参与,观众2受邀与主播1共同参与虚拟场景互动活动,主播1通过配置有第一摄像头的第一终端采集场景图像,并从场景图像中抠图得到主播1对应的抠图对象m;观众2通过配置有第二摄像头的第二终端采集场景图像,并从场景图像中抠图得到观众2对应的抠图对象
n。
将抠图对象m和抠图对象n以及预先设置好的虚拟场景显示在终端界面中,从而实现主播1和观众2在虚拟场景中互动

其中,除观众2以外的其他观众能够对主播1与观众2在虚拟场景中的互动过程进行观看

63.结合上述名词简介以及实施环境说明,对本技术实施例中提供的基于虚拟场景的互动观察方法进行说明,请参考图4,其示出了本技术一个示例性实施例提供的基于虚拟场景的互动观察方法的流程图,以该方法应用于配置有摄像头的第一终端中为例进行说明,如图4所示,该方法包括:
64.步骤
401
,响应于虚拟场景显示操作通过摄像头采集第一场景图像

65.在一些实施例中,该虚拟场景显示操作是指用户指示开启虚拟场景的操作

66.示意性的,针对不同的应用场景,该虚拟场景显示操作的实现方式包括如下方式中的至少一种:
67.第一,针对云游戏应用场景,用户触发游戏开启操作作为虚拟场景显示操作,也即根据游戏开启操作启动云游戏对局并进入游戏界面

其中,用户可以与好友组队进入云游戏对局,也可以在进入云游戏对局之后邀请好友组队

68.第二,针对直播应用场景,主播帐号触发互动空间开启操作作为虚拟场景显示操作,也即根据互动空间开启操作开启主播帐号与观众帐号进行互动的虚拟场景

69.其中,第一场景图像中包括位于与第一终端的摄像头拍摄范围内的第一对象

也即,第一场景图像是指第一终端配置的摄像头所采集得到的图像,其中,第一终端以视频流的形式连续对第一场景图像进行采集,而在第一场景图像的采集过程中,第一对象处于摄像头的拍摄范围内并显示在第一场景图像中

70.在一些实施例中,当终端接收到虚拟场景显示操作时,即开启摄像头并通过摄像头对第一场景图像进行采集

71.其中,在对第一场景图像进行采集后还需要对第一场景图像进行抠图处理,从第一场景图像中抠图得到第一对象

对第一场景图像进行抠图的过程可以由终端完成,也可以由服务器完成,其中,当对第一场景图像进行抠图的过程由终端完成时,则在摄像头采集得到第一场景图像后,直接对第一场景图像进行抠图处理,从而节约了终端与服务器之间的数据交互量;当对第一场景图像进行抠图的过程由服务器完成时,在摄像头采集得到第一场景图像后,将第一场景图像发送至服务器,由服务器对第一场景图像进行抠图得到第一对象

72.在一些实施例中,第一终端所配置的摄像头为2维摄像头,也即,用于对平面图像进行采集

或者,第一终端所配置的摄像头为3维摄像头,也即,在采集图像的过程中对景深信息进行采集

73.当第一终端配置的摄像头为2维摄像头时,在终端与服务器之间的数据交互为平面图像基础上的数据交互,减少了数据交互量;当第一终端配置的摄像头为3维摄像头时,终端能够根据采集到的景深信息构建出玩家对应的三维模型,提高虚拟场景中显示的抠图对象的真实性

74.步骤
402
,显示虚拟环境画面,虚拟环境画面中包括以第一观察角度观察得到的虚拟场景与抠图对象

75.其中,抠图对象中包括对第一场景图像进行抠图得到的第一对象,以及对第二场景图像进行抠图得到的第二对象,第二场景图像是通过配置有摄像头的第二终端采集得到的图像

76.第一对象和第二对象为共同参与在同一虚拟对局中的对象,值得注意的是,本实施例中以虚拟场景中包括第一对象和第二对象为例进行说明,在一些可选的实施例中,虚拟场景中也可以仅包括一个对象,或者包括三个或者三个以上对象,本实施例对此不加以限定

77.其中,本实施例中以服务器对场景图像进行抠图为例进行说明,则终端向服务器发送第一场景图像,并接收服务器反馈的画面显示数据,该画面显示数据中包括虚拟场景对应的场景数据以及抠图对象对应的对象数据

78.其中,虚拟场景的场景数据是根据预先设定的虚拟场景确定的与虚拟场景对应的数据;或者,场景数据是根据用户对虚拟场景的选择确定的与选择结果对应的数据,提供了
用户对虚拟场景进行选择的方案,增加了虚拟场景互动中的多样性;或者,场景数据是根据随机得到的虚拟场景确定的与随机结果对应的数据

本实施例对此不加以限定

79.终端基于服务器反馈的场景数据和对象数据显示虚拟环境画面

80.在一些实施例中,第一对象和第二对象在虚拟场景中的显示位置是在预设的候选位置中随机确定的,从而增加了对象显示的不确定性;或者,第一对象和第二对象在虚拟场景中的显示位置是服务器根据预设的显示规则向终端指示的

示意性的,对象数据中包括对象显示位置,则基于场景数据显示虚拟场景,并在虚拟场景中的对象显示位置处显示抠图对象

81.当前虚拟环境画面是以第一观察角度对虚拟场景进行观察得到的画面,其中,第一观察角度是指对虚拟场景进行观察的摄像头模型的观察角度

82.可选地,每个玩家在虚拟场景中对应一个对虚拟场景进行观察的摄像头模型;或者,每个玩家在虚拟场景中对应n个对虚拟场景进行观察的摄像头模型供切换使用;或者,符合观察切换条件的玩家在虚拟场景中对应n个对虚拟场景进行观察的摄像头模型供切换使用,而不符合观察切换条件的玩家在虚拟环境中对应一个对虚拟场景进行观察的摄像头模型,n为大于1的整数

83.在一些实施例中,显示虚拟环境画面之前还需要进行配准,从而将对象与图像背景进行区分,提高对象的抠图准确率

可选地,显示校准画面,校准画面中包括第一场景图像,第一场景图像中包括指示框和指示线

其中,指示框用于对第一对象进行框选指示,指示线位于第一场景图像的指定位置且将第一场景图像分割为第一区域和第二区域

通过采集第一对象从第一位置移动至第二位置的阶段图像,对第一场景图像的背景部分进行指示

其中,第一位置为指示框位于第一区域的位置,第二位置为指示框位于第二区域的位置

也即,控制指示框从第一场景图像的第一区域移动至第一场景图像的第二区域,从而在指示框在第一区域内显示时,第二区域内显示的内容为完整的背景图像,当指示框在第二区域内显示时,第一区域内显示的内容为完整的背景图像,将两部分完整的背景图像结合,即可得到第一场景图像中除第一对象以外完整的背景图像,后续在对的第一场景图像中的第一对象进行抠图时,能够根据已识别得到的背景图像实现抠图过程,提高了抠图结果的准确率

84.在一些实施例中,响应于第一对象和第二对象的配准过程完成,显示虚拟环境画面,服务器根据第一对象配准后的第一背景区域对第一场景图像中的第一对象进行抠图处理,同理,服务器根据第二对象配准后的第二背景区域对第二场景图像中的第二对象进行抠图处理,从而在虚拟场景中显示第一对象和第二对象

85.步骤
403
,接收视角调整操作

86.在一些实施例中,响应于玩家符合观察切换条件,则接收玩家触发的视角调整操作

视角调整操作的实现方式包括如下方式中的至少一种:
87.第一,通过外部输入设备,如:键盘

鼠标等接收键入操作,将与视角调整功能对应的键入操作确定为视角调整操作

88.通过外部输入设备能够准确且快捷的实现视角调整操作的执行,提高了视角调整操作的执行准确率

89.第二,虚拟环境画面上显示有角度调整控件,视角调整操作是在角度调整控件上
接收到的操作

90.通过角度调整控件能够准确且快捷的实现视角调整操作的执行,提高了视角调整操作的执行准确率

91.第三,通过语音输入进行视角控制,则接收语音输入操作作为视角调整操作

92.由于本技术实施例涉及的虚拟环境需要与玩家结合显示,也即玩家的动作被记录在游戏过程中,存在不便于操作外部输入设备或者智能设备的情况,通过语音输入方式进行视角控制,无需玩家额外对外部输入设备或者智能设备进行操作,提高了视角控制效率

93.第四,虚拟环境画面中显示有角度调整控件,玩家在现实场景中摆出相应的姿势,从而经服务器抠图并显示在虚拟环境画面中时,玩家所执行的动作使得抠图对象与角度调整控件接触,将抠图对象与角度调整控件之间接触的操作作为对应的角度调整操作

示意性的,请参考图5,玩家在显示场景中摆出姿势后,由服务器对场景图像进行抠图,得到该玩家对应的抠图对象
510
,抠图对象
510
映射至虚拟环境画面
500
中时,抠图对象的脚部
511
与虚拟环境画面
500
中的角度调整控件
520
重合,作为与角度调整控件
520
之间的接触操作,从而确定角度调整操作

94.由于本技术实施例涉及的虚拟环境需要与玩家结合显示,也即玩家的动作被记录在游戏过程中,通过玩家执行动作与角度调整控件接触从而实现角度调整,增加了玩家与虚拟场景互动的多样性,增强了虚拟场景的交互能力

95.值得注意的是,上述视角调整操作的实现方式仅为示意性的举例,本技术实施例对此不加以限定

96.步骤
404
,基于视角调整操作,将观察虚拟场景与抠图对象的第一观察角度调整为第二观察角度

97.可选地,第一观察角度和第二观察角度是从不同的观察位置或者不同的观察距离对虚拟场景进行观察的角度

98.其中,观察角度的调整方式与视角调整操作对应;或者,观察角度的调整方式为预先设定的

99.示意性的,当观察角度的调整方式与视角调整操作对应时,如:虚拟环境画面中显示有左调整控件和右调整控件,当接收到针对左调整控件的角度调整控件时,对第一观察角度进行向左调整,得到第二观察角度

100.当观察角度的调整方式是预先设定的时,如:虚拟环境画面中显示有视角调整控件,当接收到针对视角调整控件的角度调整操作时,向预设方向进行视角调整,得到第二观察角度

101.其中,第一观察角度至第二观察角度的调整包括虚拟场景中水平方向上的旋转调整;或者,观察方向上的距离调整;或者,球形方向上的任意调整,本技术实施例对此不加以限定

102.示意性的,如图6所示,其示出了本技术一个示例性实施例提供的观察角度调整方式的示意图

摄像机模型
601
在球形观察模型
600
上以朝向球心的方向对虚拟场景进行观察,则沿观察轨道
610
旋转时,第一观察角度至第二观察角度的调整为虚拟场景中水平方向上的旋转调整;当摄像机模型
601
在与球心连线上进行距离变化时,则为在观察方向上的距离调整;当摄像机模型
601
在球面上任意旋转时,则为在球形方向上的任意调整

103.其中,虚拟场景中水平方向上的旋转调整观察即实现为横向对虚拟场景进行环绕式观察,也即从横向
360
度对虚拟场景进行完整的观察,从而对虚拟场景中的各个细节进行展示,提高了观察效率

104.虚拟场景中在观察方向上的距离调整,即实现为对虚拟场景进行观察时观察点与抠图对象之间距离的调整,以更近的距离对抠图对象进行观察时,能够获取更多观察细节,产生近景观察效果;而以更远的距离对抠图对象进行观察时,能够获取更全面的抠图对象与虚拟场景结合的信息,产生远景观察效果

105.虚拟场景中任意方向调整,即实现为对虚拟场景进行观察时全方位观察角度的调整,从不同的角度展示抠图对象与虚拟场景结合的情况,增加了观察方式的多样性

106.综上所述,本技术实施例提供的基于虚拟场景的互动观察方法,首先将玩家对应的抠图对象用于虚拟场景结合显示,并在虚拟场景中显示抠图对象时,通过视角调整操作对观察虚拟场景的观察视角进行调整,从而在通过抠图对象提高虚拟场景的互动多样性的同时,增加了对虚拟场景进行观察的角度调整方式,提高了虚拟场景的观察效率

107.示意性的,图7是本技术一个示例性实施例提供的实施环境整体示意图,如图7所示,玩家a操作智能设备
710
进行游戏参与,智能设备
710
配置有摄像头对玩家a进行图像采集;玩家b操作智能设备
720
进行游戏参与,智能设备
720
配置有摄像头对玩家b进行图像采集

服务器
740
接收智能设备
710、
智能设备
720
发送的采集的场景图像,并对场景图像进行抠图,得到玩家
a、
玩家b以对应的抠图对象,将虚拟场景和抠图对象反馈至观看终端
750
进行显示,其中,智能设备
710、
智能设备
720
也属于观看终端

108.在一些实施例中,由于抠图对象实现为二维图像,故在视角调整的过程中,还需要通过对抠图对象的显示方向控制抠图对象显示完整的图像内容

图8是本技术另一个示例性实施例提供的基于虚拟场景的互动观察方法的流程图,以该方法应用于配置有摄像头的第一终端中为例进行说明,如图8所示,该方法包括:
109.步骤
801
,响应于虚拟场景显示操作通过摄像头采集第一场景图像

110.在一些实施例中,该虚拟场景显示操作是指用户指示开启虚拟场景的操作

111.其中,第一场景图像中包括位于与第一终端的摄像头拍摄范围内的第一对象

也即,第一场景图像是指第一终端配置的摄像头所采集得到的图像

112.在一些实施例中,当终端接收到虚拟场景显示操作时,即开启摄像头并通过摄像头对第一场景图像进行采集

113.步骤
802
,显示虚拟环境画面,虚拟环境画面中包括以第一观察角度观察得到的虚拟场景与抠图对象

114.其中,抠图对象中包括对第一场景图像进行抠图得到的第一对象,以及对第二场景图像进行抠图得到的第二对象,第二场景图像是通过配置有摄像头的第二终端采集得到的图像

115.当前虚拟环境画面是以第一观察角度对虚拟场景进行观察得到的画面,其中,第一观察角度是指对虚拟场景进行观察的摄像头模型的观察角度

116.步骤
803
,接收视角调整操作

117.在一些实施例中,响应于玩家符合观察切换条件,则接收玩家触发的视角调整操作

118.步骤
804
,基于视角调整操作,将观察虚拟场景的第一观察角度调整为第二观察角度

119.在一些实施例中,终端在虚拟场景中对应有摄像机模型,该摄像机模型用于调整观察角度

则基于视角调整操作,将摄像机模型从第一观察位置调整至第二观察位置,其中,第一观察位置用于以第一观察角度对虚拟场景进行观察,第二观察位置用于以第二观察角度对虚拟场景进行观察

在一些实施例中,第一观察位置和第二观察位置为同一个球体上的两个观察位置,第一观察角度是从第一观察位置向球心观察的角度,第二观察角度是从第二观察位置向球心观察的角度

120.在一些实施例中,第一观察角度和第二观察角度之间的角度差
(
或距离差
)
是预先设定的;或者,第一观察角度和第二观察角度之间的角度差
(
或距离差
)
是根据视角调整操作确定的,从而玩家能够以稳定的变化关系选择需要的观察角度,提高了观察准确率;或者,第二观察角度是在第一观察角度的基础上随机调整一定角度差
(
或距离差
)
后得到的,从而,玩家能够随机确定一个观察角度对虚拟场景进行观察,提高了对虚拟场景进行观察时的趣味性

本技术实施例对第一观察角度和第二观察角度之间的变化关系不加以限定

121.也即,每个玩家在虚拟场景中对应一个摄像机模型,通过该摄像机模型进行虚拟环境画面的采集,从而在调整观察角度时,仅需要旋转摄像机模型的观察位置即可实现对观察角度的调整

122.在另一些实施例中,虚拟场景中对应有摄像机模型,其中,第一观察角度对应第一摄像机模型,第二观察角度对应第二摄像机模型,基于视角调整操作,由通过第一摄像机模型对虚拟场景进行观察切换至通过第二摄像机模型对虚拟场景进行观察

123.也即,每个玩家在虚拟场景中对应至少两个摄像机模型;或者,当前玩家在虚拟场景中对应至少两个摄像机模型,从而在调整观察角度时,仅需要在不同摄像机模型之间进行切换,即可实现对观察角度的调整

124.其中,当通过至少两个摄像机模型之间的切换进行观察角度的调整时,则直接在已设定的多个摄像机模型之间进行应用切换即可实现观察角度的调整,无需对摄像机模型的旋转

移动角度进行计算,减少了服务器的计算量

125.当通过单个摄像机模型进行旋转移动从而实现观察角度的调整时,能够对摄像机模型的旋转角度进行精确的控制,提高了观察角度切换的准确率

126.步骤
805
,保持抠图对象在虚拟场景中的位置不变,以面向第二观察角度的方向显示抠图对象

127.由于场景图像实现为二维图像,故从场景图像中抠图得到的抠图对象也实现为二维图像,若抠图对象的显示方向不变,则易导致在其他视角对虚拟场景进行观察时,抠图对象显示为“纸片人”或者不完整人像

故,本技术实施例中,时刻保持抠图对象面朝观察视角的方向

128.在一些实施例中,通过摄像机模型对虚拟场景进行观察,则保持抠图对象在虚拟场景中的位置不变,并控制抠图对象面向第二观察视角对应的摄像机模型显示

129.示意性的,请参考图9,其示出了本技术一个示例性实施例提供的观察角度变化过程的示意图,如图9所示,虚拟环境画面
910
是通过摄像机模型在第一观察角度下对虚拟场景进行观察得到的画面,虚拟环境画面
910
中包括抠图对象
901
和抠图对象
902
,抠图对象
901
和抠图对象
902
以面向第一观察视角的方向显示;当接收到视角调整操作时,显示通过摄像机模型以第二观察角度对虚拟场景进行观察得到的虚拟环境画面
920
,其中,虚拟环境画面
920
中包括抠图对象
901
和抠图对象
902
,抠图对象
901
和抠图对象
902
以面向第二观察视角的方向显示

130.也即,无论从第一观察角度对虚拟场景进行观察,还是从第二观察角度对虚拟场景进行观察,抠图对象保持以面对观察角度的方向完整显示

在一些实施例中,在确定观察视角后,以观察视角采集得到虚拟场景的图像,并将抠图对象贴附在虚拟场景的图像作为抠图对象位于虚拟场景中的画面

131.综上所述,本技术实施例提供的基于虚拟场景的互动观察方法,首先将玩家对应的抠图对象用于虚拟场景结合显示,并在虚拟场景中显示抠图对象时,通过视角调整操作对观察虚拟场景的观察视角进行调整,从而在通过抠图对象提高虚拟场景的互动多样性的同时,增加了对虚拟场景进行观察的角度调整方式,提高了虚拟场景的观察效率

132.本实施例提供的方法,在切换视角对虚拟场景进行观察的同时,保持抠图对象的显示位置不变,并对应调整抠图对象的显示方向,从而确保抠图对象面对观察角度显示,避免由于抠图对象实现为二维图像而导致对抠图对象的观察失真的问题

133.在一些实施例中,视角调整操作包括方向调整和距离调整至少两种


10
是本技术另一个示例性实施例提供的基于虚拟场景的互动观察方法的流程图,以该方法应用于配置有摄像头的第一终端中为例进行说明,如图
10
所示,该方法包括:
134.步骤
1001
,响应于虚拟场景显示操作通过摄像头采集第一场景图像

135.在一些实施例中,该虚拟场景显示操作是指用户指示开启虚拟场景的操作

136.其中,第一场景图像中包括位于与第一终端的摄像头拍摄范围内的第一对象

也即,第一场景图像是指第一终端配置的摄像头所采集得到的图像

137.在一些实施例中,当终端接收到虚拟场景显示操作时,即开启摄像头并通过摄像头对第一场景图像进行采集

138.步骤
1002
,显示虚拟环境画面,虚拟环境画面中包括以第一观察角度观察得到的虚拟场景与抠图对象

139.其中,抠图对象中包括对第一场景图像进行抠图得到的第一对象,以及对第二场景图像进行抠图得到的第二对象,第二场景图像是通过配置有摄像头的第二终端采集得到的图像

140.当前虚拟环境画面是以第一观察角度对虚拟场景进行观察得到的画面,其中,第一观察角度是指对虚拟场景进行观察的摄像头模型的观察角度

141.步骤
1003
,接收视角调整操作

142.可选地,虚拟环境画面上显示有角度调整控件,视角调整操作是在角度调整控件上接收到的操作

143.考虑到玩家的影像会被采集到虚拟场景中显示,本技术实施例中,以抠图对象与角度调整控件在虚拟环境画面上接触触发视角调整操作为例进行说明

144.在一些实施例中,角度调整控件包括方向调整区域;则当需要对观察方向进行调整时,接收在方向调整区域上的方向调整操作

示意性的,方向调整区域中包括左调控件

右调控件

上调控件和下调控件;示意性的,以左调控件为例,当接收到在左调控件上的触
发操作时,则将第一观察角度对应的观察位置向左旋转预设角度或者随机角度,也即,在观察球体上,从第一观察角度对应的观察位置开始向左旋转一定角度至新的观察位置;或者,将观察虚拟场景所使用的摄像机模型,从第一观察角度对应的第一观察位置上的摄像机模型,切换至向左旋转一定角度后第二观察位置上的摄像机模型

145.在一些实施例中,角度调整控件包括距离调整区域,当需要对观察距离进行调整时,接收在距离调整区域上的距离调整操作,从而基于距离调整操作对观察虚拟场景的距离进行调整,其中,距离调整操作用于调整观察点在观察方向上的位置

可选地,距离调整区域能够在预设距离范围内对观察距离进行调整,也即,距离调整区域具有调整的观察距离上限以及观察距离下限,避免观察距离被过度调整,导致抠图对象在观察距离较近时由于是二维图像而产生的失真现象

146.可选地,观察距离上限和观察距离下限是指观察位置与观察中心之间的距离的上限和下限

也即,当观察位置与观察中心之间的距离达到最小距离
(
观察距离下限
)
时,则无法再将观察位置向靠近观察中心的位置调整;当观察位置与观察中心之间的距离达到最大距离
(
观察距离上限
)
时,则无法再将观察位置向远离观察中心的位置调整

通过设置观察距离上限和观察距离下限,对观察虚拟场景以及抠图对象时的细节表达进行限定,避免观察距离过近时,细节渲染所消耗的计算量较大,也避免观察距离过远时,界面内容无法清楚的体现,观察效率较低

147.步骤
1004
,确定视角调整操作在角度调整控件上对应的调整方式

148.在一些实施例中,确定视角调整操作是针对方向调整区域的操作,还是针对距离调整区域的操作

当视角调整操作是针对方向调整区域的操作时,旋转对虚拟场景进行观察的角度;当视角调整操作是针对距离调整区域的操作时,拉近或者拉远对虚拟场景进行观察的角度,也即,在拉近对虚拟场景进行观察的角度时,虚拟场景及虚拟场景中的对象被放大显示,在拉远对虚拟场景进行观察的角度时,虚拟场景及虚拟场景中的对象被缩小显示

149.示意性的,请参考图
11
,在虚拟环境画面
1100
上显示有角度调整控件
1110
,其中,角度调整控件
1110
中包括方向调整区域
1111
以及距离调整区域
1112。
当接收到在方向调整区域
1111
上的方向调整操作时,以旋转摄像头模型的方式调整对虚拟场景进行观察的角度;当接收到在距离调整区域
1112
上的距离调整操作时,以拉近或者拉远摄像头模型的方式调整对虚拟场景进行观察的角度

150.在一些实施例中,方向调整区域
1111
和距离调整区域
1112
的显示存在联动关系

示意性的,当接收到在方向调整区域
1111
上的方向调整操作后,根据方向调整操作调整观察方向并联动显示距离调整区域
1112
,从而在距离调整区域
1112
上接收距离调整操作对观察距离进行调整

或者,当接收到在距离调整区域
1112
上接收距离调整操作对观察距离进行调整后,联动显示方向调整区域
1111
,接收在方向调整区域
1111
上的方向调整操作后,根据方向调整操作调整观察方向

151.或者,在角度调整控件
1110
上还可以显示调整选项,其中包括方向选项和距离选项,当接收到对方向选项的选择操作时,显示方向调整区域
1111
,并可以通过确认控件返回至显示调整选项;当接收到对距离选项的选择操作时,显示距离调整区域
1112
,并可以通过确认控件返回至显示调整选项

152.在一些实施例中,视角调整操作中既包括在方向调整区域中的操作,也包括在距离调整区域上的操作,则调整方式中同时包括在方向和距离上的调整,需要同时在观察方向和观察距离上进行对应的调整

153.步骤
1005
,以调整方式将观察虚拟场景的第一观察角度调整为第二观察角度

154.当调整方式中包括在观察方向上的调整时,则对摄像机模型进行旋转或者切换实现观察方向的调整;也即,对单个摄像机模型在虚拟场景中的观察位置进行旋转或者在多个摄像机模型之间进行切换应用,从而实现对观察方向的调整

如:将观察方向向右调整时,将摄像机模型围绕观察中心向右旋转,或者从第一摄像机模型切换至右侧的第二摄像机模型进行观察

155.当调整方式中包括在观察距离上的调整时,则将摄像机模型在观察方向上进行位置变换实现观察距离的调整;也即,在摄像机模型的观察方向上,将摄像机模型向接近观察中心的方向调整,或者将摄像机模型向远离观察中心的方向调整,从而实现对观察距离的调整

156.当调整方式中既包括在观察方向上又包括在观察距离上的调整时,则在旋转或切换摄像机模型的同时,调节摄像机模型在观察方向上的观察位置

157.综上所述,本技术实施例提供的基于虚拟场景的互动观察方法,首先将玩家对应的抠图对象用于虚拟场景结合显示,并在虚拟场景中显示抠图对象时,通过视角调整操作对观察虚拟场景的观察视角进行调整,从而在通过抠图对象提高虚拟场景的互动多样性的同时,增加了对虚拟场景进行观察的角度调整方式,提高了虚拟场景的观察效率

158.本实施例提供的方法,在对观察角度进行调整时,包括在观察方向上的调整和在观察距离上的调整,提高了观察虚拟场景的观察方式多样性

159.示意性的,以本技术实施例提供的基于虚拟场景的互动方法应用于云游戏中为例


12
是本技术一个示例性实施例提供的互动观察方法的整体流程图,如图
12
所示,该过程中包括:
160.步骤
1201
,云服务器启动云游戏

161.在云服务器中运行云游戏,从而玩家能够接入云服务器进行云游戏

162.步骤
1202
,玩家登陆至大厅

163.在一些实施例中,多名玩家使用账号系统登陆到云游戏大厅

164.步骤
1203
,玩家通过大厅加入房间

165.一个云游戏房间中包括至少一个玩家,在本技术实施例中,有一个云游戏房间中包括至少两个玩家,且至少两个玩家之间可以互动

166.步骤
1204
,云服务器初始化玩家数据

167.云服务器首先将玩家对应的游戏帐号数据进行初始化

168.步骤
1205
,云服务器创建个人渲染相机

169.云服务器在游戏场景内创建玩家独有的虚拟摄像机,与玩家一一绑定,用来捕获指定角度的游戏画面回传给指定玩家

170.步骤
1206
,云服务器创建个人音频组

171.其中,个人音频组是指与玩家对应的音频组,用于向玩家输送独立的音频内容,示意性的,当玩家a和玩家b处于同一虚拟场景中,玩家a选择音频a作为背景音频,玩家b选择
音频b作为背景音频,则向玩家a传输音频a的数据,向玩家b传输音频b的数据进行独立播放

172.步骤
1207
,玩家与云服务器建立连接,并交换编解码信息

173.其中,编码和解码为视频处理的对应过程,由云服务器对游戏过程视频进行编码后发送至终端,终端对编码视频进行解码,得到解码视频流进行播放;而终端在通过摄像头采集得到视频流,对摄像头采集的视频流进行编码,并发送至云服务器进行解码以及后续的抠图等处理

174.步骤
1208
,云服务器向玩家发送相机渲染视频流,以及发送编码视频流

175.其中,由云服务器对玩家的视频内容进行渲染,包括获取抠图对象

虚拟场景数据

显示位置数据等,根据计算得到的显示数据渲染得到视频流,并将视频流编码发送至终端,由于云服务器的计算能力远优于终端,终端仅需要接收编码视频流进行解码并播放视频,既能够显示云游戏的游戏过程,而无需针对游戏数据进行计算或者处理,减轻了终端侧的数据处理量,提高了云游戏的运行效率和速率

176.步骤
1209
,玩家进行数据流模拟输入

177.在一些实施例中,玩家首先接收部分测试数据进行模拟输入,当测试数据输入成功时,确定玩家对云游戏的控制操作执行成功,并继而能够进一步对相机或其他控件进行控制

178.步骤
1210
,云服务器控制玩家相机
/
操作

179.也即,云服务器获取玩家执行的观察视角控制操作,并根据观察视角控制操作调整摄像机模型的位置,从而实现观察角度的调整

180.图
13
是本技术一个示例性实施例提供的基于虚拟场景的互动观察装置的结构框图,如图
13
所示,以该装置应用于配置有摄像头的第一终端中,该装置包括:
181.采集模块
1310
,用于响应于虚拟场景显示操作通过所述摄像头采集第一场景图像,所述第一场景图像中包括位于所述第一终端的摄像头拍摄范围内的第一对象;
182.显示模块
1320
,用于显示虚拟环境画面,所述虚拟环境画面中包括以第一观察角度观察得到的虚拟场景与抠图对象,所述抠图对象中包括对所述第一场景图像进行抠图得到的所述第一对象,以及对第二场景图像进行抠图得到的第二对象,其中,所述第二场景图像是通过配置有摄像头的第二终端采集得到的图像;
183.接收模块
1330
,用于接收视角调整操作;
184.所述显示模块
1320
,还用于基于所述视角调整操作,将观察所述虚拟场景与所述抠图对象的第一观察角度调整为第二观察角度

185.在一个可选的实施例中,所述显示模块
1320
,还用于基于所述视角调整操作,将观察所述虚拟场景的第一观察角度调整为第二观察角度;保持所述抠图对象在所述虚拟场景中的位置不变,以面向所述第二观察角度的方向显示所述抠图对象

186.在一个可选的实施例中,所述终端在所述虚拟场景中对应有摄像机模型,所述摄像机模型用于调整观察角度;
187.如图
14
所示,所述装置,还包括:
188.调整模块
1340
,用于基于所述视角调整操作,将所述摄像机模型从第一观察位置调整至第二观察位置,其中,所述第一观察位置用于以第一观察角度对所述虚拟场景进行
观察,所述第二观察位置用于以第二观察角度对所述虚拟场景进行观察

189.在一个可选的实施例中,所述虚拟场景中对应有摄像机模型,其中,所述第一观察角度对应第一摄像机模型,所述第二观察角度对应第二摄像机模型;
190.所述装置,还包括:
191.调整模块
1340
,用于基于所述视角调整操作,由通过所述第一摄像机模型对所述虚拟场景进行观察切换至通过所述第二摄像机模型对所述虚拟场景进行观察

192.在一个可选的实施例中,所述虚拟场景对应设置有摄像机模型;
193.所述显示模块
1320
,还用于保持所述抠图对象在所述虚拟场景中的位置不变;控制所述抠图对象面向所述第二观察视角对应的所述摄像机模型显示

194.在一个可选的实施例中,所述虚拟环境画面上显示有角度调整控件,所述视角调整操作是在所述角度调整控件上接收到的操作;
195.所述装置还包括:
196.确定模块,用于确定所述视角调整操作在所述角度调整控件上对应的调整方式;
197.所述显示模块
1320
,还用于以所述调整方式将观察所述虚拟场景的所述第一观察角度调整为所述第二观察角度

198.在一个可选的实施例中,所述角度调整控件包括方向调整区域;
199.所述接收模块
1330
,还用于接收在所述方向调整区域上的方向调整操作;
200.所述显示模块
1320
,还用于基于所述方向调整操作对应的调整方向,将观察所述虚拟场景的所述第一观察角度调整为所述第二观察角度

201.在一个可选的实施例中,所述角度调整控件包括距离调整区域;
202.所述接收模块
1330
,还用于接收在所述距离调整区域上的距离调整操作,所述距离调整操作用于调整观察点在观察方向上的位置;
203.所述装置,还包括:
204.调整模块
1340
,用于基于所述距离调整操作对观察所述虚拟场景的观察距离进行调整

205.综上所述,本技术实施例提供的基于虚拟场景的互动观察装置,首先将玩家对应的抠图对象用于虚拟场景结合显示,并在虚拟场景中显示抠图对象时,通过视角调整操作对观察虚拟场景的观察视角进行调整,从而在通过抠图对象提高虚拟场景的互动多样性的同时,增加了对虚拟场景进行观察的角度调整方式,提高了虚拟场景的观察效率

206.需要说明的是:上述实施例提供的基于虚拟场景的互动观察装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能

另外,上述实施例提供的基于虚拟场景的互动观察装置与基于虚拟场景的互动观察方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述

207.图
15
示出了本技术一个示例性实施例提供的终端
1500
的结构框图

该终端
1500
可以是:智能手机

平板电脑
、mp3
播放器
(moving picture experts group audio layer iii
,动态影像专家压缩标准音频层面
3)、mp4(moving picture experts group audio layer iv
,动态影像专家压缩标准音频层面
4)
播放器

笔记本电脑或台式电脑

终端
1500
还可能被称为用户设备

便携式终端

膝上型终端

台式终端等其他名称

208.通常,终端
1500
包括有:处理器
1501
和存储器
1502。
209.处理器
1501
可以包括一个或多个处理核心,比如4核心处理器
、8
核心处理器等

处理器
1501
可以采用
dsp(digital signal processing
,数字信号处理
)、fpga(field

programmable gate array
,现场可编程门阵列
)、pla(programmable logic array
,可编程逻辑阵列
)
中的至少一种硬件形式来实现

处理器
1501
也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称
cpu(central processing unit
,中央处理器
)
;协处理器是用于对在待机状态下的数据进行处理的低功耗处理器

在一些实施例中,处理器
1501
可以在集成有
gpu(graphics processing unit
,图像处理器
)

gpu
用于负责显示屏所需要显示的内容的渲染和绘制

一些实施例中,处理器
1501
还可以包括
ai(artificial intelligence
,人工智能
)
处理器,该
ai
处理器用于处理有关机器学习的计算操作

210.存储器
1502
可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的

存储器
1502
还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备

闪存存储设备

在一些实施例中,存储器
1502
中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器
1501
所执行以实现本技术中方法实施例提供的基于虚拟场景的互动观察方法

211.在一些实施例中,终端
1500
还可选包括有:外围设备接口
1503
和至少一个外围设备

处理器
1501、
存储器
1502
和外围设备接口
1503
之间可以通过总线或信号线相连

各个外围设备可以通过总线

信号线或电路板与外围设备接口
1503
相连

具体地,外围设备包括:射频电路
1504、
显示屏
1505、
摄像头组件
1506、
音频电路
1507、
定位组件
1508
和电源
1509
中的至少一种

212.外围设备接口
1503
可被用于将
i/o(input/output
,输入
/
输出
)
相关的至少一个外围设备连接到处理器
1501
和存储器
1502。
在一些实施例中,处理器
1501、
存储器
1502
和外围设备接口
1503
被集成在同一芯片或电路板上;在一些其他实施例中,处理器
1501、
存储器
1502
和外围设备接口
1503
中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定

213.射频电路
1504
用于接收和发射
rf(radio frequency
,射频
)
信号,也称电磁信号

射频电路
1504
通过电磁信号与通信网络以及其他通信设备进行通信

射频电路
1504
将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号

可选地,射频电路
1504
包括:天线系统
、rf
收发器

一个或多个放大器

调谐器

振荡器

数字信号处理器

编解码芯片组

用户身份模块卡等等

射频电路
1504
可以通过至少一种无线通信协议来与其它终端进行通信

该无线通信协议包括但不限于:万维网

城域网

内联网

各代移动通信网络
(2g、3g、4g

5g)、
无线局域网和
/

wifi(wireless fidelity
,无线保真
)
网络

在一些实施例中,射频电路
1504
还可以包括
nfc(near field communication
,近距离无线通信
)
有关的电路,本技术对此不加以限定

214.显示屏
1505
用于显示
ui(user interface
,用户界面
)。

ui
可以包括图形

文本

图标

视频及其它们的任意组合

当显示屏
1505
是触摸显示屏时,显示屏
1505
还具有采集在显示屏
1505
的表面或表面上方的触摸信号的能力

该触摸信号可以作为控制信号输入至处理器
1501
进行处理

此时,显示屏
1505
还可以用于提供虚拟按钮和
/
或虚拟键盘,也称软按
钮和
/
或软键盘

在一些实施例中,显示屏
1505
可以为一个,设置终端
1500
的前面板;在另一些实施例中,显示屏
1505
可以为至少两个,分别设置在终端
1500
的不同表面或呈折叠设计;在再一些实施例中,显示屏
1505
可以是柔性显示屏,设置在终端
1500
的弯曲表面上或折叠面上

甚至,显示屏
1505
还可以设置成非矩形的不规则图形,也即异形屏

显示屏
1505
可以采用
lcd(liquid crystal display
,液晶显示屏
)、oled(organic light-emitting diode
,有机发光二极管
)
等材质制备

215.摄像头组件
1506
用于采集图像或视频

可选地,摄像头组件
1506
包括前置摄像头和后置摄像头

通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面

在一些实施例中,后置摄像头为至少两个,分别为主摄像头

景深摄像头

广角摄像头

长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能

主摄像头和广角摄像头融合实现全景拍摄以及
vr(virtual reality
,虚拟现实
)
拍摄功能或者其它融合拍摄功能

在一些实施例中,摄像头组件
1506
还可以包括闪光灯

闪光灯可以是单色温闪光灯,也可以是双色温闪光灯

双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿

216.音频电路
1507
可以包括麦克风和扬声器

麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器
1501
进行处理,或者输入至射频电路
1504
以实现语音通信

出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端
1500
的不同部位

麦克风还可以是阵列麦克风或全向采集型麦克风

扬声器则用于将来自处理器
1501
或射频电路
1504
的电信号转换为声波

扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器

当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途

在一些实施例中,音频电路
1507
还可以包括耳机插孔

217.定位组件
1508
用于定位终端
1500
的当前地理位置,以实现导航或
lbs(location based service
,基于位置的服务
)。
218.电源
1509
用于为终端
1500
中的各个组件进行供电

电源
1509
可以是交流电

直流电

一次性电池或可充电电池

当电源
1509
包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池

有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池

该可充电电池还可以用于支持快充技术

219.在一些实施例中,终端
1500
还包括有一个或多个传感器
1510。
该一个或多个传感器
1510
包括但不限于:加速度传感器
1511、
陀螺仪传感器
1512、
压力传感器
1513、
指纹传感器
1514、
光学传感器
1515
以及接近传感器
1516。
220.加速度传感器
1511
可以检测以终端
1500
建立的坐标系的三个坐标轴上的加速度大小

比如,加速度传感器
1511
可以用于检测重力加速度在三个坐标轴上的分量

处理器
1501
可以根据加速度传感器
1511
采集的重力加速度信号,控制触摸显示屏
1505
以横向视图或纵向视图进行用户界面的显示

加速度传感器
1511
还可以用于游戏或者用户的运动数据的采集

221.陀螺仪传感器
1512
可以检测终端
1500
的机体方向及转动角度,陀螺仪传感器
1512
可以与加速度传感器
1511
协同采集用户对终端
1500

3d
动作

处理器
1501
根据陀螺仪传感器
1512
采集的数据,可以实现如下功能:动作感应
(
比如根据用户的倾斜操作来改变
ui)、

摄时的图像稳定

游戏控制以及惯性导航

222.压力传感器
1513
可以设置在终端
1500
的侧边框和
/
或触摸显示屏
1505
的下层

当压力传感器
1513
设置在终端
1500
的侧边框时,可以检测用户对终端
1500
的握持信号,由处理器
1501
根据压力传感器
1513
采集的握持信号进行左右手识别或快捷操作

当压力传感器
1513
设置在触摸显示屏
1505
的下层时,由处理器
1501
根据用户对触摸显示屏
1505
的压力操作,实现对
ui
界面上的可操作性控件进行控制

可操作性控件包括按钮控件

滚动条控件

图标控件

菜单控件中的至少一种

223.指纹传感器
1514
用于采集用户的指纹,由处理器
1501
根据指纹传感器
1514
采集到的指纹识别用户的身份,或者,由指纹传感器
1514
根据采集到的指纹识别用户的身份

在识别出用户的身份为可信身份时,由处理器
1501
授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕

查看加密信息

下载软件

支付及更改设置等

指纹传感器
1514
可以被设置终端
1500
的正面

背面或侧面

当终端
1500
上设置有物理按键或厂商
logo
时,指纹传感器
1514
可以与物理按键或厂商
logo
集成在一起

224.光学传感器
1515
用于采集环境光强度

在一个实施例中,处理器
1501
可以根据光学传感器
1515
采集的环境光强度,控制触摸显示屏
1505
的显示亮度

具体地,当环境光强度较高时,调高触摸显示屏
1505
的显示亮度;当环境光强度较低时,调低触摸显示屏
1505
的显示亮度

在另一个实施例中,处理器
1501
还可以根据光学传感器
1515
采集的环境光强度,动态调整摄像头组件
1506
的拍摄参数

225.接近传感器
1516
,也称距离传感器,通常设置在终端
1500
的前面板

接近传感器
1516
用于采集用户与终端
1500
的正面之间的距离

在一个实施例中,当接近传感器
1516
检测到用户与终端
1500
的正面之间的距离逐渐变小时,由处理器
1501
控制触摸显示屏
1505
从亮屏状态切换为息屏状态;当接近传感器
1516
检测到用户与终端
1500
的正面之间的距离逐渐变大时,由处理器
1501
控制触摸显示屏
1505
从息屏状态切换为亮屏状态

226.本领域技术人员可以理解,图
15
中示出的结构并不构成对终端
1500
的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置

227.可选地,该计算机可读存储介质可以包括:只读存储器
(rom

read only memory)、
随机存取记忆体
(ram

random access memory)、
固态硬盘
(ssd

solid state drives)
或光盘等

其中,随机存取记忆体可以包括电阻式随机存取记忆体
(reram,resistance random access memory)
和动态随机存取存储器
(dram

dynamic random access memory)。
上述本技术实施例序号仅仅为了描述,不代表实施例的优劣

228.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等

229.以上所述仅为本技术的可选实施例,并不用以限制本技术,凡在本技术的精神和原则之内,所作的任何修改

等同替换

改进等,均应包含在本技术的保护范围之内

当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图