信息处理装置的制作方法-尊龙凯时官方app下载

文档序号:36175602发布日期:2023-11-25 01:11阅读:109来源:国知局
信息处理装置的制作方法
信息处理装置、信息处理方法、信息处理程序以及终端装置
技术领域
1.本技术涉及信息处理装置

信息处理方法

信息处理程序以及终端装置



背景技术:

2.以往已知识别字符并转换为文本数据

进行
ar
显示等的
ocr(optical character recognition、
光学字符识别
)
技术

3.在日语中字符有平假名

片假名

汉字

英文字母

数字等,种类较多,因此,存在如下课题:在对日语进行字符识别的情况下,需要从这些字符种类中确定最佳的一个字符,因此,难以提高识别精度以及识别速度

4.因此,提出如下技术:准备分别适合于汉字或非汉字的字符种类的字符识别器,在用第一识别器处理图像后,在判定为不属于字符集的情况下,用第二识别器进行字符识别,从而提高识别精度
(
专利文献
1)。
5.先行技术文献
6.专利文献
7.专利文献1:日本特开平
11-213094
号公报


技术实现要素:

8.但是,在专利文献1记载的技术中,进行多次字符识别处理,不适合想要实时进行字符识别的情况

9.另外,不限于字符,在人物

动植物等图像中的被摄体的识别中,从多个候补确定对象被摄体的方法中也难以进行高精度

高速的处理

10.本技术是鉴于这样的问题而做出的,其目的在于,提供能够进行高精度

高速的图像识别处理的信息处理装置

信息处理方法

信息处理程序以及终端装置

11.为解决上述问题,第1技术是一种信息处理装置,具备:当前场所推定部,基于与终端装置相关联的位置信息,推定终端装置的当前场所;以及识别模型确定部,基于由当前场所推定部推定的当前场所,确定用于图像识别的识别模型

12.另外,第2技术是一种信息处理方法,基于与终端装置相关联的位置信息推定终端装置的当前场所,基于推定的当前场所确定用于图像识别的识别模型

13.另外,第3技术是一种信息处理程序,使计算机执行信息处理方法,该信息处理方法基于与终端装置相关联的位置信息推定终端装置的当前场所,基于推定的当前场所确定用于图像识别的识别模型

14.进而,第4技术是一种终端装置,该终端装置基于位置信息,使用从外部装置发送的识别模型进行图像识别处理

附图说明
15.图1是示出终端装置
10
的结构的框图

16.图2是示出第1信息处理装置
100
的结构的框图

17.图3是示出服务器装置
20
的结构的框图

18.图4是示出第1实施方式中的第2信息处理装置
200
的结构的框图

19.图5是示出第1实施方式中的识别模型数据库
203
的具体例的图

20.图6是示出第1实施方式中的终端装置
10
和第1信息处理装置
100
中的处理的流程图

21.图7是示出第1实施方式中的服务器装置
20
和第2信息处理装置
200
中的处理的流程图

22.图8是字符识别的说明图

23.图9是示出第2实施方式中的第2信息处理装置
200
的结构的框图

24.图
10
是示出第2实施方式中的识别模型数据库
203
的具体例的图

25.图
11
是示出第2实施方式中的终端装置
10
和第1信息处理装置
100
中的处理的流程图

26.图
12
是示出第2实施方式中的服务器装置
20
和第2信息处理装置
200
中的处理的流程图

27.图
13
是示出第2实施方式中的服务器装置
20
的其它例子的框图

28.图
14
是第3实施方式中的公交站组的说明图

29.图
15
是示出第3实施方式中的第1信息处理装置
100
的结构的框图

30.图
16
是示出第3实施方式中的识别模型数据库
203
的具体例的图

31.图
17
是示出第3实施方式中的终端装置
10
和第1信息处理装置
100
中的处理的流程图

32.图
18
是示出第3实施方式中的服务器装置
20
和第2信息处理装置
200
中的处理的流程图

33.(
符号说明
)
34.10
:终端装置;
20
:服务器装置;
100
:信息处理装置;
101
:第1识别处理部;
102
:第2识别处理部;
103
:第3识别处理部;
201
:当前场所推定部;
202
:识别模型确定部;
203
:识别模型数据库

具体实施方式
35.以下,参考附图,对本技术的实施方式进行说明

此外,按以下顺序进行说明

36.<
1.
第1实施方式>
37.[1-1.
终端装置
10
和第1信息处理装置
100
的结构
]
[0038]
[1-2.
服务器装置
20
和第2信息处理装置
200
的结构
]
[0039]
[1-3.
第1实施方式中的处理
]
[0040]

2.
第2实施方式>
[0041]
[2-1.
第2信息处理装置
200
的结构
]
[0042]
[2-2.
第2实施方式中的处理
]
[0043]

3.
第3实施方式>
[0044]
[3

1.
终端装置
10、
第1信息处理装置
100、
服务器装置
20、
第2信息处理装置
200

结构
]
[0045]
[3-2.
第3实施方式中的处理
]
[0046]

4.
变形例>
[0047]

1.
第1实施方式>
[0048]
[1-1.
终端装置
10
和第1信息处理装置
100
的结构
]
[0049]
第1实施方式以如下例子进行说明:设根据位置信息推定的“场所”为电车的车站,通过
ocr
识别图像中的车站的乘车处指引牌所示的字符

[0050]
参考图1以及图2,对终端装置
10
和第1信息处理装置
100
的结构进行说明

终端装置
10
具备控制部
11、
存储部
12、
接口
13、
输入部
14、
显示部
15、
位置信息获取部
16、
相机部
17、
第1信息处理装置
100
而构成

[0051]
控制部
11

cpu(central processing unit、
中央处理器
)、ram(random access memory、
随机存储器
)
以及
rom(read only memory、
只读存储器
)
等构成
。cpu
按照在
rom
中存储的程序,执行各种处理,进行命令的发行,从而进行终端装置
10
整体以及各部的控制

[0052]
存储部
12
是例如硬盘

闪存等大容量存储介质

在存储部
12
中存储有在终端装置
10
中运行的各种应用

在第1信息处理装置
100
中使用的各种信息等

[0053]
接口
13
是与其它装置

因特网等之间的接口

接口
13
可以包含有线或无线通信接口

另外,更具体而言,有线或无线通信接口可以包含
3tte
等蜂窝通信
、wi-fi、bluetooth(
注册商标
)、nfc(near field communication、
近场通信
)、
以太网
(
注册商标
)、hdmi(
注册商标
)(high-definition multimedia interface、
高清多媒体接口
)、usb(universal serial bus、
通用串行总线
)


另外,在用同一装置实现终端装置
10
和第1信息处理装置
100
的至少一部分的情况下,接口
13
可以包含装置内的总线

程序模块内的数据参考等

另外,在终端装置
10
和第1信息处理装置
100
分散于多个装置而实现的情况下,接口
13
可以包含用于各装置的不同种类的接口

[0054]
输入部
14
用于用户对终端装置
10
输入各种指示等

当从用户对输入部
14
进行了输入时,生成与该输入相应的控制信号,并供给至控制部
11。
然后,控制部
11
进行与该控制信号对应的各种处理

除了物理按钮之外,输入部
14
还有触摸面板

基于语音识别的语音输入

基于人体识别的手势输入等

[0055]
显示部
15
是显示第1信息处理装置
100
的处理结果

用相机部
17
拍摄的拍摄图像

相机部
17
启动时的实时取景图像
、ar(augmented reality、
增强现实
)
等的显示器等显示设备

[0056]
位置信息获取部
16
是用于获得与终端装置
10
相关联的位置信息的
gnss(global navigation satellite system、
全球导航卫星系统
)
模块

作为
gnss
,例如有
gps(global positioning system、
全球定位系统
)。
终端装置
10
向作为外部装置的服务器装置
20
发送位置信息获取部
16
获取的位置信息,该外部装置具有第2信息处理装置
200
的功能

[0057]
相机部
17
包含摄像元件

图像处理引擎等,具备作为相机的功能,该相机能够拍摄静止图像以及影像

除了终端装置
10
自身具备的相机部
17
之外,相机部
17
也可以是与终端装置
10
分开的

能够与终端装置
10
通信的外部的相机

[0058]
作为终端装置
10
,例如有智能手机

平板终端

可穿戴设备

个人计算机等

[0059]
如图
2a
所示,第1信息处理装置
100
在初始状态下具备第1识别处理部
101
和第2识
别处理部
102。
通过第1信息处理装置
100
,终端装置
10
具有使用识别模型的图像识别处理功能

[0060]
第1识别处理部
101
进行第1识别处理,从图像识别并提取存在字符串的区域

第1识别处理部
101
的第1识别处理结果被供给至第2识别处理部
102。
[0061]
第2识别处理部
102
进行将作为第1识别处理结果的字符串区域分解为多个一个个字符的区域的第2识别处理

[0062]
另外,当终端装置
10
接收到从服务器装置
20
发送的识别模型后,如图
2b
所示,识别模型在第1信息处理装置
100
中作为第3识别处理部
103
发挥功能

[0063]
第2识别处理部
102
的第2识别处理结果被供给至第3识别处理部
103。
第3识别处理部
103
进行识别作为第2识别处理结果的多个一字符区域中的各字符是哪个字符的第3识别处理

这样,第1识别处理部
101、
第2识别处理部
102、
第3识别处理部
103
进行
ocr
处理,能够通过第1至第3识别处理识别图像中的字符

[0064]
如上构成第1信息处理装置
100。
第1信息处理装置
100
可以构成为单个装置,也可以在终端装置
10
中运行

另外,也可以通过终端装置
10
的控制部
11
中的处理实现第1信息处理装置
100。
另外,也可以构成为终端装置
10
通过执行程序而具有作为第1信息处理装置
100
的功能

在第1信息处理装置
100
通过程序实现的情况下,程序可以预先安装于终端装置
10
内,也可以通过下载

存储介质等分发而由用户自行安装

[0065]
[1-2.
服务器装置
20
和第2信息处理装置
200
的结构
]
[0066]
接下来,参考图3以及图4,对作为外部装置的服务器装置
20
以及第2信息处理装置
200
的结构进行说明

服务器装置
20
具备控制部
21、
存储部
22、
接口
23、
第2信息处理装置
200
而构成

[0067]
控制部
21

cpu、ram
以及
rom
等构成
。cpu
按照在
rom
中存储的程序执行各种处理并进行命令的发行,从而进行服务器装置
20
整体以及各部的控制

[0068]
存储部
22
是例如硬盘

闪存等大容量存储介质

[0069]
接口
23
是与终端装置
10、
因特网等进行通信的接口,与终端装置
10
具备的接口相同

另外,在服务器装置
20
与第2信息处理装置
200
以硬件方式连接的情况下,接口
23
可以包含装置间的连接端子

装置内的总线等

另外,在服务器装置
20
和第2信息处理装置
200
分散于多个装置而实现的情况下,接口
23
可以包含用于各装置的不同种类的接口

例如,接口
23
可以包含通信接口和装置内的接口这两者

[0070]
如图4所示,第2信息处理装置
200
构成为具备当前场所推定部
201、
识别模型确定部
202、
识别模型数据库
203
以及发送处理部
204
这样的功能块

[0071]
当前场所推定部
201
基于从终端装置
10
发送的位置信息,推定终端装置
10
当前存在的场所即当前场所

例如,能够基于作为位置信息的纬度经度信息参考地图信息,进行当前场所的推定

除了车站

店铺等建筑物

设施之外,场所还指包含地域

空间

地方

土地等的场所

[0072]
在第1实施方式中,设场所为电车的车站,当前场所推定部
201
推定终端装置
10
当前位于哪个车站

作为推定结果的当前场所信息被供给至识别模型确定部
202。
[0073]
如图5所示,识别模型数据库
203
预先存储与作为场所的车站对应起来的多个识别模型

此外,也可以在识别模型数据库
203
中将识别模型直接与位置信息
(
纬度经度等
)
对应
起来地存储

[0074]
识别模型是指作为深度学习中的所谓“模型”的文件而汇总的模型

在本实施方式中,识别模型发挥功能,以便针对每个作为场所的车站,从图像中仅识别在该车站中的乘车处指引牌表示地区的标记中使用的字符

这样,识别模型构成为专用于特定的限定的用途

识别模型在被发送至终端装置
10
时,在第1信息处理装置
100
中作为第3识别处理部
103
发挥功能

[0075]
例如,在场所为品川海滨站
(
日文“品川
シーサイド
駅”)
的情况下,在临海线
(
日文
“りんかい
線”)
中方向
(
日文“方面”)
为上行的新木场地区
(
日文“新木場方面”)
和下行的大崎地区
(
日文“大崎方面”)。
因此,与品川海滨站对应起来的识别模型构成为仅识别“新”、“木”、“場”、“大”、“崎”、“方”、“面”这7个字符

识别模型能够仅识别与终端装置
10
的当前场所关联的关联信息,在第1实施方式中,设该关联信息为在当前场所中在标记中使用的字符

[0076]
优选使用第2信息处理装置
200
的管理者

运营者能够对识别模型数据库
203
中的识别模型进行追加

变更

删除等

[0077]
识别模型确定部
202
基于作为当前场所推定部
201
的推定结果的当前场所信息表示的车站名,参考识别模型数据库
203
,从而确定在终端装置
10
中使用的识别模型

此外,在识别模型数据库
203
中,在识别模型与位置信息对应起来地存储的情况下,识别模型确定部
202
基于位置信息参考识别模型数据库
203
,从而确定在终端装置
10
中使用的识别模型

在该情况下,当前场所推定部
201
无需基于位置信息推定场所

[0078]
发送处理部
204
进行经由接口
23
以及网络向终端装置
10
发送识别模型确定部
202
确定的识别模型的处理

由此,能够向终端装置
10
发送与终端装置
10
的当前场所对应的识别模型

[0079]
如上构成第2信息处理装置
200。
第2信息处理装置
200
可以构成为单个装置,也可以在服务器装置
20
中运行

另外,也可以由控制部
21
实现当前场所推定部
201
以及识别模型确定部
202
,由存储部
22
实现识别模型数据库
203。
另外,也可以构成为服务器装置
20
通过执行程序而具有作为第2信息处理装置
200
的功能

在通过程序实现第2信息处理装置
200
的情况下,程序可以预先安装于服务器装置
20
内,也可以通过下载

存储介质等分发而由服务器装置
20
的管理者等自行安装

[0080]
[1-3.
第1实施方式中的处理
]
[0081]
接下来,参考图6至图8,对第1实施方式中的处理进行说明

这里,设持有终端装置
10
的用户在品川海滨站来进行说明

[0082]
首先,从终端装置
10
和第1信息处理装置
100
中的处理开始说明

在步骤
s101
中,根据来自用户的输入操作等,终端装置
10
启动利用
ocr
的应用

作为应用,例如有地图应用

换乘引导应用

导航应用

相机应用

图像管理应用等

接下来,在步骤
s102
中,终端装置
10
通过位置信息获取部
16
获取终端装置
10
的位置信息

然后,在步骤
s103
中,终端装置
10
向服务器装置
20
发送位置信息

[0083]
这里,参考图7,对服务器装置
20
和第2信息处理装置
200
中的处理进行说明

[0084]
在步骤
s201
中,接收从终端装置
10
发送的位置信息

接下来,在步骤
s202
中,当前场所推定部
201
基于位置信息,推定终端装置
10
的当前场所

在终端装置
10
位于品川海滨站
内的状态下,在向终端装置
10
发送了位置信息的情况下,当前场所推定部
201
根据该位置信息推定终端装置
10
的当前场所为品川海滨站

[0085]
接下来,在步骤
s203
中,识别模型确定部
202
通过当前场所推定部
201
的推定结果的当前场所即“品川海滨站”检索识别模型数据库
203
,从而确定向终端装置
10
发送的识别模型

其结果,确定品川海滨站用识别模型

[0086]
在能够确定识别模型的情况下,处理前进至步骤
s205(
在步骤
s204
中为是
)
,发送处理部
204
向终端装置
10
发送品川海滨站用识别模型

此外,在未能确定识别模型的情况下
(
在步骤
s204
中为否
)
,返回步骤
s203
,再次进行识别模型确定

其中,在不能确定识别模型的情况下,可以再次进行步骤
s202
的当前场所推定,也可以请求终端装置
10
重新发送位置信息

[0087]
返回图6所示的终端装置
10
和第1信息处理装置
100
中的处理的说明

接下来,在步骤
s104
中,终端装置
10
接收从服务器装置
20
发送的品川海滨站用识别模型

终端装置
10
接收的品川海滨站用识别模型在第1信息处理装置
100
中作为第3识别处理部
103
发挥功能

[0088]
接下来,在步骤
s105
中,终端装置
10
根据来自用户的输入操作,通过相机部
17
获取拍摄图像

此外,步骤
s105
的拍摄不一定要在步骤
s104
接下来进行,也可以在在步骤
s104
中接收识别模型之前

在在步骤
s102
中获取位置信息之前进行

但是,位置信息的获取位置和拍摄的场所需要为相同的场所

如果在作为场所的车站内,则终端装置
10
的位置也可以移动

[0089]
接下来,在步骤
s106
中,第1识别处理部
101
对拍摄图像进行第1识别处理

设拍摄图
8a
所示的乘车处的编号牌
(
例如,“1
号乘车处,开往新木场”这样的
)
所得的图像为处理对象的拍摄图像来进行说明

在第1识别处理中,如图
8b
所示,从拍摄图像识别存在字符串的区域即字符串区域

由第1识别处理部
101
识别的字符串区域被供给至第2识别处理部
102。
[0090]
接下来,在步骤
s107
中,第2识别处理部
102
对拍摄图像进行第2识别处理

在第2识别处理中,如图
8c
所示,将作为第1识别处理结果的字符串区域分解为一个个字符的多个一字符区域

由第2识别处理部
102
识别的一字符区域被供给至第3识别处理部
103。
[0091]
接下来,在步骤
s108
中,第3识别处理部
103
对拍摄图像进行第3识别处理

在第3识别处理中,如图
8d
所示,进行第3识别识别作为第2识别处理结果的多个一字符区域中的各字符为哪个字符的处理

[0092]
如上所述,品川海滨站用识别模型为能够仅识别“新”、“木”、“場”、“大”、“崎”、“方”、“面”这7个字符的模型,因此,第3识别处理识别拍摄图像中的多个一字符区域中的字符是该7个字符中的哪一个

仅识别7个字符即可,无需识别大量汉字

平假名

片假名

英文字母

数字

因此,能够高精度且高速地进行识别处理

[0093]
此外,有时在拍摄图像中存在通过识别模型能够识别的字符以外的字符

这样的字符在第1识别处理中也被识别为字符串区域,在第2识别处理中被分割为一字符区域,但在第3识别处理中被分类为不可识别,被识别为不可识别的字符

[0094]
然后,在“字符串区域识别”、“一字符区域识别”之后,通过第3识别处理识别所有一字符区域,之后处理结束
(
在步骤
s109
中为是
)。
[0095]
第3识别处理部
103
的识别结果被供给至使用其识别结果的各种处理部

例如,在能够识别字符串区域中的所有字符的情况下,能够识别拍摄图像中的乘车处指引牌的字符
是表示哪个方向的字符,因此,能够通过
ar
等向用户提示该地区中的停车站的信息

[0096]
此外,步骤
s106
至步骤
s108
的处理也可以针对每帧实时地持续执行处理

[0097]
如上进行第1实施方式中的处理

此外,上述说明以车站中的乘车处指引牌为例,但除此之外,本技术也能够应用于例如“东口”之类的车站区域内指引

电光告示板上的“开往大崎”之类的电车的目的地指引显示中的字符的识别

[0098]

2.
第2实施方式>
[0099]
[2-1.
终端装置
10、
第1信息处理装置
100、
服务器装置
20、
第2信息处理装置
200
的结构
]
[0100]
对第2实施方式进行说明

第2实施方式以如下例子进行说明:设根据位置信息推定的场所为商业设施内的餐饮店,通过
ocr
识别图像中的餐饮店的菜单的字符

[0101]
第2实施方式与第1实施方式的相同点在于,由终端装置
10、
第1信息处理装置
100、
服务器装置
20、
第2信息处理装置
200
构成

此外,终端装置
10、
第1信息处理装置
100、
服务器装置
20
的结构与第1实施方式相同

[0102]
如图9所示,第2实施方式中的第2信息处理装置
200
具备当前场所推定部
201、
识别模型确定部
202、
识别模型数据库
203、
发送处理部
204
以及当前位置推定部
205。
[0103]
当前位置推定部
205
使用
vps(visual positioning system、
视觉定位系统
)
,基于从终端装置
10
发送的位置信息和拍摄终端装置
10
的周围所得的拍摄图像,推定终端装置
10
的当前位置

为了便于说明,设由终端装置
10
的位置信息获取部
16
获取的位置信息为第1位置信息,设由当前位置推定部
205
推定的位置信息为第2位置信息来进行区分

[0104]
vps
是指根据由相机拍摄的图像

影像推定包含方向

方位

高度等的准确的位置的技术
。gnss
产生数米至数十米左右的误差,但
vps
能够以误差数厘米以内的高精度推定位置

另外,
vps
通过图像

影像确定位置,因此,即使在建筑物杂乱的城市部分

建筑物中等
gnss
难以推定的区域,也能够推定位置

[0105]
通过组合
gnss

vps
,能够实现更准确的位置推定

例如,通过
gnss
推定大概的位置,向
vps
用管理服务器等请求通过
gnss
推定的位置的周围的信息,获取推定位置的周围的信息

然后,使其周围的信息和由相机拍摄的拍摄图像匹配,从而能够推定详细的位置

[0106]
作为当前位置推定部
205
的推定结果的第2位置信息被供给至当前场所推定部
201。
当前场所推定部
201
基于第2位置信息,推定终端装置
10
的当前场所

因此,可以说当前场所推定部
201
基于拍摄终端装置
10
的周围所得的拍摄图像推定当前场所

在本实施方式中,当前场所推定部
201
推定终端装置
10
位于哪个商业设施的哪个餐饮店

例如,能够基于作为位置信息的纬度经度信息参考地图信息,进行当前场所的推定

需要在该地图信息中也包含与建筑物以及高度对应起来的建筑物楼层信息

然后,识别模型确定部
202
基于当前场所推定部
201
推定的终端装置
10
的当前场所参考识别模型,从而确定在第1信息处理装置
100
中使用的识别模型

[0107]
第2实施方式是通过
ocr
识别图像中的餐饮店的菜单的字符的例子,因此,如图
10
所示,识别模型数据库
203
预先存储与作为场所的餐饮店对应起来的多个识别模型

识别模型在被发送至终端装置
10
后,在第1信息处理装置
100
中作为第3识别处理部
103
发挥功能

[0108]
在第2实施方式中,识别模型构成为针对每个作为场所的餐饮店仅识别在该餐饮店中的菜单中使用的字符

例如,设在餐饮店a,在菜单中记载有烤鱼套餐
(
日文“焼

魚定
食”)、
生鱼片套餐
(
日文“刺身定食”)、
炸鸡块套餐
(
日文“唐揚

定食”)。
在该情况下,餐饮店a用识别模型构成为仅识别“焼”、
“き”
、“魚”、“定”、“食”、“刺”、“身”、“唐”、“揚”、
“げ”

10
个字符

识别模型能够仅识别与终端装置
10
的当前场所关联的关联信息,这样,在第2实施方式中,设该关联信息为在当前场所中在标记中使用的字符

[0109]
识别模型确定部
202
基于作为当前场所推定部
201
的推定结果的当前场所信息表示的餐饮店名,参考识别模型数据库
203
,从而确定在终端装置
10
中使用的识别模型

确定的识别模型经由接口以及网络被发送至终端装置
10。
由此,能够向终端装置
10
发送与终端装置
10
的当前场所对应的识别模型

[0110]
[2-2.
第2实施方式中的处理
]
[0111]
接下来,参考图
11
以及图
12
,对第2实施方式中的处理进行说明

其中,设终端装置
10
位于商业设施a的餐饮店a来进行说明

[0112]
首先,从终端装置
10
和第1信息处理装置
100
中的处理开始说明

在步骤
s301
中,根据来自用户的输入操作等,终端装置
10
启动应用

接下来,在步骤
s302
中,终端装置
10
通过位置信息获取部
16
获取第1位置信息

另外,在步骤
s303
中,通过相机部
17
获取第1拍摄图像

第1拍摄图像为用于第2信息处理装置
200
通过
vps
推定终端装置
10
的当前位置的拍摄图像

此外,步骤
s302
和步骤
s303
的顺序可以相反,也可以大致同时进行

然后,在步骤
s304
中,终端装置
10
向服务器装置
20
发送第1位置信息以及第1拍摄图像

[0113]
这里,参考图
12
,对服务器装置
20
和第2信息处理装置
200
中的处理进行说明

首先,在步骤
s401
中,接收从终端装置
10
发送的第1位置信息以及第1拍摄图像

接下来,在步骤
s402
中,当前位置推定部
205
基于第1位置信息和第1拍摄图像,推定终端装置
10
的当前位置

[0114]
当前位置推定部
205
组合使用
gnss

vps
,从而与仅通过
gnss
进行推定的情况相比,能够包含方向

方位

高度等在内更详细地推定当前位置

[0115]
接下来,在步骤
s403
中,当前场所推定部
201
基于作为当前位置推定部
205
的推定结果的第2位置信息,推定终端装置
10
的当前场所

在通过
vps
推定的第2位置信息中也包含高度信息,因此,在终端装置
10
位于由多层楼构成的商业设施等的情况下,能够根据高度信息,推定终端装置
10
位于该商业设施的几层

进而,在能够推定终端装置
10
位于商业设施内的情况下,能够根据拍摄图像内的信息

方向

方位

纬度经度信息等,推定终端装置
10
当前位于商业设施内的哪个店

因此,当前场所推定部
201
能够推定终端装置
10
位于商业设施a的餐饮店
a。
[0116]
接下来,在步骤
s404
中,识别模型确定部
202
利用“商业大厦a的餐饮店
a”这样的当前场所推定部
201
的推定结果即当前场所检索识别模型数据库
203
,从而确定向终端装置
10
发送的识别模型

其结果,确定商业大厦a的餐饮店a用识别模型
(
以下称为餐饮店a用识别模型
)。
[0117]
在能够确定识别模型的情况下,处理前进至步骤
s406(
在步骤
s405
中为是
)
,发送处理部
204
向终端装置
10
发送餐饮店a用识别模型

[0118]
返回图
11
所示的终端装置
10
和第1信息处理装置
100
中的处理的说明

接下来,在步骤
s305
中,终端装置
10
接收从服务器装置
20
发送的识别模型

终端装置
10
接收的识别模型在第1信息处理装置
100
中作为第3识别处理部
103
发挥功能

[0119]
接下来,在步骤
s306
中,终端装置
10
根据来自用户的输入操作,通过相机部
17
获取第2拍摄图像

第2拍摄图像与位置推定用的第1拍摄图像的用途不同,是以识别对象的字符为被摄体的拍摄图像

[0120]
接下来,在步骤
s307
中,第1识别处理部
101
对第2拍摄图像进行第1识别处理

接下来,在步骤
s308
中,第2识别处理部
102
对第2拍摄图像进行第2识别处理

接下来,在步骤
s309
中,第3识别处理部
103
对第2拍摄图像进行第3识别处理

第1至第3识别处理与第1实施方式相同

[0121]
餐饮店a用识别模型为能够仅识别“焼”、
“き”
、“魚”、“定”、“食”、“刺”、“身”、“唐”、“揚”、
“げ”

10
个字符的模型,因此,第3识别处理识别第2拍摄图像中的多个一字符区域中的字符是该
10
个字符中的哪一个

仅识别
10
个字符即可,无需识别大量汉字

平假名

片假名

英文字母

数字

因此,能够高精度且高速地进行识别处理

[0122]
然后,在存在能够通过第3识别处理识别所有一字符区域中的字符的字符串区域的情况下,处理结束
(
在步骤
s310
中为是
)。
[0123]
此外,在第2实施方式中,使服务器装置
20
分为图
13a
所示的使用
vps
的当前位置推定用的服务器装置
(
当前位置推定用服务器装置
20a)
和图
13b
所示的用于向终端装置
10
发送识别模型的服务器装置
(
识别模型发送用服务器装置
20b)
而构成

[0124]
在该情况下,当前位置推定用服务器装置
20a
中的第2信息处理装置
200a
具备作为当前位置推定部
205
的功能

另外,识别模型发送用服务器装置
20b
中的第2信息处理装置
200b
具备作为当前场所推定部
201、
识别模型确定部
202、
识别模型数据库
203
以及发送处理部
204
的功能

[0125]
终端装置
10
向当前位置推定用服务器装置
20a
发送第1位置信息和第1拍摄图像

在当前位置推定用服务器装置
20a
的当前位置推定部
205
推定终端装置
10
的当前位置后,当前位置推定用服务器装置
20a
向终端装置
10
发送第2位置信息

终端装置
10
向识别模型发送用服务器装置
20b
发送该第2位置信息,请求发送识别模型

接下来,在识别模型发送用服务器装置
20b
中,当前场所推定部
201
根据第2位置信息推定终端装置
10
的当前场所,识别模型确定部
202
根据当前场所信息确定向终端装置
10
发送的识别模型

识别模型发送用服务器装置
20b
向终端装置
10
发送该确定的识别模型

然后,终端装置
10
使用识别模型进行识别处理

[0126]
另外,如图
13
所示,在将服务器装置
20
分为多个服务器装置的情况下,位置推定用服务器装置
20a
向识别模型发送用服务器装置
20b
发送第2位置信息,识别模型发送用服务器装置
20b
根据该第2位置信息确定识别模型,向终端装置
10
发送该识别模型

即,当前位置推定用服务器装置
20a
和识别模型发送用服务器装置
20b
可以直接交互,而不经由终端装置
10。
[0127]
如上进行第2实施方式中的处理

根据第1实施方式以及第2实施方式,能够根据终端装置
10
的当前场所,向终端装置
10
发送该场所中能够识别所需最低限度的字符的识别模型而执行
ocr。
由此,与通用的
ocr
相比,能够实现高精度

高速的
ocr。
向终端装置
10
发送在当前场所中所需的识别模型,因此,无需为了实现各种场所中的识别而预先在终端装置
10
中保持大量的识别模型

[0128]

3.
第3实施方式>
[0129]
[3-1.
终端装置
10、
第1信息处理装置
100、
服务器装置
20、
第2信息处理装置
200
的结构
]
[0130]
接下来对第3实施方式进行说明

第1以及第2实施方式以基于
ocr
的图像中的字符的识别为例,而本技术能够应用于图像中的字符以外的被摄体的识别

第3实施方式以如下例子进行说明:在存在多个公交站聚集的多个公交站组的情况下,确定用户眼前的公交站是哪个路线的公交站

[0131]
公交站组是指如图
14
的地图的例子所示在规定范围内
(
用虚线表示
)
的多个公交站的集合

在大车站等中,有时有多个这样的公交站组

虽然用户利用能够通过
gnss
获取的位置信息,以目的公交站为目标,但是
gnss
会产生几米至几十米的误差,因此,有时不能到达目的公交站

另外,有时用户甚至不知道自己面前的公交站是哪个公交站

是否是目的公交站

另外,在具有“表示什么公交车向通过相机看到的公交站驶来”的功能的应用中,在用户附近有很多公交站的情况下,有时通过“判断通过相机能否看到公交站的图像分类器”和
gnss
无法筛选“看到哪个公交站”。
因此,在第3实施方式中,设当前场所推定部
201
推定的场所为公交站组,通过识别处理确定具有终端装置
10
的用户拍摄的公交站是推定的哪个公交站组中的哪个公交站

[0132]
终端装置
10
的结构与第1实施方式相同

第1信息处理装置
100
具备识别处理部
104
,在接收到从服务器装置
20
发送的识别模型后,如图
15
所示通过该识别模型实现

识别处理部
104
根据拍摄图像识别特定的公交站

[0133]
服务器装置
20
以及第2信息处理装置
200
的结构与第1实施方式相同

存储于识别模型数据库
203
的识别模型如图
16
所示与公交站组对应起来,识别模型具有识别包含于该公交站组的各公交站的功能

[0134]
例如,能够通过匹配用户拍摄的公交站的周围的拍摄图像和预先保持的公交站的周围的图像,进行公交站的识别

为此,识别模型需要保持用于与公交站的周围的图像匹配的信息,另外,拍摄图像需要为包含识别对象的公交站自身和公交站周边的景色的图像

此外,为了这样使识别模型和公交站组对应起来,需要预先确定公交站组和包含于该公交站组的公交站

识别模型能够仅识别与终端装置
10
的当前场所关联的关联信息,这样,在第3实施方式中,设该关联信息为存在于当前场所的物体
(
公交站
)。
[0135]
[3-2.
第3实施方式中的处理
]
[0136]
接下来,参考图
17
以及图
18
,对第3实施方式中的处理进行说明

从图
17
所示的步骤
s501
至步骤
s503
与图6所示的第1实施方式中的步骤
s101
至步骤
s103
的处理相同

[0137]
在图
18
所示的服务器装置
20
以及第2信息处理装置
200
中的处理中,当在步骤
s601
中从终端装置
10
接收到位置信息时,在步骤
s602
中,当前场所推定部
201
基于位置信息推定终端装置
10
所在的公交站组作为当前场所

[0138]
接下来,在步骤
s603
中,识别模型确定部
202
基于作为由当前场所推定部
201
推定的当前场所的公交站组,参考识别模型数据库
203
,从而确定向终端装置
10
发送的识别模型

在确定了识别模型的情况下,处理前进至步骤
s605(
在步骤
s604
中为是
)
,发送处理部
204
向终端装置
10
发送确定的识别模型

[0139]
返回图
17
所示的终端装置
10
和第1信息处理装置
100
中的处理的说明

在步骤
s504
中,终端装置
10
接收从服务器装置
20
发送的识别模型

接下来,在步骤
s505
中,通过相机部
17
获取拍摄图像

接下来,在步骤
s506
中,识别处理部
104
识别是公交站组中的哪个公交站

然后,在公交站的识别完成的情况下,处理结束
(
在步骤
s607
中为是
)。
[0140]
如上进行第3实施方式中的处理

根据本实施方式,即使在存在多个公交站的情况下,也能够识别用户拍摄的公交站是哪个公交站

由此,例如,能够实现如下服务:如果拍摄公交站,则能确定该公交站是哪个路线的开往哪个方向的公交站,并通知用户

[0141]
根据本技术,专用于特定的场所,使用在限定的环境利用的识别模型,进行字符

被摄体的识别处理,因此与具有通用性的识别模型相比,能够进行高精度

高速的识别处理

这在
ar
功能等实时性和正确性重要的用途中尤其有用

特别是在如日语的
ocr
那样有数千个字符种类的语言的字符识别中,与以往技术相比,能够实现大幅的精度提高

速度提高

[0142]
另外,在通过
ocr
的字符识别中,无需发送用于识别字符串区域

分割字符区域的识别模型,从服务器装置
20
向终端装置
10
发送字符识别用的识别模型即可,因此,通信容量小,通信时间也可以短

由此,能够缩短用户的等待时间,提高实时性

[0143]
此外,在第1至第3实施方式的任一实施方式中,也可以当第2信息处理装置
200
通过识别模型确定部
202
确定向终端装置
10
发送的识别模型时,在向终端装置
10
发送识别模型之前,向终端装置
10
发送表示该识别模型的信息

在终端装置
10
接收表示识别模型的信息时,第1信息处理装置
100
确认已经获取到该信息所表示的识别模型

在已经获取到识别模型的情况下,对服务器装置
20
进行该意思的通知,不从服务器装置
20
向终端装置
10
发送识别模型

另一方面,在未获取识别模型的情况下,对服务器装置
20
进行识别模型的发送请求

发送处理部
204
根据该发送请求,进行向终端装置
10
发送识别模型的处理

由此,能够防止不必要的识别模型的发送

通过发送处理部
204
的发送处理,经由接口
23
以及网络向终端装置
10
发送表示识别模型的信息

[0144]

4.
变形例>
[0145]
以上,具体地说明了本技术的实施方式,但本技术不限于上述实施方式,能够基于本技术的技术思想进行各种变形

[0146]
上述实施方式基于拍摄图像进行处理,但也能基于影像进行处理

[0147]
第1实施方式以及第2实施方式以对
ocr
的应用为例,第3实施方式以公交站这样的图像中的被摄体的识别为例进行了说明

但是,只要是存在于图像中的物体,则本技术能够应用于任意物体的识别

以下,举出具体的应用例

[0148]
在第1应用例中,识别模型能够识别的与当前场所关联的关联信息是与当前场所关联的动植物

例如,以特定的地域为场所,预先使场所和关于分别栖息于多个地域的动植物的信息
(
外观等
)
的识别模型对应起来

在服务器装置
20
中,基于终端装置
10
的位置信息,确定与终端装置
10
的当前场所对应的识别模型,向终端装置
10
发送

然后,对在终端装置
10
中拍摄的动植物的图像使用发送的识别模型进行识别处理

由此,能够确定图像的动植物的名称

种类

进而,还能够利用其向用户提示该动植物的特征等更详细的信息

识别模型发挥功能以仅识别栖息于作为场所的地域的动植物,因此,能够在该地域中高精度

高速地进行动植物的识别

识别结果能够用于向用户提示关于识别的动植物的信息等

此外,在该例中,除地域之外,还能使季节

时间段等时间信息与识别模型对应起来,基于这些信息,确定向终端装置
10
发送的识别模型

[0149]
在第2应用例中,识别模型能够识别的与当前场所关联的关联信息是与当前场所关联的人物

例如,设特定的地域为场所,预先与关于与该地域关联的人物的信息
(
姓名

面部照片等
)
的识别模型对应起来

在服务器装置
20
中,基于终端装置
10
的位置信息确定与终端装置
10
的当前场所对应的识别模型而向终端装置
10
发送

然后,在终端装置
10
中对拍摄的人物的图像使用识别模型,进行识别处理

识别模型发挥功能以仅识别与作为场所的地域关联的人物,因此,能够在该地域中高精度

高速地进行人物的识别

由此,能够确认拍摄的图像的人物是否是与该地域关联的人物

该应用例具体能够用于识别潜伏在该地域的可能性高的嫌疑人

识别在该地域被搜索的人物等

[0150]
在第3应用例中,识别模型能够识别的与当前场所关联的关联信息是在作为当前场所的店铺销售的商品

例如,设店铺为场所,预先与关于在每个店铺销售的商品的名称的识别模型对应起来

在服务器装置
20
中,基于终端装置
10
的位置信息,确定与终端装置
10
的当前场所对应的识别模型而向终端装置
10
发送

然后,在终端装置
10
中对拍摄的商品的图像使用识别模型进行识别处理

识别模型发挥功能以仅识别在作为场所的店铺销售的商品,因此,能够在该店铺中高精度

高速地进行商品的识别

由此,能够确定在拍摄图像中拍摄的商品,向用户提示关于该商品的信息等

[0151]
另外,第2信息处理装置
200
也可以根据终端装置
10
启动的应用,确定向终端装置
10
发送的识别模型

例如,在终端装置
10
启动导航用应用的情况下,向终端装置
10
发送用于
ocr
的识别模型

在启动相机用应用

照片管理应用的情况下,向终端装置
10
发送被摄体识别用识别模型等

为此,需要从终端装置
10
向服务器装置
20
发送表示终端装置
10
启动的应用的信息

[0152]
本技术还能采用如下结构

[0153]
(1)
[0154]
一种信息处理装置,具备:
[0155]
当前场所推定部,基于与终端装置相关联的位置信息推定所述终端装置的当前场所;以及
[0156]
识别模型确定部,基于由所述当前场所推定部推定的所述当前场所,确定用于图像识别的识别模型

[0157]
(2)
[0158]
根据
(1)
所述的信息处理装置,其中,所述识别模型确定部基于所述当前场所,参考场所和所述识别模型被预先对应起来的识别模型数据库,确定用于所述图像识别的所述识别模型

[0159]
(3)
[0160]
根据
(1)

(2)
所述的信息处理装置,其中,由所述识别模型确定部确定的所述识别模型能够仅识别与由所述当前场所推定部推定的所述终端装置的当前场所关联的关联信息

[0161]
(4)
[0162]
根据
(3)
所述的信息处理装置,其中,所述关联信息是在所述当前场所中在标记中使用的字符

[0163]
(5)
[0164]
根据
(3)
所述的信息处理装置,其中,所述关联信息是关于存在于所述当前场所的物体的信息

[0165]
(6)
[0166]
根据
(3)
所述的信息处理装置,其中,所述关联信息是关于与所述当前场所关联的动植物的信息

[0167]
(7)
[0168]
根据
(3)
所述的信息处理装置,其中,所述关联信息是关于与所述当前场所关联的人物的信息

[0169]
(8)
[0170]
根据
(3)
所述的信息处理装置,其中,所述关联信息是关于存在于所述当前场所的店铺的信息

[0171]
(9)
[0172]
根据
(1)

(8)
中任一项所述的信息处理装置,其中,所述当前场所推定部基于拍摄所述终端装置的周围得到的图像,推定所述当前场所

[0173]
(10)
[0174]
根据
(1)

(9)
中任一项所述的信息处理装置,其中,具备发送处理部,该发送处理部向所述终端装置发送由所述识别模型确定部确定的识别模型

[0175]
(11)
[0176]
根据
(1)

(10)
中任一项所述的信息处理装置,其中,具备发送处理部,该发送处理部向所述终端装置发送表示由所述识别模型确定部确定的所述识别模型的信息

[0177]
(12)
[0178]
根据
(11)
所述的信息处理装置,其中,所述发送处理部根据来自接收到表示所述识别模型的信息的所述终端装置的请求,向所述终端装置发送由所述识别模型确定部确定的所述识别模型

[0179]
(13)
[0180]
根据
(1)

(12)
中任一项所述的信息处理装置,其中,所述识别模型确定部根据在所述终端装置中启动的应用确定所述识别模型

[0181]
(14)
[0182]
根据
(1)

(13)
中任一项所述的信息处理装置,其中,所述识别模型是用于深度学习的模型

[0183]
(15)
[0184]
一种信息处理方法,基于与终端装置
10
相关联的位置信息推定所述终端装置的当前场所,
[0185]
基于推定的所述当前场所,确定用于图像识别的识别模型

[0186]
(16)
[0187]
一种信息处理程序,使计算机执行信息处理方法,该信息处理方法基于与终端装置相关联的位置信息,推定所述终端装置的当前场所,
[0188]
基于推定的所述当前场所,确定用于图像识别的识别模型

[0189]
(17)
[0190]
一种终端装置,基于位置信息,使用从外部装置发送的识别模型进行图像识别处理

[0191]
(18)
[0192]
根据
(17)
所述的终端装置,其中,向所述外部装置发送所述位置信息

[0193]
(19)
[0194]
根据
(17)
所述的终端装置,其中,具备第1识别处理部

第2识别处理部以及由所述识别模型实现的第3识别处理部,
[0195]
所述第1识别处理部从所述图像中识别存在字符串的区域,
[0196]
所述第2识别处理部将存在所述字符串的区域分割为每个字符的区域,
[0197]
所述第3识别处理部确定每个所述字符的区域的各字符

当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图