一种基于人工智能视频特征的列车实时定位方法与流程-尊龙凯时官方app下载

文档序号:36404686发布日期:2023-12-16 10:40阅读:12来源:国知局


1.本发明涉及人工智能技术领域,尤其涉及一种基于人工智能视频特征的列车实时定位方法



背景技术:

2.在列车运行过程中,列车定位结果影响着各列车的安全,精确的列车定位结果能够为列车调度以及列车运行控制等提供帮助

目前,在我国的高铁运行过程中,为了精确定位,常采用轨道电路

应答器等轨旁设备进行定位或采用融合北斗卫星导航的列车综合定位技术,通常方案是采用
ins/gnss(
惯性导航系统
/
全球导航卫星系统
)
组合导航

但是,当前方式存在信号盲区

累积漂移误差

设备使用和维护比较复杂等问题

3.有鉴于此,特提出本发明



技术实现要素:

4.本发明的目的是提供一种基于人工智能视频特征的列车实时定位方法,可以对列车的运行位置进行米级精度的定位

5.本发明的目的是通过以下技术方案实现的:
6.一种基于人工智能视频特征的列车实时定位方法,包括:
7.将采集到的查询图像输入至列车位置网络,获得查询图像对应的图像表示,并在图像数据库中进行基于图像表示的相似度搜索,从图像数据库中搜索出若干图像;其中,图像数据库中的每一图像均具有对应位置信息;
8.根据与查询图像的图像表示的相似度大小,对获得的所有图像进行排序;
9.利用排序后的图像中的位置信息确定查询图像的位置信息

10.由上述本发明提供的技术方案可以看出,不需要使用惯性导航设备,仅仅依靠采集的图像就可以让列车获取准确的位置信息,避免使用惯导常见的累积漂移误差,设备使用和维护比较复杂等问题;本发明对高中低速运动的列车都可以位置推断,是对未来的轨道交通驾驶系统
(
包括驾驶人或自动驾驶车辆
)
非常适合的方法

附图说明
11.为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图

12.图1为本发明实施例提供的一种基于人工智能视频特征的列车实时定位方法的流程图;
13.图2为本发明实施例提供的训练阶段的示意图;
14.图3为本发明实施例提供的推理阶段的示意图;
15.图4为本发明实施例提供的列车位置计算思想示意图

具体实施方式
16.下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚

完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例

基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围

17.首先对本文中可能使用的术语进行如下说明:
18.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述,应被解释为非排它性的包括

例如:包括某技术特征要素
(
如原料

组分

成分

载体

剂型

材料

尺寸

零件

部件

机构

装置

步骤

工序

方法

反应条件

加工条件

参数

算法

信号

数据

产品或制品等
)
,应被解释为不仅包括明确列出的某技术特征要素,还可以包括未明确列出的本领域公知的其它技术特征要素

19.术语“由
……
组成”表示排除任何未明确列出的技术特征要素

若将该术语用于权利要求中,则该术语将使权利要求成为封闭式,使其不包含除明确列出的技术特征要素以外的技术特征要素,但与其相关的常规杂质除外

如果该术语只是出现在权利要求的某子句中,那么其仅限定在该子句中明确列出的要素,其他子句中所记载的要素并不被排除在整体权利要求之外

20.下面对本发明所提供的一种基于人工智能视频特征的列车实时定位方法进行详细描述

本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术

本发明实施例中未注明具体条件者,按照本领域常规条件或制造商建议的条件进行

本发明实施例中所用仪器未注明生产厂商者,均为可以通过市售购买获得的常规产品

21.本发明实施例提供的一种基于人工智能视频特征的列车实时定位方法,它本质是一种深度学习方法,首先利用摄像头获取行进过程中的路侧图像,然后将每一帧图像使用深度网络
(
列车位置网络
)
进行特征提取并与图像的北斗或
gps
位置进行关联学习,深度网络学习
(
训练
)
之后即可对输入的图片进行推测,给出最接近的图像数据库中的图像及其位置

当输入为视频
(
连续的图片
)、
推测连续运行时,可持续给出列车的位置从而实现了列车定位

本发明与绝大多数机器人
slam(
同步定位与地图绘制
)
方法不同,本发明不采用惯导设备,仅仅利用视频图像来进行定位


slam
中纯视频方法也不同,本发明不采用逐帧进行计算

更新状态的方法,也不需要对输入成对图片的位置差做预先了解,本发明的深度网络在学习阶段使用三帧图像
(
即后文所述的三图
)
的特征进行学习,学习完毕后即可基于图像表示在图像数据库中检索出与查询图像最相似的若干图像,然后根据这若干张图像的位置进行位置精炼处理后获得全局位置

22.如图1所示,为本发明实施例提供的一种基于人工智能视频特征的列车实时定位方法的流程图,其主要包括如下步骤:
23.步骤
1、
将采集到的查询图像输入至列车位置网络,获得查询图像对应的图像表示,并在图像数据库中进行基于图像表示的相似度搜索,从图像数据库中搜索出若干图像

24.本发明实施例中,图像数据库中的每一图像均具有对应位置信息

25.本发明实施例中,所述查询图像通过跟随列车一同行进的摄像头采集;当摄像头
采集到的为视频时,将视频中的每一视频帧图像作为查询图像,实现列车运行过程中的实时定位

26.本发明实施例中,所述在图像数据库中进行基于图像表示的相似度搜索,从图像数据库中搜索出若干图像包括:分别计算查询图像的图像表示与图像数据库中每一图像的图像表示的相似度;如果图像数据库中某一图像a的图像表示与查询图像的图像表示的相似度超过阈值,则该图像a作为搜索出的图像,最终,从图像数据库中搜索出若干图像

27.所述图像数据库为采用线路区间的图像建立的数据库,根据查询图像对应的区域,选择相应图像数据库进行相似度搜索

可以有效缩短检索时间,从而对速度更高的列车也能提供实时的位置定位

28.步骤
2、
根据与查询图像的图像表示的相似度大小,对获得的所有图像进行排序

29.本发明实施例中,根据相似度大小对相应图像做降序排列,即与查询图像的图像表示相似度越高的图像排序在前,反之,排序在后

30.步骤
3、
利用排序后的图像中的位置信息确定查询图像的位置信息

31.本发明实施例中,可以对排序后的图像进行位置提炼,获得查询图像的位置信息,具体的可以采用如下任一种方式:
(1)
可以将排序第一的图像
(
即与查询图像的图像表示相似度最高的图像
)
中的位置信息作为查询图像的位置信息;
(2)
利用排序靠前的多张图像中的位置提炼出查询图像的位置信息,包括:综合排序靠前的多张图像中的位置信息,在进行异常点滤除后,采用计算均值

插值或中心点的方式提炼出查询图像的位置信息

32.本领域技术人员可以理解,均值

插值

中心点均可理解为由已知数据点推算或估算其他数据点的计算方式,均可通过常规方式进行计算,故不做赘述,在实际应用中,用户可根据实际情况或者经验选择相应的计算方式来提炼出查询图像的位置信息

33.本发明实施例提供的上述方案主要获得如下有益效果:
34.(1)
本发明提供的列车定位方法不同于
slam
方法,不依赖惯导设备,仅依靠视频设备,购置安装和维护成本很低

35.(2)
本发明不需要进行
slam
庞大复杂的状态空间更新和优化更新,仅仅依靠深度网络获得图像表达后就可以搜索

过滤后得到当前的位置,不会出现因为状态不连续而导致轨迹中断,系统需要重新定位初始化的情况,因此,本发明轨迹追踪更连续

36.(3)
本发明输入数据为单个图像,并非成对图片,不需要对输入成对图片的位置差做预先了解,推理结果也并非相对位置,而是直接获得全局位置

37.(4)
本发明的定位需要进行图像检索,图像库的内容越大,检索时间越长

考虑到列车的路线都是固定的情况,本发明采用站站区域之间建库,站间的图片库单独搜索,相对于起点站-终点站连续建库和全局搜索,可以有效缩短查询时间,从而对速度更高的列车也能提供实时的位置定位

38.(5)
本发明对出现某些异常情况,如北斗
gps
信号受干扰或中断,或特殊地理环境,依然能够有效确定当下的位置,不受电磁干扰,人工裸眼可以直接校验对比,不依赖额外的校验设备,对未来轨道交通系统在任意环境下有效工作是一种非常适用的定位手段

39.为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果,下面以具体实施例对本发明实施例所提供的方法进行详细描述

40.一

方案流程介绍

41.1、
列车位置网络的数据源

42.本发明实施例中,所述列车位置网络为深度网络,分为学习训练阶段和推理阶段

训练的目的是为了让网络学到图像和位置的对应关系,因而在推理阶段就可以利用训练好的网络来推断当前查询图片的位置

43.在进行训练之前,需要准备数据并做预处理

训练时所使用的图像数据是从跟随列车一同行进的摄像头存储的视频中获得的,位置是从与摄像头时间同步的设备中获取的,视频中每一视频帧图像均具有对应的位置信息,示例性的,视频每秒包含
25
帧,时间每一秒同步一次,每
40
毫秒对应一帧图片都有对应的空间位置坐标;将视频转换为图像,以时间信息
(timestamp)
为每一图像命名,并将图像和对应位置信息绑定

44.2、
训练阶段

45.如图2所示,训练时,输入三图序列,通过列车位置网络获得每一图像对应的图像表示,并计算出三图损失,利用三图损失优化列车位置网络的参数;其中,三图是指给定的当前图像

与当前图像最接近的图像,以及与当前图像最不接近的图像,接近与不接近通过图像中提取的特征的相似度来界定

46.本发明实施例中,通过列车位置网络获得图像表示的过程描述为:图像输入至列车位置网络后,经过列车位置网络的骨干网络
(backbone)
提取出特征图,通过列车位置网络的特征聚合模块输出特征描述子,即图像表示

骨干网络为特征提取网络,可采用常规的网络实现,例如
vgg(
卷积神经网络
)

resnet(
残差网络
)。
特征提取可以采用算法如
sift(
尺度不变特征转换
)
,特征聚合模块可以采用聚合算法如
netvlad。
47.本发明实施例中,利用三图损失优化列车位置网络的参数的具体实现流程可参照常规技术实现,故不再赘述

48.3、
推理阶段

49.本发明实施例中,推理阶段是利用训练后的列车位置网络获得图像表示,进而用于后续图像搜索与定位

如图3所示,查询图像输入至列车位置网络获得对应的图像表示,此处的过程与训练训练阶段的过程相同,即先通过骨干网络提取出特征图,再通过特征聚合模块输出特征描述子;同样的,图像数据库中的每一图像也经列车位置网络获得对应的图像表示
(
这个过程可以离线完成
)
,此处所述的图像表示主要是指通过列车位置网络提取特征图后得到的特征描述子

之后,通过相似度搜索,从图像数据库中搜索出若干图像,进而利用检索出的图像通过位置提炼,确定查询图像的位置信息,具体可参见前述步骤1~步骤3的介绍

50.二

方案原理与结论说明

51.1、
位置计算思想

52.列车或某运动对象移动时,向外部看到景象,时间上连续的两帧图片必然在位置上是接近的

按照机器人
slam
的技术理念,在初始位置获得之后,后续每一帧图片都要和前面的图片做特征点提取和特征状态关联的计算,只要后一帧的图片和前面的图片特征点没有大量丢失,就可以一帧一帧一直计算下去,计算结果是相对位置,参见图4的
(a)
部分

本发明利用的是“两帧图片非常相似必然在位置上是接近的”,图像比对的是接近位置上拍摄的历史图像,不需要保留逐帧计算的状态,每一张图片的位置是通过比对历史数据库中检索最相似的图片来得到的,参见图4的
(b)
部分

53.检索得到的最相似的图像结果
(
也即前述步骤1获得的图像
)
可以是1张或5张,
10
张,
20
张等,因为图像特征非常接近,位置也必然非常接近,通过位置提炼可以直接选第一张图像的位置,或者综合靠前的若干张图像的位置经异常点滤除后采用均值

插值或中心点来得到定位结果

54.2、
位置定位的定位精度

55.根据以上论述可知,查询图像得到的是数据库中图像特征最接近的若干张图像

而图像库中的图像位置信息是通过空间坐标换算得到的,数据库中的图像的坐标精度是采集图片时同步根据北斗或
gps
得到的,所以采集时北斗或
gps
的精度决定了位置定位的精度,而民用级北斗与
gps
可以到
10
米级精度

此外,本发明可以通过在位置提炼中采用数据矫正的方法来进一步地优化定位精度;此处所述的数据矫正的方法即为前文介绍的,先进行异常点滤除,在采用均值

插值或中心点来得到定位结果的方法

56.3、
位置定位的实时性

57.本发明的位置定位是通过搜索图像数据库得到的,图像数据库的检索时间显然是影响实时性最重要的因素

正常情况下使用高性能
cpu
或者
gpu
当然可以提高实时性,本发明考虑到在列车跨大区域运行时,运行时间几十小时,而每秒有
25
帧的高清图像数据要存储到数据库中,在巨量的数据库中做全局检索即使使用数据中心级别的服务器也是非常困难的,对列车等运动对象也不是成本有效的,因此提出采用站站分割数据库的方式来进行检索

每一段的定位只在分隔后的站间数据库中进行检索,检索可以采用并行方式进一步压低搜索时延

58.4、
位置定位与列车速度的关系

59.综上可以看出,本发明的位置定位是通过检索图像数据库得到的,查询图像一定要与图像数据库中的图片有共同的特征点才能进行定位

假设极端情况,当列车
600km/h
高速运行时,每秒前进
166.7
米,
400km/h
高速运行时,每秒前进
111.2
米,假设查询图像和库中的图片相差一秒,距离相差了
100
多米,除以摄像头帧数
(25

)
后约为
6.69

、4.45
米,因为距离拉大后图像大概率越不同,图像间要有足够多的图像共同特征点这一点就可能难保证

值得庆幸的是,有两种方法可以解决这个难题:一是采用高速相机,
25
帧变成
60
帧,那么图像之间的距离差就变得很小可以接受,另一种方式是多次采集,因为列车每次运行都是不一样的,重复多次后,数据库中的图像在采集时的物理距离上就逐渐自然缩小

60.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现

基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质
(
可以是
cd-rom
,u盘,移动硬盘等
)
中,包括若干指令用以使得一台计算机设备
(
可以是个人计算机,服务器,或者网络设备等
)
执行本发明各个实施例所述的方法

61.以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内

因此,本发明的保护范围应该以权利要求书的保护范围为准

当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图