基于张量-尊龙凯时官方app下载

文档序号:36497284发布日期:2023-12-27 19:39阅读:1来源:国知局
基于张量
基于张量convlstm的高光谱图像分类方法和装置
技术领域
1.本发明涉及遥感图像处理技术领域,具体而言,涉及基于张量convlstm的高光谱图像分类方法和装置。


背景技术:

2.高光谱遥感是一种将成像和光谱技术融为一体的多维信息获取技术。
随着深度学习技术的不断发展,近年来,深度学习模型已经成为高光谱图像分类领域的重要技术手段。
其中,卷积长短时记忆网络(convlstm)具有同时捕捉二维数据序列中空间和时间相关性的能力,在高光谱图像分类领域受到广泛关注。
然而,卷积长短时记忆网络所具有的多个门结构引入了较多的训练参数和较高的计算复杂度,使其存在训练不充分、过拟合问题,也导致其难以实际部署在计算和存储资源受限的机载或星载载荷中。
3.因此现在亟需一种减少高光谱图像的复杂度,并同时压缩模型参数量和计算量,也可以获得比原始模型更准确的高光谱图像分类结果的图像分类方法。


技术实现要素:

4.本发明的目的在于提供一种基于张量convlstm的高光谱图像分类方法和装置,以改善上述问题。
为了实现上述目的,本发明采取的技术方案如下:第一方面,本技术提供了一种基于张量convlstm的高光谱图像分类方法,包括:获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
5.第二方面,本技术还提供了一种基于张量convlstm的高光谱图像分类装置,包括:获取模块,用于获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;第一构建模块,用于基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;第二构建模块,用于基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像
数据的空谱特征;第一处理模块,用于将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;第三构建模块,用于将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;第二处理模块,用于将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
6.本发明的有益效果为:本发明通过对所述待分类的高光谱图像数据集进行降维,然后基于降维后的图像数据进行处理,其中通过张量卷积长短时记忆网络模型射将所有门结构的卷积核权重级联为一个大尺寸张量,然后再被映射为预设数量的小尺寸卷积核张量,替换了现有技术中所有卷积核权重所级联而成的大尺寸张量的构成方式,可以同时压缩模型参数量和计算量,也可以获得比原始模型更准确的高光谱图像分类结果,而且本发明还保护了模型对特征提取能力。
7.本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。
本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
8.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
9.图1为本发明实施例中所述的基于张量convlstm的高光谱图像分类方法流程示意图
;
图2为本发明实施例中所述的基于张量convlstm的高光谱图像分类装置结构示意图;图3为本发明实施例中所述的张量卷积长短时记忆网络模型结构示意图;图4为本发明实施例中所述的全张量长短时记忆单元的结构示意图。
10.图中标记:
701、获取模块;
702、第一构建模块;
703、第二构建模块;
704、第一处理模块;
705、第三构建模块;
706、第二处理模块;
7021、第一构建单元;
7022、第一运算单元;
7023、第二运算单元;
7024、第三运算单元;
7025、第四运算单元;
7026、第一处理单元;
7027、第二处理单元;
7051、第三处理单元;
7052、第四处理单元;
7053、第五处理单元;
7054、第六处理单元;
7055、第七处理单元;
7056、第八处理单元。
具体实施方式
11.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实
施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
12.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
13.实施例1:在现有技术中基于张量分解理论的高光谱图像分类方法是一种新兴的轻量级分类技术。
张量分解方法能将卷积长短时记忆网络中门结构的权重张量分解为小尺寸张量因子,在模型参数量上有很好的压缩效果,但是,其实施过程需将权重因子恢复为原始权重,这会增加模型的计算复杂度。
14.故,为降低基于张量分解理论对高光谱图像分类过程的计算复杂度,本实施例提供了一种基于张量卷积长短时记忆网络(convlstm)的高光谱图像分类方法。
15.参见图
1、图3和图4,图中示出了本方法包括步骤s1、步骤s2、步骤s3和步骤s4。
16.步骤s1、获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;可以理解的是本步骤中第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,其中所述已分类的高光谱图像数据为降维处理后的图像数据;本发明可以通过所述已分类的高光谱图像数据对张量卷积长短时记忆网络模型进行训练,进而快速进行分类,达到智能化,轻量化的目的。
17.步骤s2、基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;可以理解的是本步骤通过预设的卷积核构建张量顺序卷积层,进而通过已分类的数据进行空间特征提取,本步骤中,步骤s2包括步骤s21、步骤s22、步骤s23、步骤s24和步骤s25。
18.步骤s21、基于预设数量的第一输入卷积核、第二输入卷积核、第一输出卷积核和第二输出卷积核构建张量顺序卷积层,其中,所述第一输入卷积核包含最大的输入通道的分解因子,所述第一输出卷积核包含最大的输出通道的分解因子;可以理解的是所述卷积核是用于从输入数据中提取特征的小型过滤器。
并且所述第一输入卷积核包含最大的输入通道的分解因子。
这样的卷积核考虑了输入数据的通道数,以更好地捕捉输入数据的特征。
通道分解因子可以对输入数据中不同通道信息的重要性进行权衡。
输出数据的通道数。
这有助于确定卷积层输出的特征图数量。
其中不同的卷积核组合用于学习和提取输入数据中的多层次、多方面的特征。
19.其中,所述张量顺序卷积层的计算方法,包括:步骤s22、将所述第一信息与所述第一输入卷积核做卷积运算得到第一卷积特征;可以理解的是这一步的目的是通过卷积操作,从输入数据中提取出与第一输入卷积核相关的特征信息。
卷积操作是一种特征提取的过程,通过卷积核在输入数据上滑动,生成卷积特征图。
20.步骤s23、将所述第一卷积特征与预设数量的第二输入卷积核做卷积运算得到第二卷积特征;可以理解的是这一步的目的是在第一卷积特征的基础上,进一步提取和学习更高级别的特征。
通过层层堆叠的卷积操作,网络可以逐渐学习到更抽象和复杂的表征。
21.步骤s24、将第二卷积特征与预设数量的第二输出卷积核做卷积运算得到第三卷积特征;可以理解的是这一步的目的是通过第二输出卷积核,进一步调整和提炼网络学到的特征,以更好地适应任务需求。
22.步骤s25、将第三卷积特征与第一输出卷积核做卷积运算得到张量顺序卷积层的输出数据。
23.可以理解的是这一步的目的是将学到的特征整合在一起,生成最终的输出。
第一输出卷积核在这里起到整体特征融合的作用,确保网络在前向传播过程中能够有效地捕捉输入数据中的关键信息。
本步骤中,所述步骤s2还包括步骤s26和步骤s27。
24.步骤s26、将当前时刻输入的已分类的高光谱图像数据和前一时刻全张量卷积长短时记忆单元输出的数据进行级联处理,其中,将所有门结构的卷积核权重级联为一个张量数据;可以理解的是将当前时刻的输入与前一时刻的输出数据进行级联。
其中,将两个数据信息进行级联处理,形成一个张量数据。
通过将这些门结构的卷积核权重级联,我们有效地将门结构的信息融合到当前时刻的输入数据中,以更好地捕捉序列数据中的长期依赖关系。
本步骤增强了模型对序列数据的建模能力,使其能够更好地适应时序变化。
这可以提高模型对高光谱图像数据的理解和表达能力,进一步提升分类性能,并且,在本技术中神经网络中将当前时刻输入数据和前一时刻输出数据级联为一个大尺寸张量数据,并通过预设数量的卷积核张量进行顺序卷积运算以提取特征。
并且结合卷积核权重级联-映射替换,能有效减小了标准卷积长短时记忆单元的计算量和参数量,同时保护了中全张量长短时记忆单元的表达能力。
其中,将所述张量数据输入到所述张量顺序卷积层中,级联后重构的张量数据的计算方法为:
;
其中,和为级联后重构的输入和输出张量数据;,和,分别是小尺寸的输入和输出卷积核,且和分别是级联后的数据的输入和输出通道数;和分别输入和输出卷积核的个数;和是输入和输出通道的分解因子;是张量秩;是它们的索引;是非线性激活函数。
25.步骤s27、将所述张量数据输入到所述张量顺序卷积层中,并将顺序卷积层的运算结果沿通道维度被分成四个大小相等的部分,得到所述已分类的高光谱图像数据的空间特征。
26.可以理解的是本步骤通过对所述张量数据进行处理,对图像的不同通道特征进行更细粒度的分析,以便更好地捕捉图像的多层次信息。
27.步骤s3、基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短
时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;可以理解的是,在本技术中全张量长短时记忆单元的数量由低维高光谱图像数据块的维度决定,即全张量长短时记忆单元的等于低维高光谱图像数据块的维度。
并且在本技术中,提取最低维度的全张量长短时记忆单元所需前一时刻输出数据为一份初始化的全零特征,提取最低维度的全张量长短时记忆单元输出信息并作为下一个维度的全张量长短时记忆单元一份输入信息,以此构成链式结构的特征提取方式。
本步骤通过通道分割与哈达玛乘积运算,将卷积运算结果沿通道维度分成四个相等大小的部分,每部分特征通过预设的非线性激活函数后,进行哈达玛乘积运算,有助于捕捉特定的空谱特征。
这一系列操作有助于模型更好地学习高光谱图像数据中的时序和空谱特征,提高分类模型的性能。
28.可以理解的是,关于全张量长短时记忆单元结构可参见图4的示意图,并且本技术中还一并提供了全张量长短时记忆单元的数学表达式:
;
其中,、和分别表示当前时刻的输入、输出和状态数据,和分别表示前一时刻的输出和状态数据;、和分别表示输入、遗忘和输出门的输出;是当前时刻的状态更新量;、、和为上述相应变量的中间变量;和是数据的空间维度的宽和高;、、和分别代表在输入门、遗忘门、状态更新和输出门中与当前时刻输入数据做卷积运算的卷积核权重张量;、、和分别代表在输入门、遗忘门、状态更新和输出门中与前一时刻输出数据做卷积运算的卷积核权重张量;的尺寸为,的尺寸为,代表、、或;表示偏置值;和是卷积核的输入和输出通道数;是卷积核的尺寸;和分别是卷积和哈德玛积运算;和是非线性激活函数;表示级联操作;为、、和沿第四个维度级联后的权重张量;为、、和沿第四个维度级联后的权重张量;为和沿第三个维度级联后的权重张量;表示顺序卷积层。
29.步骤s4、将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训
练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;可以理解的是本步骤中的全局池化层用于减少数据的空间维度,对整个特征图进行平均池化,使用全连接层将特征映射到最终的分类结果。
30.步骤s5、将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;可以理解的是本步骤通过匹配度计算确保模型在验证数据上的性能达到预期水平,以提高模型的泛化性能,本步骤中,步骤s5包括步骤s51和步骤s52。
31.步骤s51、基于所述分类结果和所述验证数据构建混淆矩阵,并定义类别权重矩阵,其中,所述类别权重矩阵中的每个元素表示对应的分类结果和验证数据的余弦相似度;可以理解的是本步骤通过所述分类结果和所述验证数据构建混淆矩阵c。
混淆矩阵是一个n×n的矩阵,其中n表示类别的数量,元素表示验证数据i的样本被分类模型划分为分类结果j的数量。
为了反映不同类别之间的重要性或关联性,定义类别权重矩阵w,其中元素表示验证数据i与分类结果j之间的余弦相似度。
32.步骤s52、基于匹配度计算公式对所述混淆矩阵和所述类别权重矩阵进行计算,得到所述分类结果和所述验证数据的匹配度。
33.可以理解的是本步骤中的匹配度计算公式如下所示:其中,所述a表示所述分类结果和所述验证数据的匹配度值,所述n表示类别的数量
,
表示验证数据i的样本被分类模型划分为分类结果j;表示验证数据i与分类结果j之间的余弦相似度。
34.可以理解的是本步骤中步骤s5还包括步骤s53、步骤s54、步骤s55和步骤s56。
35.步骤s53、基于全张量长短时记忆单元构建第一特征提取模块,其中,所述第一特征提取模块内的全张量长短时记忆单元并联设置;步骤s54、将预设的最大池化层与所述第一特征提取模块串联设置,其中,每个所述最大池化层分别与第一特征提取模块内的一个全张量长短时记忆单元对应
;
可以理解的是本步骤为了进一步提取和保留全张量长短时记忆单元的关键信息,我们引入最大池化层。
最大池化的目的是在每个特征图上选择最显著的特征,从而减少数据的空间维度,同时保持重要信息。
36.步骤s55、基于全张量长短时记忆单元构建第二特征提取模块,其中,所述第二特征提取模块内的全张量长短时记忆单元并联设置,所述第二特征提取模块内的全张量长短时记忆单元的数目与第一特征提取模块内的全张量长短时记忆单元的数目相同;需要说明的是,在本技术中第二特征提取模块内的全张量长短时记忆单元的数学表示式和结构示意图与第二特征提取模块内的全张量长短时记忆单元相同,故,本步骤中不再赘述。
37.在本技术中设置全张量卷积长短时记忆单元的小尺寸输入卷积核大小为4×4×
11×
12和4×4×
36×
12,小尺寸输出卷积核大小为4×4×
12×
96和4×4×
12×
16,全张量
卷积长短时记忆单元的小尺寸输入卷积核大小为4×4×
12×
12和4×4×
96×
12,小尺寸输出卷积核大小为4×4×
12×
192和3×3×
12×
16,其中,前两个数字为卷积核的高度、宽度,后两个数字为卷积层的输入通道数和输出通道数;全连接层的输入通道数为
64,输出通道数为
16。
38.步骤s56、将所述第二特征提取模块与所述全局池化层串联设置,并将所述全局池化层与所述全连接层串联设置,得到高光谱分类模型
;
步骤s6、将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
39.在本实施例中为实现低复杂度的高光谱图像分类,采用“级联-映射”的策略设计了一种基于全张量卷积长短时记忆网络的高光谱图像轻量级分类方法,其可以同时压缩模型参数量和计算量,也可以获得比原始模型更准确的高光谱图像分类结果。
40.实施例2:为了进一步验证实施例1的分类效果,本技术采用如下数据进行佐证。
其中,本实施例在university of pavia高光谱数据集上进行,采用平均分类精度、总体分类精度、kappa系数作为模型分类精度的评价指标,采用参数量和浮点运算数作为模型空间和计算复杂度的评价指标。
如表1所示,实施例1与对比模型相比,在模型参数量和浮点运算数上有明显的下降,同时具有更高分类精度。
41.实验结果表明,本技术提供高光谱图像分类模型中的全张量卷积长短时记忆单元利用一组呈现链式结构的小尺寸卷积核代替了原始卷积核,在降低标准卷积层复杂度的同时保证了单元的表达能力,依靠全张量卷积长短时记忆单元,高光谱图像分类模型可以低复杂度的从高光谱数据中提取判别性空谱特征,因此,本技术具有出色的分类性能和极低的复杂度。
42.表
1 不同算法在university of pavia数据集下对比结果(
1%
训练样本)模型sscl2dnnssttcl2dnn本发明平均分类精度(
%

91.4789.1893.24总体分类精度(
%

83.7482.6788.77kappa系数(
%

88.4985.5591.05参数量(k)
1085.45454.6791.91浮点运算数(m)
848.86659.05325.5143.实施例3:如图2所示,本实施例提供了一种基于张量convlstm的高光谱图像分类装置,装置包括:获取模块
701,用于获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;第一构建模块
702,用于基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;第二构建模块
703,用于基于所述张量顺序卷积层和预设的非线性激活函数构建
全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;第一处理模块
704,用于将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;第三构建模块
705,用于将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;第二处理模块
706,用于将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
44.其中,所述第一构建模块
702包括:第一构建单元
7021,用于基于预设数量的第一输入卷积核、第二输入卷积核、第一输出卷积核和第二输出卷积核构建张量顺序卷积层,其中,所述第一输入卷积核包含最大的输入通道的分解因子,所述第一输出卷积核包含最大的输出通道的分解因子;其中,所述张量顺序卷积层的计算方法,包括:第一运算单元
7022,用于将所述第一信息与所述第一输入卷积核做卷积运算得到第一卷积特征;第二运算单元
7023,用于将所述第一卷积特征与预设数量的第二输入卷积核做卷积运算得到第二卷积特征;第三运算单元
7024,用于将第二卷积特征与预设数量的第二输出卷积核做卷积运算得到第三卷积特征;第四运算单元
7025,用于将第三卷积特征与第一输出卷积核做卷积运算得到张量顺序卷积层的输出数据。
45.其中,所述第一构建模块
702,还包括:第一处理单元
7026,用于将当前时刻输入的已分类的高光谱图像数据和前一时刻全张量卷积长短时记忆单元输出的数据进行级联处理,其中,将所有门结构的卷积核权重级联为一个张量数据;第二处理单元
7027,用于将所述张量数据输入到所述张量顺序卷积层中,并将顺序卷积层的运算结果沿通道维度被分成四个大小相等的部分,得到所述已分类的高光谱图像数据的空间特征。
46.其中,所述第三构建模块
705包括:第三处理单元
7051,用于基于所述训练结果和所述类型标签构建混淆矩阵,并定义类别权重矩阵,其中,所述类别权重矩阵中的每个元素表示对应的训练结果和类型标签的余弦相似度;第四处理单元
7052,用于基于匹配度计算公式对所述混淆矩阵和所述类别权重矩阵进行计算,得到所述训练结果和所述类型标签的匹配度。
47.其中,所述第三构建模块
705,还包括:第五处理单元
7053,用于基于全张量长短时记忆单元构建第一特征提取模块,其中,所述第一特征提取模块内的全张量长短时记忆单元并联设置;
第六处理单元
7054,用于将预设的最大池化层与所述第一特征提取模块串联设置,其中,每个所述最大池化层分别与第一特征提取模块内的一个全张量长短时记忆单元对应
;
第七处理单元
7055,用于基于全张量长短时记忆单元构建第二特征提取模块,其中,所述第二特征提取模块内的全张量长短时记忆单元并联设置,所述第二特征提取模块内的全张量长短时记忆单元的数目与第一特征提取模块内的全张量长短时记忆单元的数目相同;第八处理单元
7056,用于将所述第二特征提取模块与所述全局池化层串联设置,并将所述全局池化层与所述全连接层串联设置,得到高光谱分类模型。
48.需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
49.以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。
凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
50.以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
因此,本发明的保护范围应以权利要求的保护范围为准。
当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图