2022, Vol. 31
2. 福建师范大学 福建省光电传感应用工程技术研究中心, 福州 350007;
3. 福建师范大学 医学光电科学与技术教育部重点实验室, 福州 350007;
4. 福建师范大学 福建省光子技术重点实验室, 福州 350007
2. Fujian Provincial Engineering Technology Research Center of Photoelectric Sensing Application, Fujian Normal University, Fuzhou 350007, China;
3. Key Laboratory of Optoelectronic Science and Technology for Medicine (Ministry of Education), Fujian Normal University, Fuzhou 350007, China;
4. Fujian Provincial Key Laboratory of Photonics Technology, Fujian Normal University, Fuzhou 350007, China
图像目标识别技术起源于20世纪40年代, 提取各目标的状态参数和属性值, 进而精确辨别图像中的各类目标, 是图像目标识别的基本任务. 遥感图像有着丰富的地表信息, 它的应用大大缩短了数据采集的时间, 降低了消耗的费用. 相关研究表明, 城市遥感图像目标识别是监测城市环境的最佳手段, 其能够快速获取城市地物类型, 从而展现城市各板块内容, 具有较高水平的准确性和实时性, 所以城市遥感图像目标识别具有重大的研究意义[1]. 然而, 精确识别遥感图像目标仍然还处于攻克难关的阶段, 且随着遥感技术日渐发达, 其也被定义为投入应用的关键[2].
随着社会的日益进步, 科学水平持续提高, 遥感技术作为科学新兴技术的重要组成部分显现了迅猛的发展势头. 追求高分辨率是遥感图像的一大发展趋势, 它却逐步加大了相同地物内在差异, 那么基于像元的传统方法早已无法达到城市遥感图像目标识别的精度需求[3]. 而面向对象的传统方法虽然可以充分利用特征信息, 却不能妥善处理一个对象内部存在多种地物光谱的情况, 这主要原因在于目前的分割技术还无法达到精确度最大化. 这些传统方法的识别结果由于同物异谱、异物同谱现象的存在, 往往出现较多的错分、漏分现象, 导致最后得到的识别精度并不理想. 因此, 不少研究者针对城市遥感图像目标不断探索着新的识别方法来取得更好的效果.
对于图像目标识别领域, 特征无疑是直接影响识别结果的重要因素. 目前, 越来越多研究者的目光聚集在特征空间的构建上, 而特征空间的构建着重于特征的集成与特征的选择. 例如, 姬晓飞等[4]提出了一种基于多特征的光学遥感图像多目标识别算法, 验证了基于多特征的方法比基于单一特征具有更好的识别性能; 詹国旗等[5]展开了基于特征空间优化的随机森林算法在GF-2影像湿地分类中的研究, 证明了优化后的特征空间能取得更好的识别效果. 特征集成有益于充分发挥各特征的优势, 扬长避短, 共同构建一个特征空间[6,7], 而传统的特征集成大多是数量、类型均较少的集成形式, 并不能体现出集成的深刻意义. 但是, 选入大量特征不仅会对最终识别结果造成消极影响, 也会令构造的算法模型复杂化. 此时特征选择是一项必不可少的实验步骤, 传统的特征选择却大多是依据经验自行判断, 无法使得选择行为逻辑化.
针对以上传统方法的局限性, 本文设计了一种基于多特征空间及其优化的城市遥感图像目标识别方法, 该方法联合像元、对象以及深度特征, 构建了一个庞大的多特征空间, 对多特征空间进行优化后得到最优特征空间, 最后送入识别器, 从而实现对城市遥感图像目标的识别.
2 研究基础 2.1 eCognition软件eCognition软件是目前所有商用遥感软件中第一个基于目标信息的遥感信息提取软件, 它采用决策专家系统支持的模糊分类算法, 突破了传统遥感软件单纯基于光谱信息进行影像分类的局限性[8]. 有相关研究通过对eCognition、ENVI、ERDAS IMAGINE、SPRING等软件的分割功能进行比较分析, 得出了eCognition软件分割性能更佳的结论[9].
多尺度影像分割(multiresolution segmentation)算法是eCognition软件的一大特色, 它是釆用基于异质性最小的一种区域合并算法, 其目标是实现分割后影像对象的异质性最小化[10]. 由于分割尺度参数(scale parameter, SP)用于控制获取到的对象的内部异质性, 最优分割尺度的选择是使用该算法的关键.
eCognition软件的另一大特色则是对多种图像特征的自动计算, 为本研究构建庞大的多特征空间打下了坚实的基础. 通过eCognition软件的使用, 能够获取遥感图像的多类型特征, 例如光谱、形状、纹理特征等, 但软件中不存在内置的指数特征, 需要利用其提供的自定义特征功能来获取指数特征.
2.2 VGG19网络随着卷积神经网络成功作用于图像识别, Simonyan等人提出了一种全新架构—VGGNet[11], 它的体系结构是模块化的分层模式. 当VGGNet被提出时, 其凭借自身的准确性和便捷性被众多学者们肯定推崇, 迅速成为了一种广泛运用的卷积神经网络.
针对AlexNet中的卷积核形式, VGGNet进行了相应的改进, 具体措施是使用堆积的3×3卷积核来替代AlexNet中的较大卷积核[12], 例如一个5×5卷积核被两个堆积的3×3卷积核替代. 使用连续的小卷积核来替代较大卷积核更加具有优越性, 其增加网络深度后, 不仅能够学习更丰富的内容, 而且涉及到的参数较少, 并未大幅增加计算量. VGGNet获得ImageNet2014年目标定位与图像分类比赛的冠亚军, 在图像分类和定位领域上均显示出良好效果, 它的出现证明了增加网络的深度能在一定程度上影响网络最终的性能.
2.3 特征选择特征选择, 即建立特征子集, 使得构造出来的特征空间最后能取得更好的效果. 好的特征选择能够提升模型的性能, 更易于显现数据的特点、底层结构, 这对进一步改善模型、算法都有着重要作用[13]. 特征重要度是一种利用训练好的有监督分类器来选择特征的技术, 凭借自身的简洁性和实用性得到了广泛应用. 特征重要度的常用方法有RF、GBDT、LightGBM、XGBoost.
本文通过实验, 综合评价后采用XGBoost算法进行特征选择. 极端梯度提升(extreme gradient boosting, XGBoost)算法高效实现了梯度提升决策树(gradient boosting decision tree, GBDT)算法并进行了改进, 它力争把训练速度、预测精度发挥到极致. 在提升树被创建后, 可以相对直接地得到每个属性的重要性得分, 它衡量了特征在模型中的价值. 重要性得分通过评估各个属性分裂点优化模型性能的程度来计算, 若一个属性优化模型性能程度越高, 权值也就越大, 被选择的次数也会越多. 通过节点记录次数得到该属性在每棵决策树上的重要性得分, 再把所有结果加权求和后平均, 最终得到特征重要度评价分数[14].
2.4 随机森林算法随机森林算法(random forests, RF)是一种重要的基于Bagging思想的集成学习算法, 它利用多棵决策树对样本进行训练并预测, 可以用于解决分类、回归等问题[15]. 其算法示意图如图1所示, 其中, Di表示第i个训练样本集, Ti表示第i个特征样本集, Ri表示第i个分类结果, R表示投票后的最终结果.
|
图 1 随机森林算法示意图 |
RF算法通过自助抽样法得到n个训练集, 针对这些训练集再创建n棵决策树. 最后, 在预测时将n个模型的结果进行整合, 进而得到最终结果, 分类问题的整合方式采用多数投票规则. RF算法除了对样本进行了抽样, 在节点分裂时对特征也进行了抽样. 对特征进行随机抽样后, 在被抽出的部分特征中判断最优解, 再把最优解运用到节点分裂. RF算法由于存在Bagging思想, 实际上对样本和特征都进行了随机抽样, 所以在一定程度上可以避免过拟合现象.
3 研究方法 3.1 实验数据本文采用的遥感影像数据为multi-temp scene Wuhan (MtS-WH)数据集[16,17]提供, 该影像数据是由IKONOS传感器获得的大尺寸高分辨率遥感影像, 覆盖范围为湖北省武汉市汉阳区. 影像经过GS算法融合, 分辨率为1 m, 包含4个波段, 分别为蓝、绿、红和近红外波段. 针对该影像数据, 本文分别选取部分区域作为研究区域、验证区域, 运用eCognition软件进行精确截取, 如图2所示.
|
图 2 实验数据 |
3.2 总体流程
本文的总体实验流程如图3所示.
|
图 3 本文实验流程图 |
3.3 多特征空间的构建 3.3.1 对象特征的提取
本文利用eCognition软件中内置的多尺度分割算法, 对遥感图像进行面向对象分割操作, 进而得到对象特征. 分割尺度参数是一个抽象的阈值, 它决定影像分割结果对象允许的最大异质性. 本文借助ESP (estimation of scale parameter)尺度评价工具来获取图像的最优分割尺度参数, 该工具通过计算不同分割尺度参数下影像对象同质性的局部变化(local variance, LV)作为分割对象层的平均标准差, 以此来代表分割效果. 当LV的变化率值最大即呈现峰值时, 该点对应的分割尺度值即为最佳分割尺度[18]. 首先, 采用ESP尺度评价工具获取到几个适宜的分割参数, 再通过目视判别分割效果来选择地物的最优分割尺度参数. 本研究的ESP尺度评价示意图如图4.
|
图 4 ESP尺度评价示意图 |
通过图4, 可以得到研究区域的适宜分割尺度参数包括17、50、65、88、98, 再将它们分别代入后目视判别分割效果, 经过判别, 本文最后选择的最优分割尺度参数为50. 完成面向对象分割操作后的效果如图5.
|
图 5 面向对象分割效果图 |
对象特征是通过评价影像对象本身计算出来的, 经过eCognition软件计算对象特征各属性后, 本文共提取到研究区域的53个对象特征, 对象特征可视化示例效果如图6.
|
图 6 对象特征可视化效果示例图 |
3.3.2 像元特征的提取
本文利用eCognition软件中内置的棋盘分割算法来提取图像的像元特征信息, 通过最小化的棋盘分割操作, 能够获取到图像中所有的单像素信息. 像元特征通过评价像元单位计算出来, 本文共提取到研究区域的34个像元特征, 像元特征可视化示例效果如图7.
|
图 7 像元特征可视化效果示例图 |
3.3.3 深度特征的提取
由于VGG19网络在较多研究中显现出良好分类效果, 本文将研究区域图像送入预训练好的VGG19模型, 获取了各个卷积层的特征图, 共提取到研究区域的36个深度特征, 深度特征可视化示例效果如图8所示. 浅层的深度特征侧重于展示细节, 而较深层的特征主要以模块形式显示, 描绘了突出的形状, 并且随着层数的逐渐加深, 深度特征会变得更加抽象化.
|
图 8 深度特征可视化效果示例图 |
3.3.4 建立多特征空间
针对上述实验提取到的各类特征, 本文建立了一个较为丰富的多特征空间, 共有123个特征, 其中包含53个对象特征、34个像元特征、36个深度特征. 多特征空间的具体信息如表1所示.
3.4 特征空间的优化 3.4.1 特征数量的确定特征重要度的常用方法有RF、GBDT、LightGBM、XGBoost. 在研究区域中选取232个训练样本点, 从多特征空间中提取这232个样本点的全部数据, 分别使用4种常用算法对它们展开特征重要度排序, 再按照重要度由高至低的顺序, 以1个步长增加数量, 从而使用不同数量来获取样本识别精度.
本文通过对比实验发现, 在特征选择中XGBoost算法和GBDT算法的效果较好, 当特征数量为9时, GBDT识别精度达到87.01%, 当特征数量为18时, XGBoost识别精度达到88.31%, 两者都能够在运用较少特征数量的情况下达到较高识别精度, 对比实验结果如图9所示. 进一步评估两种算法性能, 将两者在特征选择中的运行时间进行比较, XGBoost算法的运行时间比GBDT算法快了约0.43 s, 算法性能提高了28.1%, 比较结果如表2所示. 与GBDT算法相比, XGBoost算法既能够充分利用特征信息, 又能取得更高的识别精度, 且自身性能也存在较大优势, 因此, 本研究采用XGBoost算法进行特征选择.
|
表 1 多特征空间具体信息 |
|
图 9 4种常用算法对比实验 |
|
|
表 2 XGBoost、GBDT算法在特征选择中运行时间的比较 |
3.4.2 构建最优特征空间
为了构建一个最优特征空间, 当确定特征数量为18个后, 使用XGBoost算法对123个特征进行特征重要度排序, 按重要度从高到低依次选择前18个特征, 特征重要度前18名具体信息如图10所示. 从图10中可以看出, 构建多特征空间是充分必要的, 无论是对象、像元特征, 还是深度特征, 都存在对识别精度贡献较大的具体特征. 本研究的最优特征空间由这18个特征构建而成.
3.5 城市遥感图像目标识别由于随机森林识别器具有较强的分类、泛化能力, 本研究采用随机森林算法来构建城市遥感图像目标识别模型, 运用训练样本点的最优特征数据集在PyCharm中进行算法参数调优, 具体参数设置如表3所示. 经过参数调优后, 袋外(out of bag, OOB)算法精度由未调参时的80.08%上升到82.25%, 由此也证明了算法参数调优的重要性. 构建随机森林模型后, 实现对研究区域的遥感图像目标识别操作, 其图像识别结果如图11所示.
|
图 10 特征重要度前18名具体信息 |
|
|
表 3 随机森林模型参数设置 |
|
图 11 研究区域识别结果 |
4 实验结果及分析 4.1 传统方法结果
基于像元的方法、基于对象的方法都是遥感图像目标识别中的常用且已被证实可行的方法. 基于像元的方法主要依据的是各像元信息, 而基于对象的方法注重于以对象为单位展开一切处理. 本文运用两种传统方法实现了对研究区域的遥感图像目标识别操作, 其识别结果如图12所示.
|
图 12 两种传统方法的识别结果 |
从图12(a)中可以明确看出, 基于对象的方法依赖于面向对象分割操作, 分割效果直接影响识别结果, 而目前各种研究工具中并没有提供非常精准的分割技术, 因此过分割和欠分割现象尤其明显, 这也直接导致图像错误识别. 从图12(b)中也可以明确看出, 基于像元的方法依赖于各像元信息, 各像元却没有与邻近像元充分地相互影响, 导致“椒盐现象”格外严重.
4.2 深度特征的加入意义深度学习是近些年机器学习发展中的热点话题, 它凭借自身的优越性越来越受到国内外学者的重视, 那么研究如何将可行的常用方法与深度学习联合在一起, 再运用到遥感图像目标识别中具有重大的价值. 本文在联合两种传统方法的基础上, 加入了通过VGG19网络获取到的深度特征, 并在图10中证明了深度特征对本文方法的重要性, conv1_2、conv4_1分别高居特征重要度排序的第2名和第3名.
从图13部分区域识别结果对比中可以发现, 基于对象的方法因不同地物间界线不明, 易将不同类型地物统一归纳为同种地物, 图13(e)中较大区域的植被被归纳于阴影模块; 基于像元的方法因两种地物间的异质性较低, 又过度依赖单像元信息, 导致图斑不完整, 图13(f)中阴影的孤立感强烈, 各部分无法做到连贯、流通. 而在两种方法的基础上联合深度特征的方法做到了较为精确的刻画, 图13(g)识别效果明显优于上述两种方法. 深度特征对细节的把控度较高, 能够在其它特征的基础上进行优化. 但是深度特征来源于融合相似信息, 突出显性信息, 致使部分有用信息被忽略. 因此, 单纯基于深度特征的方法不适宜于遥感图像目标识别, 在多特征空间中添加深度特征才能发挥其真正作用.
|
图 13 部分区域识别结果对比 |
4.3 研究区域的实验结果对比分析
为了评估研究区域识别结果的准确性, 本文利用随机、均匀分布的样本点对分类结果进行精度验证, 建立混淆矩阵分别计算识别结果的总体精度、Kappa系数, 如表4所示.
|
|
表 4 研究区域识别精度评价 |
Kappa系数的计算基于混淆矩阵, 它通常作为检验一致性的主要指标, 也能运用于揭示分类效果. 计算结果一般落于0–1之间, 数值越大代表一致性越高, 可以分为5组来表示不同级别的一致性, 其中, 0.61–0.80表示高度的一致性, 0.81–1表示几乎完全一致. 本文实验方法得到的Kappa系数为0.83, 进一步说明了基于多特征空间及其优化的城市遥感图像目标识别具有较高识别能力.
分析研究区域识别结果后发现, 多个植被样本被错分成阴影. 由此可以看出, 本文研究方法对植被和阴影的区分能力有待提高. 进一步分析造成这种现象的原因, 主要包括3个方面: (1) 研究区域的植被内部复杂度较高, 对精确识别产生巨大消极影响; (2)部分植被区域的一些特征与阴影相似度过大, 例如光谱特征的mean_nir、mean_blue; (3)在提取对象特征时, 没有精确分割出植被和阴影, 从而导致后续无法精确识别.
将两种传统方法的识别结果与本文方法进行对比, 可以发现本文方法的总体精度和Kappa系数都有较大幅度的提高, 直接表明基于多特征空间及其优化的城市遥感图像目标识别是可行且效果良好的方法.
4.4 验证区域的实验结果为了验证本文方法的有效性, 在所采用的遥感影像数据中选择了一块较大验证区域, 运用本文研究方法来获得目标识别结果, 识别结果如图14所示. 建立混淆矩阵分别计算识别结果的总体精度、Kappa系数, 经过计算, 该验证区域的识别精度达到85.92%, Kappa系数达到0.81. 因此, 本文提出的基于多特征空间及其优化的城市遥感图像目标识别方法具有一定的有效性和准确性.
5 结语本文针对遥感图像目标识别传统方法的限制性, 提出了一种基于多特征空间及其优化的城市遥感图像目标识别方法. 提取多类型特征, 进行特征选择, 从而构建一个最优的多特征空间, 是本研究的最大贡献. 通过实验证明, 研究区域的总体识别精度达到87.89%, Kappa系数达到0.83, 本文方法实现了城市遥感图像目标的高精度识别. 但还存在许多不足, 例如分割对象需要更加精确、优化特征空间可以关注更多细节等, 深入探析, 弥补不足, 这也是接下来的研究目标.
|
图 14 验证区域识别结果 |
| [1] |
Aklibasinda M, Ok AO. Determination of the urbanization and changes in open-green spaces in Nevsehir city through remote sensing. Environmental Monitoring and Assessment, 2019, 191(12): 756. DOI:10.1007/s10661-019-7953-7 |
| [2] |
王玮哲. 高分辨遥感图像目标识别技术综述. 通讯世界, 2017(16): 276-277. DOI:10.3969/j.issn.1006-4222.2017.16.200 |
| [3] |
梁艳. 面向对象与基于像素的高分辨率遥感影像分类在土地利用分类中的应用比较[硕士学位论文]. 太原: 太原理工大学, 2012.
|
| [4] |
姬晓飞, 秦宁丽, 刘洋. 多特征的光学遥感图像多目标识别算法. 智能系统学报, 2016, 11(5): 655-662. |
| [5] |
詹国旗, 杨国东, 王凤艳, 等. 基于特征空间优化的随机森林算法在GF-2影像湿地分类中的研究. 地球信息科学学报, 2018, 20(10): 1520-1528. DOI:10.12082/dqxxkx.2018.180119 |
| [6] |
Liu JM, Jing HC. The application of multi-feature fusion in remote sensing image recognition. Applied Mechanics and Materials, 2014, 488–489: 1079–1082.
|
| [7] |
Liu Y, Chang M, Xu J. High-resolution remote sensing image information extraction and target recognition based on multiple information fusion. IEEE Access, 2020, 8: 121486-121500. DOI:10.1109/ACCESS.2020.3006288 |
| [8] |
宋杨, 李长辉, 林鸿. 面向对象的eCognition遥感影像分类识别技术应用. 地理空间信息, 2012, 10(2): 64-66. DOI:10.3969/j.issn.1672-4623.2012.02.023 |
| [9] |
梁加玲, 刘彦花, 徐军, 等. 基于ReliefF算法的遥感影像分类特征优化. 地矿测绘, 2020, 36(3): 1-5. DOI:10.3969/j.issn.1007-9394.2020.03.001 |
| [10] |
廖珊珊, 张建宇. 基于面向对象的高分辨率影像甘蔗种植区信息提取方法研究. 科技创新导报, 2019, 16(17): 124-126. |
| [11] |
Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv: 1409.1556, 2014.
|
| [12] |
严春满, 王铖. 卷积神经网络模型发展及应用. 计算机科学与探索, 2021, 15(1): 27-46. DOI:10.3778/j.issn.1673-9418.2008016 |
| [13] |
ÖZyurt F. Efficient deep feature selection for remote sensing image recognition with fused deep learning architectures. The Journal of Supercomputing, 2020, 76(11): 8413-8431. DOI:10.1007/s11227-019-03106-y |
| [14] |
徐凡, 张雪红, 石玉立. 基于激光雷达和航拍影像的城市地物分类研究. 遥感技术与应用, 2019, 34(2): 253-262. |
| [15] |
Ming DP, Zhou TN, Wang M, et al. Land cover classification using random forest with genetic algorithm-based parameter optimization. Journal of Applied Remote Sensing, 2016, 10: 035021. DOI:10.1117/1.JRS.10.035021 |
| [16] |
Wu C, Zhang LP, Du B. Kernel slow feature analysis for scene change detection. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(4): 2367-2384. DOI:10.1109/TGRS.2016.2642125 |
| [17] |
Wu C, Zhang LF, Zhang LP. A scene change detection framework for multi-temporal very high resolution remote sensing images. Signal Processing, 2016, 124: 184-197. DOI:10.1016/j.sigpro.2015.09.020 |
| [18] |
马浩然, 赵天忠, 曾怡. 面向对象的最优分割尺度下多层次森林植被分类. 东北林业大学学报, 2014, 42(9): 52-57. DOI:10.3969/j.issn.1000-5382.2014.09.012 |