CNN-Transformer结合对比学习的高光谱与LiDAR数据协同分类

作     者：吴海滨 戴诗语 王爱丽 岩堀祐之 于效宇 WU Haibin;DAI Shiyu;WANG Aili;YUJI Iwahori;YU Xiaoyu

作者机构：哈尔滨理工大学测控技术与通信工程学院黑龙江省激光光谱技术及应用重点实验室黑龙江哈尔滨150080 中部大学计算机科学学院日本爱知487-8501 电子科技大学中山学院电子信息学院广东中山528400 

出 版 物：《光学精密工程》 (Optics and Precision Engineering)

年 卷 期：2024年第32卷第7期

页      面：1087-1100页

核心收录：

学科分类：0810[工学-信息与通信工程] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：黑龙江省自然科学基金资助项目(No.JJ2023LH1143) 黑龙江省重点研发计划资助项目(No.JD2023SJ19) “一带一路”创新人才交流外国专家项目(No.G2022012010L) 黑龙江省级领军人才梯队后备带头人资助项目 

主　　题：高光谱图像 激光雷达数据 Transformer 卷积神经网络 对比学习 

摘      要：针对高光谱图像(hyperspectral images,HSI)与LiDAR数据多模态分类任务中的跨模态信息表达和特征对齐等问题,提出一种基于对比学习CNN-Transformer高光谱和LiDAR数据协同分类网络(Contrastive Learning based CNNTransformer Network,CLCT-Net)。CLCT-Net通过由ConvNeXt V2 Block构成的共有特征提取模块,获得不同模态间的共性特征,解决异构传感器数据之间语义对齐的问题。构建了包含空间-通道分支和光谱上下文分支的双分支HSI编码器,以及结合频域自注意力机制的LiDAR编码器,以获取更丰富的特征表示。利用集成对比学习进行分类,进一步提升多模态数据协同分类的精度。在Houston 2013和Trento数据集上的实验结果表明,相较于其他高光谱图像和Li‐DAR数据分类模型,本文所提模型获得了更高的地物分类精度,分别达到了92.01%和98.90%,实现了跨模态数据特征的深度挖掘和协同提取。