检索结果-南通市图书馆

控制与决策 2024年第5期39卷 1612-1619页

作者：李玉崔书琳赵泉华辽宁工程技术大学测绘与地理科学学院辽宁阜新123000

大尺度遥感图像分割对单机处理方式而言是巨大挑战. Spark平台为在单机上构建用于大数据处理的分布式计算环境提供了可能.当Spark平台内置的K-means算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(RDD)分区一般采用缺省设... 详细信息

大尺度遥感图像分割对单机处理方式而言是巨大挑战. Spark平台为在单机上构建用于大数据处理的分布式计算环境提供了可能.当Spark平台内置的K-means算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(RDD)分区一般采用缺省设置,尽管这种RDD设置简单便捷,但对大尺度图像分割任务容易造成“多分区、小数据”现象,极大影响图像分割速度.为此,采用覆盖部分上海市区的WorldView-3遥感图像为测试数据,在K-means算法初始化聚类中心阶段自定义影响RDD分区的参数***,在迭代计算阶段调用coalesce()算子减少分区数;与串行K-means算法对比验证单机处理大数据的可行性与有效性,与优化前的Spark并行K-means算法对比实现了大尺度遥感图像快速分割.实验结果表明,在K-means算法初始化聚类中心和迭代计算阶段,将RDD分区数设置在CPU核数的1~10倍,总用时由优化前的145 s缩减到97 s,尤其在初始化聚类中心阶段的时间效率上,优化后是优化前的500~1 000倍.

关键词： Spark平台单机大数据处理大尺度遥感图像 RDD优化图像分割并行K-means算法

来源：

维普期刊数据库

同方期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

大尺度遥感图像匀色和去云的研究与实现

大尺度遥感图像匀色和去云的研究与实现

引用

作者：杨宇航东南大学

学位级别：硕士

受成像时间、环境等差异性影响,镶嵌后的大尺度高分辨遥感图像内部存在色彩不一致、云层干扰等问题,但是目前还没有一个完整的系统化匀色方案能够调整图像内部所有区域颜色一致,消除拼接缝,并抵抗薄云层干扰。本文在现有遥感图像匀色技... 详细信息

受成像时间、环境等差异性影响,镶嵌后的大尺度高分辨遥感图像内部存在色彩不一致、云层干扰等问题,但是目前还没有一个完整的系统化匀色方案能够调整图像内部所有区域颜色一致,消除拼接缝,并抵抗薄云层干扰。本文在现有遥感图像匀色技术的基础上,对大幅镶嵌后色彩不一致遥感图像的匀色进行了深入研究。首先介绍了Wallis滤波和Reinhard线性颜色传递两种经典的颜色匹配方法,然后为适应遥感图像间色彩差异大的情况,改进了线性匹配算法,在SV和RGB空间最小化图像之间的方差差值来寻找最优线性映射关系,以提高图像间颜色的一致性。为了提取拼接缝位置分割色调不同的区域,本文参考haar-like的边缘特征,在HSV空间构造了可描述拼接缝处颜色突变的样本特征,用SVM训练拼接缝检测器,提高拼接缝提取的自动化程度。为实现单张大尺度遥感图像色彩自动归一化,本文利用改进后的颜色匹配算法和拼接缝自动提取结果,先是实现了分块匀色方法,并用双线性插值消除了块效应。然后为消除拼接缝两侧的色差,使用了基于拼接缝分割区域的分块对称匀色。为保证拼接缝处颜色平稳过渡,改进羽化算法提出局部方向性融合算法,根据像素点到拼接缝的距离,对局部区域的颜色映射关系加权线性插值,形成渐变,让拼接缝视觉上与周围像素融为一体。实际应用在沙漠、山区和城区的大尺度遥感图像上,本文的算法能够消除内部色差和拼接缝,加强局部细节,图像整体颜色清晰且一致。为消除薄云对匀色工作的干扰,突出地物本身信息,本文用分块匀色算法消除薄云,和其他传统薄云去除算法对比,分块匀色有一定的薄云去除效果,并提高了薄云覆盖区域与无云区域的颜色一致性。综上,本文为单幅大尺度镶嵌后遥感图像的色彩自动归一化提供了一个系统化方案,能够均衡化图像内部颜色差异,让拼接缝处颜色自然平稳过渡,抵抗薄云干扰。

关键词：大尺度遥感图像色彩自动归一化拼接缝提取拼接缝消除薄云去除

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于优化Spark RDD分区的遥感图像快速分割

基于优化Spark RDD分区的遥感图像快速分割

引用

作者：崔书琳辽宁工程技术大学

学位级别：硕士

大尺度遥感图像分割对单机处理方式而言是巨大挑战。作为熟知的并行处理数据平台,Spark框架为在单机上构建用于大数据处理的分布式计算环境提供了可能。Spark框架自身包括多项工作负载,其中的Spark机器学习库(Machine Learning Library,... 详细信息

大尺度遥感图像分割对单机处理方式而言是巨大挑战。作为熟知的并行处理数据平台,Spark框架为在单机上构建用于大数据处理的分布式计算环境提供了可能。Spark框架自身包括多项工作负载,其中的Spark机器学习库(Machine Learning Library,MLlib)提供许多实现机器学习的算法,如Spark并行K-Means算法。当该算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(Resilient Distributed Dataset,RDD)分区一般采用缺省设置,尽管这种RDD设置简单、便捷、无需人为干预,但对大尺度图像分割任务容易造成“多分区、小数据”现象,极大影响图像分割速度。为此,论文分析了Spark在执行任务时各阶段的耗时,提出在K-Means算法初始化聚类中心阶段自定义影响RDD分区的参数***,避免由于Shuffle过程造成的大量不必要的通信开销。迭代计算任务本身就需要反复地获取缓存数据,Spark框架已经解决了该阶段磁盘读取的耗时问题,但该阶段仍需要大量地通信。此时,在迭代计算阶段调用coalesce()算子减少RDD的分区数,避免了从大量RDD分区中读取数据,从而达到在并行框架下更为快速地实现大尺度遥感图像分割的目的。为验证Spark框架在单机模式下的有效性和实用性,论文采用覆盖部分上海市区的大尺度World View-3遥感图像为测试数据,通过在同一组图像上进行串行K-Means算法和Spark并行K-Means算法分割,从时间效率和分割精度两个角度对比分析两种算法。单从精度角度,对比分析了经典的均值漂移算法和并行K-Means算法,综合验证了Spark单机模式下的可行性与有效性。论文根据Spark RDD对程序执行时间影响的分析,验证了本文优化策略的优势,并分别统计相似地物不同尺寸和相同尺寸不同地物图像执行时间,根据10次分割求执行时间均值,确定了合理的RDD分区数设置范围。实验结果表明,在K-Means算法初始化聚类中心和迭代计算阶段,将RDD分区数设置在CPU核数的1-10倍,总用时由优化前的145s缩减到97s,较设置为其它分区数总用时的平均值减少12.34-20.61%,尤其在初始化聚类中心阶段的时间效率上,优化后是优化前的500-1000倍。该论文有图49幅,表8个,参考文献64篇。

关键词： Spark平台大尺度遥感图像 RDD优化图像分割并行K-Means算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于随机投影深度函数的非典型道路中心线提取

引用

中国矿业大学学报 2018年第5期47卷 1131-1140,1148页

作者：李玉王亚琼赵雪梅赵泉华姜治辽宁工程技术大学测绘与地理科学学院遥感科学与应用研究院辽宁阜新123000 中国建筑第五工程局东北公司辽宁沈阳110000

提出一种结合随机投影深度函数和路径形态学的非典型道路中心线提取方法.随机投影深度函数可有效区分RGB彩色空间中数据集的数据中心与离群值,从而充分利用非典型道路光谱特征的异质性及其与图像背景光谱特征的差异性来凸显具有离群值... 详细信息

提出一种结合随机投影深度函数和路径形态学的非典型道路中心线提取方法.随机投影深度函数可有效区分RGB彩色空间中数据集的数据中心与离群值,从而充分利用非典型道路光谱特征的异质性及其与图像背景光谱特征的差异性来凸显具有离群值光谱特征的道路.利用随机投影深度函数对彩色遥感图像进行由中心向外的排序,生成深度场图像,并采用直方图阈值分割方法二值化深度场图像;利用路径形态学粗提取道路区域,去除独立斑块、连接断路来精细化道路区域;利用形态学细化操作提取道路中心线,并去除细枝以得到精准的道路中心线.实验采用Ikonos和ZY-3图像,结果表明:该方法可有效提取非典型道路中心线,其提取道路中心线的完整率、正确率和检测质量平均达到94.31%,94.16%和90.02%.

关键词：大尺度遥感图像非典型道路随机投影深度函数路径形态学道路中心线提取

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：