检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

融合内外部特征水印的模型保护方案

重庆邮电大学学报(自然科学版) 2024年

作者：彭维平刘家宝平源马迪宋成许昌学院信息工程学院河南理工大学计算机科学与技术学院

针对经典模型水印技术在保护模型所有权过程中存在鲁棒性差、提取率低等问题，融合白、黑盒水印优势，提出了一种特征嵌入的模型保护方案。采用按照香农熵大小进行数据集样本划分的策略，将数据集样本划分为良性样本、风格迁移样本、关... 详细信息

针对经典模型水印技术在保护模型所有权过程中存在鲁棒性差、提取率低等问题，融合白、黑盒水印优势，提出了一种特征嵌入的模型保护方案。采用按照香农熵大小进行数据集样本划分的策略，将数据集样本划分为良性样本、风格迁移样本、关键密钥样本；其次，利用风格迁移样本集对模型嵌入外部特征，利用关键密钥样本标签对模型嵌入内部特征；最后，通过训练二元分类器以及利用掩码梯度下降方法修改极少量参数让模型产生特定输出来综合判断模型是否被窃取。实验结果表明，所提方案用较小开销保证了水印的高保真度，在标签查询、知识蒸馏等攻击下仍具有较高稳定性，且能规避恶意检测的风险。

关键词：模型保护融合水印数据划分特征嵌入

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

分布式并行地形分析中数据划分机制研究

国防科技大学学报 2013年第1期35卷 130-135页

作者：宋效东窦万峰汤国安江岭赵菁赵明伟南京师范大学虚拟地理环境教育部重点实验室江苏南京210046 南京师范大学计算机科学与技术学院江苏南京210046

数据粒度是海量空间数据并行计算的重要问题之一。通过对不同性质的并行算法的对比分析,提出空间数据粒度模型,量化地反映并行地形分析中数据划分的规模,建立并行数据粒度评价模型。通过研究集群环境下不同算法的数据并行数据粒度问题,... 详细信息

数据粒度是海量空间数据并行计算的重要问题之一。通过对不同性质的并行算法的对比分析,提出空间数据粒度模型,量化地反映并行地形分析中数据划分的规模,建立并行数据粒度评价模型。通过研究集群环境下不同算法的数据并行数据粒度问题,提出基于并行数据粒度评价模型的优化数据粒度调度算法。通过计算每一次并行计算的时间与数据粒度效率,从而实现对计算数据粒度动态更新以追求更高的加速比。经过实验验证,该算法较之传统算法,可提供更高的任务执行效率并具有更好的可移植性。

关键词：并行计算数字地形分析数据划分数据粒度

在线全文

学校读者我要写书评

暂无评论

矢量多边形并行栅格化数据划分方法

国防科技大学学报 2015年第5期37卷 21-28页

作者：周琛李满春陈振杰姜朋辉陈东南京大学地理与海洋科学学院江苏南京210023

针对多边形并行栅格化中的负载不均衡问题提出一种新的数据划分方法,主要包括:迭代计算划分线的位置,在每次迭代中保证分块间的计算量大致均衡,完成数据划分、实现负载均衡;提出基于二叉树的划分结果融合策略,以解决跨边界多边形的融合... 详细信息

针对多边形并行栅格化中的负载不均衡问题提出一种新的数据划分方法,主要包括:迭代计算划分线的位置,在每次迭代中保证分块间的计算量大致均衡,完成数据划分、实现负载均衡;提出基于二叉树的划分结果融合策略,以解决跨边界多边形的融合问题。在多核CPU环境下实现并行算法,选用多个典型土地利用现状数据集进行测试。结果表明:针对不同类型多边形数据集,所提方法较传统方法可获得更高的并行加速比和更好的负载均衡;针对大数据量数据集,以多边形节点数为度量标准可更精确地估算分块计算量,从而更好地实现负载均衡。

关键词：地理信息系统并行计算多边形栅格化数据划分负载均衡

面向高效并行Skyline计算的数据划分方法

在线全文

学校读者我要写书评

暂无评论

计算机学报 2020年第11期43卷 2050-2066页

作者：赵翔商海川国防科技大学信息系统工程重点实验室长沙410073 东京大学工业科学研究院日本东京153-8505 地球空间信息技术协同创新中心武汉430079

Skyline计算是数据管理领域长久以来的一个研究重点和热点.给定一组多维的数据点,Skyline算子从中筛选出在所有维度上都不被其他点支配的数据点;Skyline算子的处理过程称之为Skyline计算.Skyline算子使得用户可以在较小规模的Skyline结... 详细信息

Skyline计算是数据管理领域长久以来的一个研究重点和热点.给定一组多维的数据点,Skyline算子从中筛选出在所有维度上都不被其他点支配的数据点;Skyline算子的处理过程称之为Skyline计算.Skyline算子使得用户可以在较小规模的Skyline结果集上选择自己感兴趣的对象,而无须关心那些已经被过滤掉的对象.因此,Skyline计算在多目标决策、数据可视化分析、用户偏好查询等方面应用广泛,典型的应用任务包括但不限于商业营销策略分析,产品能力横向评估等.随着大数据时代的到来,以及分布式网络系统的深入应用和基于云计算平台解决方案的快速发展,各类应用领域数据规模的快速增长已经成为一个关键性技术挑战,面向大规模数据集的并行Skyline算子应运而生,以部分解决大数据给Skyline计算困难;同时,并行Skyline计算的相关研究近年来备受学术界和工业界的广泛关注.由于缺乏关于整个数据集的全局分布信息,并行Skyline计算的高效处理面临着巨大的技术挑战.一般认为,并行Skyline处理的计算框架通常包含三个主要步骤:(1)合理划分给定的大数据集;(2)利用本地计算资源在每个数据分块上分别计算局部Skyline;(3)合并局部Skyline最终形成全局Skyline.其中,针对后两步——计算局部Skyline和合并局部Skyline的现有算法较多,相关研究相对成熟;相较而言,第一步上的相关研究工作则较少,但其效果却直接决定了整体计算的并行化程度,进而能够影响并行计算系统的整体性能.具体地,第一步需要考虑两方面的准则:(1)各个分块上的计算负载是否均衡;(2)如何减小每个分块上局部Skyline的基数.然而,无论采用基于随机划分还是基于网格的方法,现有算法均只能满足上述两个准则之一,不能两全其美.针对该问题,研究探索了如何利用概率模型估计Skyline基数的期望,该概率模型将已有研究的相关结论纳入到了一个统一的框架中.接着,据此提出了一种新的基于排列的数据划分方法,它通过简单的数据点映射即可实现负载均衡,同时生成小于现有其他方法的Skyline候选点集.在理论研究的坚实基础上,在大型人工和真实数据集上实验验证了所提模型和方法的有效性;换言之,在大规模实验研究中,所提方法显著提高了并行Skyline算子的执行效率,在绝大多数参数设定下的表现都优于现有其他同类算法.

关键词：并行Skyline 数据划分排列模型可扩展性

在线全文

学校读者我要写书评

暂无评论

一种面向并行空间数据库的数据划分算法研究

武汉大学学报（信息科学版） 2006年第11期31卷 962-965页

作者：赵春宇孟令奎林志勇武汉大学遥感信息工程学院武汉市珞喻路129号430079

面向基于对象关系型数据库而构建的并行空间数据库系统,提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现并行空间数据... 详细信息

面向基于对象关系型数据库而构建的并行空间数据库系统,提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分,以避免出现数据倾斜现象,从而提高了空间数据的检索与查询效率。

关键词：并行空间数据库数据划分数据倾斜 Hilbert空间填充曲线

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于数据划分的分布式模型及其负载均衡算法

浙江大学学报（工学版） 2008年第4期42卷 602-607,681页

作者：杨小虎王新宇毛明浙江大学计算机科学与技术学院浙江杭州310027

介绍了基于应用划分的对称式集群和非对称式集群两种经典的分布式模型,分析两种经典模型在企业级应用中的缺陷.为了克服这些缺陷,引入基于数据划分的分布式模型,并提出适用于企业级系统的基于数据库访问量的负载均衡机制.通过测试与分析... 详细信息

介绍了基于应用划分的对称式集群和非对称式集群两种经典的分布式模型,分析两种经典模型在企业级应用中的缺陷.为了克服这些缺陷,引入基于数据划分的分布式模型,并提出适用于企业级系统的基于数据库访问量的负载均衡机制.通过测试与分析,获得负载均衡机制中两个关键参数Dmax和VSRT的阈值.该模型和负载均衡机制具有更好的运行性能、横向可扩展性和动态负载均衡能力,已经被应用于单机金融遗留系统到J2EE分布式环境的再工程项目中,成功地实现了基于数据划分的系统架构,取得了理想的效果.

关键词：分布式模型数据划分负载均衡对称式集群非对称式集群

在线全文

学校读者我要写书评

暂无评论

数据划分优化的并行k-means算法

计算机工程与应用 2010年第15期46卷 127-131页

作者：尹建君王乐成都医学院人文信息管理学院成都610083 国防科技大学计算机学院长沙410073

针对大规模文本聚类中对聚类算法执行效率的要求,提出了一个内容相关的纵向数据划分策略FTDV,并基于该策略提出了数据划分优化的并行DVPk-means算法,提高了常规并行k-means算法的并行化程度,达到了优化算法执行效率的目的。在实验中,与... 详细信息

针对大规模文本聚类中对聚类算法执行效率的要求,提出了一个内容相关的纵向数据划分策略FTDV,并基于该策略提出了数据划分优化的并行DVPk-means算法,提高了常规并行k-means算法的并行化程度,达到了优化算法执行效率的目的。在实验中,与常规并行k-means算法和基于关键方向分解的PDDPk-means算法进行比较,DVPk-means具有更好的并行性和对数据规模的适应性,且可以生成更高质量的聚簇。

关键词：数据划分并行聚类算法频繁词集 k-means算法

基于图划分的海量时空数据分布式均衡存储管理

在线全文

学校读者我要写书评

暂无评论

基于图划分的海量时空数据分布式均衡存储管理

作者：谌诞楠武汉大学

学位级别：硕士

随着物联网和云计算技术的高速发展,GIS已步入大数据时代。智能手机、车载传感器等数据采集设备产生了海量时空数据,这类数据具有数据量大、多源异构、时空分布不均等特点。目前,已有多种方案基于分布式No SQL数据库来管理海量时空数据... 详细信息

随着物联网和云计算技术的高速发展,GIS已步入大数据时代。智能手机、车载传感器等数据采集设备产生了海量时空数据,这类数据具有数据量大、多源异构、时空分布不均等特点。目前,已有多种方案基于分布式No SQL数据库来管理海量时空数据,然而大多数管理方案没有考虑数据分布对查询效率的影响,对时空数据存储负载均衡支持不足。同时很多学者针对分布式环境下数据的划分和存储均衡进行了深入研究,但时空数据具有其独特性,在进行数据划分时需要保持空间邻近性,在负载均衡时需要考虑到各时段内的数据在节点间的数据量均衡。否则在进行时空查询和分析时,会频繁进行分布式计算节点的交互而大大降低效率。因此,如何对时空分布不均的海量时空数据进行数据划分和存储负载均衡是一个亟需解决的问题。针对上述问题,本文首先提出了顾及时空分布的自适应数据划分方法,在空间上,通过抽样实验来确定针对特定应用场景的网格分裂阈值,设计一种基于空间分布的层级计算模型来确定划分起始层级,从而实现网格的并行分裂和合并,以提高空间自适应划分的效率;在时间上,根据数据的时间潮汐规律来划分时间分段,构建时空分层索引结构。接着,本文研究并提出基于图划分的存储负载均衡方法,在数据分组阶段,通过定义初始分布实现将多个时段的数据用统一的空间分布来表达,将自适应划分结果映射成加权无向图结构后,采用开源Metis图划分算法实现数据均衡分组;在分组调优阶段,设计迭代微调法平衡各时段的数据存储负载,同时有效维护了划分结果的空间邻近性。最后,基于本文提出的索引架构和负载均衡方法,采用HBase数据库设计了相应的存储方案和查询算法,利用协处理器机制和辅助索引表来加速查询处理。以纽约出租车数据为实验对象,本文进行了一系列对比实验。实验结果表明:在数据划分方面,利用抽样实验得到的网格点数阈值具有可靠性,能有效平衡负载均衡效果和查询效率;本文提出的分布式并行划分方法效率高于自顶向下或自底向上划分,索引构建效率提高了20%以上。在存储负载均衡方面,基于图划分的数据分组方法虽然不均衡度略低于基于Z-Order曲线的方法,但维持空间邻近性的能力更强;采用迭代微调法能在不破坏空间邻近性的前提下,将数据集的平均不均衡度降低30%左右,从而实现各时段数据的存储均衡。在查询效率方面,利用辅助索引表结合HBase协处理器机制的查询方法在各种查询场景下相对Geo Mesa的查询效率提升了2.5倍左右。

关键词：时空点数据数据划分图划分存储负载均衡时空范围查询

面向图形处理器重叠通信与计算的数据划分方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

西安交通大学学报 2011年第4期45卷 1-5,11页

作者：张保曹海军董小社李丹胡雷钧西安交通大学计算机科学与技术系西安710049 高效能服务器和存储技术国家重点实验室济南250013

针对"主核心+协处理器"式异构并行系统采用数据平均划分再分批执行的方法来解决主协式处理架构的额外通信开销时未能充分利用系统资源的问题,提出了一种新的数据比例划分方法.结合系统通信带宽和图形处理器(GPU)的计算能力,将应用数据... 详细信息

针对"主核心+协处理器"式异构并行系统采用数据平均划分再分批执行的方法来解决主协式处理架构的额外通信开销时未能充分利用系统资源的问题,提出了一种新的数据比例划分方法.结合系统通信带宽和图形处理器(GPU)的计算能力,将应用数据按比例划分为大小不同的数据块后分批提交给GPU处理,使系统的传输资源PCI-E总线和计算资源GPU在一段时间内并行工作,从而实现了应用通信与计算的重叠.在处理按照比例划分的数据块过程中,尽可能充分利用系统的传输资源和计算资源,以减少数据传输和计算的相互等待时间.实验结果表明,采用数据比例划分方法后的应用性能明显提高,可以有效地重叠通信与计算时间,矩阵相乘和快速傅里叶变换总执行时间比未划分时分别减少了5%和30%左右,比平均划分时分别减少了3%和6%左右.

关键词：图形处理器重叠通信与计算数据划分