检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于声明式推理的高效协同查询处理技术

软件学报 2024年

作者：邱志林寿黎但陈珂江大伟骆歆远陈刚区块链与数据安全全国重点实验室(浙江大学) 浙江大学计算机科学与技术学院

由于深度学习领域的不断进步,人们对用协同查询处理(CQP)技术扩展关系数据库以处理涉及结构化和非结构化数据的高级分析查询越来越感兴趣.最先进的CQP方法使用用户定义函数(UDFs)来实现深度神经网络(NN)模型来处理非结构化数据,并使用... 详细信息

由于深度学习领域的不断进步,人们对用协同查询处理(CQP)技术扩展关系数据库以处理涉及结构化和非结构化数据的高级分析查询越来越感兴趣.最先进的CQP方法使用用户定义函数(UDFs)来实现深度神经网络(NN)模型来处理非结构化数据,并使用关系操作来处理结构化数据.基于UDF的方法简化了查询书写,允许用户使用单一的SQL提交分析查询,但要求在即席数据分析中能够根据所需性能指标手动选择合适且高效的模型,这对用户提出了很高的挑战.为了解决该问题,提出基于声明式推理函数(DIF)的协同查询处理技术,通过优化模型选择、执行方式、设备绑定等多个查询实现路径构建完整的协同查询处理框架.基于所提研究设计的成本模型和优化规则,查询处理器能够计算出不同查询计划的代价,并自动选择最优的物理查询计划.在4个数据集上的实验结果证实了提出的基于DIF的CQP方法的有效性和效率.

关键词：数据库查询优化声明式推理函数协同查询处理模型选择

ALERT:基于Radix Tree的工作负载自适应学习型索引

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

软件学报 2022年第12期33卷 4688-4703页

作者：陈井爽陈珂寿黎但江大伟陈刚浙江大学计算机科学与技术学院浙江杭州310027 浙江省大数据智能计算重点实验室(浙江大学) 浙江杭州310027

学习型索引通过学习数据分布可以准确地预测数据存取的位置,在保持高效稳定的查询下,显著降低索引的内存占用.现有的学习型索引主要针对只读查询进行优化,而对插入和更新支持不足.针对上述挑战,设计了一种基于Radix Tree的工作负载自适... 详细信息

学习型索引通过学习数据分布可以准确地预测数据存取的位置,在保持高效稳定的查询下,显著降低索引的内存占用.现有的学习型索引主要针对只读查询进行优化,而对插入和更新支持不足.针对上述挑战,设计了一种基于Radix Tree的工作负载自适应学习型索引ALERT.ALERT使用Radix Tree来管理不定长的分段,段内采用具有最大误差界的线性插值模型进行预测.同时,ALERT使用一种高效的插入缓冲来降低数据插入更新的代价.针对点查询和范围查询提出两种自适应重组优化方法,通过对工作负载进行感知,动态地调整插入缓冲的组织结构.经实验验证,ALERT与业界流行的学习型索引相比,构建时间平均降低了81%,内存占用平均降低了75%,在保持了优秀读性能的同时,使插入延迟平均降低了50%;此外,ALERT使用自适应重组优化能有效感知查询工作负载特征,与不使用自适应重组优化相比,查询延迟平均降低了15%.

关键词：学习型索引自适应索引机器学习数据库

基于树状模型的复杂自然语言查询转SQL技术研究

在线全文

学校读者我要写书评

暂无评论

软件学报 2022年第12期33卷 4727-4745页

作者：赵猛陈珂寿黎但伍赛陈刚浙江大学计算机科学与技术学院浙江杭州310027 浙江省大数据智能计算重点实验室(浙江大学) 浙江杭州310027 浙江大学计算机辅助设计与图形学国家重点实验室浙江杭州310027

自然语言查询转SQL(NL2SQL)是指将自然语言表达的查询文本自动转化成数据库系统可以理解并执行的结构化查询语言SQL表达式的技术.NL2SQL可以为普通用户提供数据库查询访问的自然交互界面,从而实现基于数据库的自然问答.复杂查询的NL2SQ... 详细信息

自然语言查询转SQL(NL2SQL)是指将自然语言表达的查询文本自动转化成数据库系统可以理解并执行的结构化查询语言SQL表达式的技术.NL2SQL可以为普通用户提供数据库查询访问的自然交互界面,从而实现基于数据库的自然问答.复杂查询的NL2SQL是当前数据库学术界的研究热点,主流方法采用序列到序列(Seq2seq)的编解码方式对问题进行建模.然而,已有的工作大多基于英文场景,面向中文领域实际应用时,中文特殊的口语化表达导致复杂查询转化困难;此外,现有工作难以正确输出包含复杂计算表达式的查询子句.针对上述问题,提出一种树状模型取代序列表示,将复杂查询自顶向下分解为多叉树,树结点代表SQL的各组成元素,采用深度优先搜索来预测生成SQL语句.在Du SQL中文NL2SQL竞赛的两个官方测试集中,该方法分别取得了第1名和第2名的成绩,验证了其有效性.

关键词：自然语言查询转SQL 语义解析自然语言处理

CB-LSH:基于压缩位图的高性能LSH索引算法

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2012年第3期46卷 377-385页

作者：吴羽寿黎但陈刚浙江大学计算机科学与技术学院浙江杭州310027

由于传统局部敏感散列(LSH)算法的删除性能不足,阻碍了LSH算法在实际产品中的应用.提出一种基于压缩位图的改进方法,通过引入压缩位图改良传统LSH算法的桶中数据结构,以及使用标记清除策略进行算法流程优化,解决传统LSH索引实时删除性... 详细信息

由于传统局部敏感散列(LSH)算法的删除性能不足,阻碍了LSH算法在实际产品中的应用.提出一种基于压缩位图的改进方法,通过引入压缩位图改良传统LSH算法的桶中数据结构,以及使用标记清除策略进行算法流程优化,解决传统LSH索引实时删除性能差的问题.理论分析证明:基于压缩位图的LSH(CB-LSH)算法可以显著降低算法的空间复杂度和时间复杂度.实验结果支撑了理论分析的结论,相对于传统LSH算法,CB-LSH在降低内存消耗的同时,可显著提高索引删除、数据插入和数据查询的性能.在大型项目中的应用实践验证了在线实时更新的海量多媒体数据检索系统中,CB-LSH索引算法对于多媒体数据的高维索引是有效可行的,并显著提升了性能、降低了资源消耗.

关键词：位图索引局部敏感散列高维索引在线更新

TrigSigs:一种有效的非结构化记录关联合并算法

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2010年第12期44卷 2284-2290,2308页

作者：吴羽盛振华寿黎但陈刚浙江大学计算机科学与技术学院浙江杭州310027

为了解决从网络数据源提取的非结构化数据的处理问题,提出一种基于触发对的聚类算法TrigSigs,利用触发对挖掘非结构化数据中隐含属性间的关联关系作为辨别实体的标志.该算法能够聚集对辨别实体起到关键作用的特征组合,过滤噪音词汇,并... 详细信息

为了解决从网络数据源提取的非结构化数据的处理问题,提出一种基于触发对的聚类算法TrigSigs,利用触发对挖掘非结构化数据中隐含属性间的关联关系作为辨别实体的标志.该算法能够聚集对辨别实体起到关键作用的特征组合,过滤噪音词汇,并且根据辨别实体的分辨力,为每个特征词汇赋予合理的权重,使记录的特征向量对辨别实体更具代表性,最终提高聚类结果的细粒度,很好地解决了非结构化数据的记录关联合并问题.实验结果表明:该算法可以过滤绝大部分噪音词汇,并且根据词汇的分辨力合理分配权重,使最终聚类结果的准确率有很大的提升.

关键词：记录关联合并非结构化数据触发对属性关联度信息分布集中度

在线全文

学校读者我要写书评

暂无评论

一种基于闪存的数据库复合存储模型

浙江大学学报（工学版） 2012年第2期46卷 294-300页

作者：徐昶寿黎但陈刚胡天磊浙江大学计算机科学与技术学院浙江杭州310027

针对闪存硬盘的快速发展趋势以及存取特性,提出一种数据库复合存储模型.在该模型中,数据库同时包括闪存硬盘和磁性硬盘2种设备,数据根据访问特征被存储到不同的设备中.模型使用地址映射表来转换对闪存访问,并使用滑动窗口技术,通过最近... 详细信息

针对闪存硬盘的快速发展趋势以及存取特性,提出一种数据库复合存储模型.在该模型中,数据库同时包括闪存硬盘和磁性硬盘2种设备,数据根据访问特征被存储到不同的设备中.模型使用地址映射表来转换对闪存访问,并使用滑动窗口技术,通过最近一段时间内访问的统计信息和设备本身的物理特性,自适应地动态调整页面的分布,使数据库获得更高的性能.通过基于在线事务处理应用的性能仿真测试,结果表明,该复合模型可以显著提高I/O性能,并对工作集的变化有良好的适应性.

关键词：闪存硬盘数据库管理系统复合存储模型自调节地址映射表统计信息

PWLRU:一种面向闪存数据库的缓冲区存取算法

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2010年第12期44卷 2257-2262,2364页

作者：寿黎但廖定柏徐昶陈刚浙江大学计算机科学与技术学院浙江杭州310027

针对现有缓冲区替换算法无法充分发挥闪存数据库性能的不足,研究了缓冲区存取方法.根据数据库OLTP应用中IO行为的特点以及闪存的物理特性,提出一种新的缓冲区存取算法——基于页面权重的最近最少使用替换(PWLRU).PWLRU首先对缓冲区内的... 详细信息

针对现有缓冲区替换算法无法充分发挥闪存数据库性能的不足,研究了缓冲区存取方法.根据数据库OLTP应用中IO行为的特点以及闪存的物理特性,提出一种新的缓冲区存取算法——基于页面权重的最近最少使用替换(PWLRU).PWLRU首先对缓冲区内的页面设定权重,在扫描与修改某页面时对权重进行调节,并优先替换权重为零的页面.实验选用基于MYSQL的TPC-C测试标准作为模拟仿真环境,实验结果证明:PWLRU不仅能保证缓存命中率不低于经典的最近最少使用替换算法(LRU),而且在闪存上的IO平均读取代价和能耗均优于LRU和之前面向嵌入式闪存环境提出的先清除-最近最少使用替换算法(CFLRU),是一种特别适合闪存数据库的缓冲区存取算法.

关键词：闪存页面保留权重值读写代价命中率闪存数据库

在线全文

学校读者我要写书评

暂无评论

面向动态环境的移动对象自适应索引方法

浙江大学学报（工学版） 2013年第3期47卷 442-448页

作者：陈楠寿黎但陈刚陈珂胡天磊浙江省烟草公司信息中心浙江杭州310001 浙江大学计算机科学与技术学院浙江杭州310027

为适应动态变化的应用环境,提高索引的综合性能,提出一种自适应的移动对象索引———STBx树.给出了STBx树的索引结构、更新算法和查询算法,并且在性能分析的基础上给出了STBx树进行自适应调节的方法.STBx树以自学习和自适应的运行,在不... 详细信息

为适应动态变化的应用环境,提高索引的综合性能,提出一种自适应的移动对象索引———STBx树.给出了STBx树的索引结构、更新算法和查询算法,并且在性能分析的基础上给出了STBx树进行自适应调节的方法.STBx树以自学习和自适应的运行,在不打断服务的情况下对自身的更新性能和查询性能进行调节,从而达到最佳的平稳的综合性能,以适应更新操作和查询操作的比例以及性能需求动态变化的环境.实验表明:STBx树在动态应用环境下能够实现自适应的调节,并提供优秀的综合性能,优于传统的TPR*树和Bx树.

关键词：移动对象数据库 STBx树索引动态环境自适应

在线全文

学校读者我要写书评

暂无评论

基于多重分割捆绑特征的目标图像检索

浙江大学学报（工学版） 2011年第2期45卷 259-266页

作者：王金德寿黎但李晓燕陈刚浙江大学计算机科学与技术学院浙江杭州310027

针对基于目标的图像检索(OBIR)领域中,传统的视觉关键词方法忽略了局部特征之间的空间关系信息,导致检索准确度不高的问题,提出一种基于多重分割捆绑特征的目标图像检索方法.通过对图像进行多重分割,各分割区块用它所包含的尺度不变特... 详细信息

针对基于目标的图像检索(OBIR)领域中,传统的视觉关键词方法忽略了局部特征之间的空间关系信息,导致检索准确度不高的问题,提出一种基于多重分割捆绑特征的目标图像检索方法.通过对图像进行多重分割,各分割区块用它所包含的尺度不变特征变换(SIFT)特征集合来描述,生成包含空间关系信息的捆绑特征;根据视觉关键词词库匹配捆绑特征,并提出一种改进的相似性度量方法计算捆绑特征相似度,再将该相似度作为权重融入到视觉关键词方法的向量空间模型中,计算图像相似度并进行排序.结果表明,该方法能够有效利用局部特征之间的空间关系信息,在保证检索效率的同时,显著提高检索准确度.

关键词：目标图像检索捆绑特征多重分割视觉关键词尺度不变特征变换