检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于机器翻译的中文数据库查询改写方法

基于机器翻译的中文数据库查询改写方法

作者：张扬吉林大学

学位级别：硕士

数据库是存储和传输海量数据的重要载体,但其查询语言(SQL)的编写需要一定的技术能力,普通人无法快速构建准确有效的查询语句。因此,需要一种将自然语言改写为SQL语句的方法,从而降低操作数据库,获取目标信息的复杂程度。随着深度学习... 详细信息

数据库是存储和传输海量数据的重要载体,但其查询语言(SQL)的编写需要一定的技术能力,普通人无法快速构建准确有效的查询语句。因此,需要一种将自然语言改写为SQL语句的方法,从而降低操作数据库,获取目标信息的复杂程度。随着深度学习的广泛应用,基于神经网络的数据库查询改写模型逐渐成为研究热点。这类模型通过从大量数据对中学习输入的自然语言和输出的标准查询语句之间的映射关系,实现查询改写。然而,当前领域的方法主要分为基于模板槽位填充和基于图神经网络编码两种,都存在一定的局限性。基于模板槽位填充的方法需要针对SQL不同子模块单独构建生成网络,并根据各子网络转换结果拼接得到完整SQL,而这会增加网络复杂度和计算开销。基于图神经网络编码的方法需要根据数据表的不同,预定义节点之间的结构关系(边),以此表达不同的模式内关系,而这会增加预处理难度和数据依赖性。为了解决这些问题,本文提出了一种基于机器翻译的中文数据库查询改写模型,直接以端到端的方式,完成输入输出的映射,网络模型相对简单,且能够处理复杂场景。本文主要做出了以下工作和贡献:(1)首先基于双向LSTM网络构建一个特殊的“翻译”模型,从而将自然语言“翻译”为SQL语句,验证机器翻译对于SQL生成的可行性。然后在此基础上,利用当前流行且高效的Transformer架构,改进模型结构,进一步提升模型转换效率。(2)在Transformer架构基础上,使用BERT中文预训练模型作为编码器,以解决中文字符粒度划分的问题,对输入进行编码。同时,对数据库表格信息进行特殊嵌入处理,使模型能够提取到目标SQL与表格的关联信息,从而使改写结果的精确匹配率达到了49%左右。为了进一步提高准确率,本文通过改变表格信息拼接顺序的思路对数据进行增强,使模型在面对相同查询的不同编码输入时,输出相同的转换结果,提高模型的鲁棒性。(3)为了使上述模型的输出更加贴近人类SQL语句的生成习惯,引入对抗训练(Adversarial Training)的思想,以上述模型作为生成器,构建判别器为生成器输出的SQL语句打分。不同于基于CNN构建分类模型作为判别器的思想,本文构建了一个语义匹配模型作为判别器,基于语义匹配度区分真实SQL和生成SQL。而为了解决文本类数据无法处处微分的问题,本文采用策略梯度法(Policy Gradient)构建了从判别器到生成器的Reward。基于以上方法使得数据库查询改写准确率进一步提升2%左右。

关键词：查询改写语义解析机器翻译数据库生成对抗网络

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于对抗学习的地图搜索引擎查询改写

基于对抗学习的地图搜索引擎查询改写

作者：牛云飞西安电子科技大学

学位级别：硕士

在搜索引擎中,用户错误拼写和错误输入一直以来都是一个严重的问题,因此,在搜索引擎技术发展的早期,查询改写就是一个具有较高重要性的模块。查询改写模块接收用户的错误查询字符串,通过一系列模型或者算法预测用户的真实意图,并改写为... 详细信息

在搜索引擎中,用户错误拼写和错误输入一直以来都是一个严重的问题,因此,在搜索引擎技术发展的早期,查询改写就是一个具有较高重要性的模块。查询改写模块接收用户的错误查询字符串,通过一系列模型或者算法预测用户的真实意图,并改写为正确的查询字符串,这一模块对于保障搜索引擎的使用体验,提高搜索转化率至关重要。对于滴滴出行等基于位置服务的APP,往往都通过一个地图搜索引擎来实现订单下达,然而,地图搜索引擎中的查询改写和通用网页搜索中的查询改写存在较大的不同。基于地图检索的实际业务特点,我们创造性地提出了异地干扰问题和查询-文档标题语义隔阂,这两个问题在地图检索中广泛存在,而且现有的查询改写方案都没有对这两个问题进行改进。在当前流行的Seq2seq查询改写模型的基础上,我们设计了一种新型的双注意力机制,用于解决异地干扰问题。这一机制是对传统的注意力机制的扩展,允许模型在平行语料对齐之外,学习当前的错误查询和正确查询分别和城市条件的关联性,并且使用可学习的权重将两种注意力打分进行融合。我们同时设计了一系列更加常见的对比方案,证明了我们设计的双注意力机制的有效性。另外,为了解决查询-文档标题语义隔阂问题,我们还设计了一种对抗训练机制。其中,与传统的对抗训练采用分类模型作为判别器不同,我们创造性地采用了语义匹配模型作为判别器,这帮助我们为Seq2seq模型引入了额外的监督信息,实现了传统生成对抗网络所不能实现的功能,并且我们的语义匹配模型借鉴了当前更为先进的Transformer结构。另外,为了解决对抗训练中文本数据不可微且稀疏性强的问题,我们采用了策略梯度和蒙特卡洛树采样等强化学习技术,实现了模型的端到端训练。在滴滴出行的真实线上数据的测试证明,我们的方案能带来非常可观的提升,同时和其他baseline方案的对比说明,我们的方案对异地干扰和查询-文档标题语义隔阂问题解决的更为彻底。

关键词：查询改写搜索引擎 Seq2seq 注意力机制生成对抗网络

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于抽取生成融合模型的查询改写技术

网络安全技术与应用 2023年第9期 44-46页

作者：庞旭林袁瑞丰黄景涛李晶国家市场监督管理总局信息中心北京100820

随着移动设备和自然语言处理技术的发展,移动端语音搜索的交互方式越来越普及,用户更倾向使用自然语言而非关键词表达查询需求。这一新需求对于传统的基于关键词检索的搜索引擎带来了巨大挑战。所以,如何将自然语言查询改写为关键词同... 详细信息

随着移动设备和自然语言处理技术的发展,移动端语音搜索的交互方式越来越普及,用户更倾向使用自然语言而非关键词表达查询需求。这一新需求对于传统的基于关键词检索的搜索引擎带来了巨大挑战。所以,如何将自然语言查询改写为关键词同时保证语义一致性是一个亟待解决的难题。传统抽取式方法由于受查询词集合限制,无法保证搜索结果覆盖率;生成式方法由于其生成过程不可控,无法保证生成关键词的正确性。为了解决这一难题,本文提出了一种新的抽取-生成融合网络,在输出关键词时,由生成式方法的注意力权重和抽取方法的词权重共同决定词表分布,既能从自然语言查询输入中提取统计和语义信息,从而准确抽取关键词;还可以生成查询输入词集合外的新词。大量实验表明,本文提出的模型在多项指标和人工评测结果性能达到较先进水平。

关键词：语音搜索查询改写自然语言查询关键词抽取生成融合网络

在线全文

学校读者我要写书评

暂无评论

高效的XML关键字查询改写和结果生成技术

高效的XML关键字查询改写和结果生成技术

第26届中国数据库学术会议

作者：黄静陆嘉恒孟小峰中国人民大学信息学院

用户使用关键字查询时,可能不能准确的表达他们的意图,即使用户正确的表达了查询意图,查询引擎也可能不能准确地返回查询结果.针对这一问题,重点研究了在XML关键字查询中如何进行有效的查询改写并生成有意义的结果.提出四种查询改写操... 详细信息

用户使用关键字查询时,可能不能准确的表达他们的意图,即使用户正确的表达了查询意图,查询引擎也可能不能准确地返回查询结果.针对这一问题,重点研究了在XML关键字查询中如何进行有效的查询改写并生成有意义的结果.提出四种查询改写操作和查询改写代价的概念,给出了动态规划的方法计算查询改写代价.为了找出最优的查询改写,给出了基于栈的查询改写和结果生成算法,并提出了基于划分的优化算法.最后通过丰富的实验对提出的方法进行了验证.

关键词： XML 关键字查询查询改写查询重写查询推荐 SLCA

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

SVB查询改写算法的改进

SVB查询改写算法的改进

面向军事领域知识问答系统的多策略检索增强生成方法

第二十一届中国数据库学术会议

作者：谢丽聪福州大学数学与计算机科学学院

查询改写问题是基于中介模式的Web数据集成系统中的一个重要课题.目前已经有很多查询改写算法,其中基于合一置换的SVB算法是较好的一个.SVB算法考虑了两种覆盖,即单子项覆盖和组覆盖,由此生成两种Bucket,即简单Bucket和联接Bucket.提出... 详细信息

查询改写问题是基于中介模式的Web数据集成系统中的一个重要课题.目前已经有很多查询改写算法,其中基于合一置换的SVB算法是较好的一个.SVB算法考虑了两种覆盖,即单子项覆盖和组覆盖,由此生成两种Bucket,即简单Bucket和联接Bucket.提出了建立联接Bucket的另一个条件,以便生成更多的联接Bucket,由此可以生成新的查询改写式.而且各个新的改写式必定与某个由SVB算法所生成的改写式等价,从而可以保证新旧改写式仍然是原查询的最大被包含改写式.新的改写式的特点是运算对象的个数比较少,从而有利于进行物理优化.

关键词：查询改写中介模式关联查询联接属性

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

计算机应用 2024年

作者：张艳萍陈梅芳田昌海易子博胡文鹏罗威罗准辰河北工程大学数理科学与工程学院河北工程大学信息与电气工程学院中国人民解放军军事科学院军事科学信息研究中心

基于检索增强生成技术(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员分析和感知情报的重要工具。针对目前检索增强生成方法的应用策略中混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题，提出一种多策... 详细信息

基于检索增强生成技术(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员分析和感知情报的重要工具。针对目前检索增强生成方法的应用策略中混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题，提出一种多策略检索增强生成方法(MSRAG)。首先，根据用户输入的查询特点自适应匹配检索模型召回相关文本；其次，利用文本过滤器提取出能回答问题的关键文本块；接着，通过文本过滤器进行内容有效性判断以启动基于同义词拓展的查询改写，将初始查询与改写后的信息合并输入检索控制器进行更有针对性的再次检索；最后，将能够回答问题的关键文本片段和问题合并，使用提示工程输入生成答案模型生成响应返回给用户。在检索增强生成方法对比实验中，MSRAG方法在军事领域数据集(Military)、Medical数据集的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence)指标上相较于凸线性组合检索增强生成方法分别提高了14个百分点和5个百分点。实验结果表明MSRAG方法具备较强的通用性和可移植性，能够缓解非必要查询改写导致的语义漂移问题，有效帮助大模型生成更准确的答案。

关键词：检索增强生成军事知识问答信息检索文本过滤查询改写

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

关系数据库细粒度访问控制设计与实现

华中科技大学学报（自然科学版） 2010年第10期38卷 35-38页

作者：时杰朱虹周淳胡红清华中科技大学计算机科学与技术学院湖北武汉430074 达梦数据库有限公司湖北武汉430074

通过扩展SQL语句支持关系数据库细粒度访问控制(FGAC)策略的描述,扩展的SQL语句同时支持封闭式细粒度访问控制策略和开放式细粒度访问控制策略的描述,即支持细粒度的否定授权.给出了基于查询改写思想的动态查询改写算法,实现了细粒度访... 详细信息

通过扩展SQL语句支持关系数据库细粒度访问控制(FGAC)策略的描述,扩展的SQL语句同时支持封闭式细粒度访问控制策略和开放式细粒度访问控制策略的描述,即支持细粒度的否定授权.给出了基于查询改写思想的动态查询改写算法,实现了细粒度访问控制,同时给出了细粒度访问控制实现框架,并在数据库管理系统(DBMS)中实现.实验验证了该实现方法的可行性.

关键词：关系数据库数据库安全细粒度访问控制否定授权查询改写

实现数据库细粒度访问控制的一种动态查询修改算法

在线全文

学校读者我要写书评

暂无评论

计算机科学 2010年第12期37卷 130-133,142页

作者：时杰朱虹冯玉才华中科技大学计算机学院武汉430074

由于隐私保护和基于Web的安全需求的驱动,数据库细粒度访问控制引起了研究者的广泛关注。细粒度访问控制主要通过查询改写方法实现。然而,在以往的查询改写算法中,没有考虑用户提交的SQL语句的特性和细粒度访问控制策略的特性,从而导致... 详细信息

由于隐私保护和基于Web的安全需求的驱动,数据库细粒度访问控制引起了研究者的广泛关注。细粒度访问控制主要通过查询改写方法实现。然而,在以往的查询改写算法中,没有考虑用户提交的SQL语句的特性和细粒度访问控制策略的特性,从而导致最终执行的SQL中存在大量的冗余,影响了SQL语句执行的性能。在考虑SQL语句和细粒度访问控制策略的特性的前提下,分析了两类冗余,并给出了相应的移除方法。最终提出了一种用于细粒度访问控制实现的查询改写算法。实验证实该算法具有更好的性能。

关键词：关系数据库细粒度访问控制查询改写冗余

RFID事件流上一种扩展意义的子查询共享方法

在线全文

学校读者我要写书评

暂无评论

小型微型计算机系统 2012年第9期33卷 1898-1902页

作者：宋宝燕娄慧贞唐敏惠新华于戈辽宁大学信息科学与技术学院沈阳110036 东北大学信息与工程学院沈阳110819

提出一种扩展意义的子查询共享方法.该方法针对多复合事件查询共享后存储的问题,提出了复合事件图作为查询的内部表示;针对操作符不同、操作数相同的子查询共享不足的问题,通过分析不同复合事件查询、分析各种操作符之间的关系,提出了... 详细信息

提出一种扩展意义的子查询共享方法.该方法针对多复合事件查询共享后存储的问题,提出了复合事件图作为查询的内部表示;针对操作符不同、操作数相同的子查询共享不足的问题,通过分析不同复合事件查询、分析各种操作符之间的关系,提出了小事件的概念、并基于此给出了复合事件查询改写的规则和性质、小事件共享的方法以及共享的实现策略,实现了扩展意义的子查询共享.最后通过与典型算法的对比实验验证了本文所提方法的有效性.

关键词： RFID 复合事件图查询改写小事件