检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

融合领域词典的文旅客服问句匹配模型

西安工程大学学报 2024年第3期38卷 92-99页

作者：朱欣娟牛婷婷西安工程大学计算机科学学院/陕西省服装设计智能化重点实验室陕西西安710600

在文旅领域智能问答中,用户问句文本表征稀疏、口语化表达、一词多义及特定领域词汇的识别困难使得常见的匹配模型难以将用户问句与标准问句进行精准匹配。针对此问题,本文构建了文旅客服问句匹配数据集和相应的领域词典,在此基础上提... 详细信息

在文旅领域智能问答中,用户问句文本表征稀疏、口语化表达、一词多义及特定领域词汇的识别困难使得常见的匹配模型难以将用户问句与标准问句进行精准匹配。针对此问题,本文构建了文旅客服问句匹配数据集和相应的领域词典,在此基础上提出一种融合领域词典的文旅问句匹配模型SBIDD(Improved SBERT Model for Integrating Domain Dictionaries)。模型利用Sentence-BERT对问句进行向量化表示,在孪生网络模型中融入领域词典,增强问句的领域词权重,使得模型对领域词汇的识别能力大幅提升。在自建数据集和公开数据集ATEC 2018 NLP上分别进行实验。结果表明,构建的模型与5种经典文本匹配模型DSSM、BiMPM、ESIM、IMAF、TSFR-RM及基线模型SBERT相比效果更优,F1值达到95.65%,比基线模型提升了2.75%,且模型在检索任务上表现出更高的适配性和鲁棒性。

关键词：问句匹配文旅客服 Sentence-BERT 领域词典智能问答检索式问答

维普期刊数据库博看期刊

基于BERT和领域词典融合的中文电子病历命名实体识别

在线全文

学校读者我要写书评

暂无评论

计算机与数字工程 2024年第3期52卷 746-750,767页

作者：叶恩光张晓如张再跃丁腊春朱向南王译江苏科技大学镇江212003 镇江市第四人民医院镇江212001

医疗数据挖掘的起始环节为CNER(中文电子病历命名实体识别),将相关实体(解剖部位、药品、影像检查等)识别出非结构化文本是其目标所在。基于CNER准确性提升需要,论文设计了BERT-BiLSTM-CRF模型融合领域词典技术,该技术能将上下文语义关... 详细信息

医疗数据挖掘的起始环节为CNER(中文电子病历命名实体识别),将相关实体(解剖部位、药品、影像检查等)识别出非结构化文本是其目标所在。基于CNER准确性提升需要,论文设计了BERT-BiLSTM-CRF模型融合领域词典技术,该技术能将上下文语义关系全面结合,一词多义问题同样可以迎刃而解,获取电子病历句子的长距离依赖。CNER采用BERT-BiLSTM-CRF模型融合领域词典技术时的F1值已经被实验结果所证实,对知识图谱的构建、临床决策支持系统和病历质控系统等的研究有着重要意义。

关键词：中文电子病历命名实体识别 BERT-BiLSTM-CRF 领域词典

在线全文

学校读者我要写书评

暂无评论

面向抑郁症行为特征的领域词典构建

大数据 2024年第5期10卷 96-108页

作者：周若彤朱广丽李书羽段文杰李嘉伟安徽理工大学计算机科学与工程学院合肥综合性国家科学中心人工智能研究院

抑郁症患者的行为表征反映其临床特征及病情状况，有利于病情诊断。当前抑郁症领域词典在构建时忽略了抑郁症文本中的行为特征与患者病况的关联性，导致词典领域信息不足。为此，提出面向抑郁症行为特征的领域词典构建方法，拓展了领域... 详细信息

抑郁症患者的行为表征反映其临床特征及病情状况，有利于病情诊断。当前抑郁症领域词典在构建时忽略了抑郁症文本中的行为特征与患者病况的关联性，导致词典领域信息不足。为此，提出面向抑郁症行为特征的领域词典构建方法，拓展了领域词典涵盖的情感表示。首先，采用TF-IDF算法构建情感类和行为类种子词集，通过PMI计算现有词典与情感类种子词的相似度获得情感类词集；其次，基于行为特征与患者病况的对应关系，设置行为类种子词标签，再将种子词与抑郁症文本输入WoBERT生成动态词向量，计算二者的相似度得到候选词集；然后，基于词间相似度构建语义图，并使用标签传播算法获得行为特征词集；最后，收集微博负面情感表情符号构建表情符号词集，合并情感类词集、行为特征词集与表情符号词集，得到中文抑郁症领域词典。实验结果表明，构建的词典可以提升抑郁症文本分类效果。

关键词：抑郁症领域词典行为特征 WoBERT 标签传播算法

基于领域词典与CRF双层标注的中文电子病历实体识别

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

工程科学学报 2020年第4期42卷 469-475页

作者：龚乐君张知菲南京邮电大学计算机学院、软件学院、网络空间安全学院南京210023 江苏省大数据安全与智能处理重点实验室南京210023

医疗实体识别是电子病历文本信息抽取的基本任务.针对中文电子病历文本复合实体较多、实体长度较长、句子成分缺失严重、实体边界不清的语言特点以及标注语料难以获取的现状,提出了一种基于领域词典和条件随机场(CRF)的双层标注模型.该... 详细信息

医疗实体识别是电子病历文本信息抽取的基本任务.针对中文电子病历文本复合实体较多、实体长度较长、句子成分缺失严重、实体边界不清的语言特点以及标注语料难以获取的现状,提出了一种基于领域词典和条件随机场(CRF)的双层标注模型.该模型通过对外部资源的统计分析构建医疗领域词典,再结合条件随机场,进行了两次不同粒度的标注,将领域词典识别的准确性和机器学习的自动性融为一体,从中文电子病历文本中识别出疾病、症状、药品、操作四类医疗实体.该模型在测试数据中的宏精确率为96.7%、宏召回率为97.7%、宏F1值为97.2%.同时对比分析了采用注意力机制的深度神经网络的识别效果,因受到领域数据集大小的限制,在该测试数据集中后者表现不佳.实验结果表明了该双层标注模型对中文医疗实体识别的高效性.

关键词：中文电子病历医疗实体识别领域词典条件随机场注意力机制

基于CNN的消费品缺陷领域词典构建方法研究

在线全文

学校读者我要写书评

暂无评论

数据分析与知识发现 2020年第11期4卷 112-120页

作者：彭郴吕学强孙宁张乐姜肇财宋黎北京信息科技大学网络文化与数字传播北京市重点实验室北京100101 中国标准化研究院北京100191

【目的】有效地构建消费品缺陷领域词典,有助于了解专业领域动态与领域关键信息。【方法】首先,通过语料中的词频特征挖掘领域相关短语词;其次,使用TF-IDF算法构建领域词库以减少人工标注成本;最后,基于卷积神经网络(CNN)模型融入语义... 详细信息

【目的】有效地构建消费品缺陷领域词典,有助于了解专业领域动态与领域关键信息。【方法】首先,通过语料中的词频特征挖掘领域相关短语词;其次,使用TF-IDF算法构建领域词库以减少人工标注成本;最后,基于卷积神经网络(CNN)模型融入语义、位置信息进一步生成领域词典,提升领域词典的健壮性与泛化能力。【结果】实验结果表明,本文方法与统计学习方法相比,在准确率、召回率和F1值上提升了6%~9%。【局限】仅在消费品缺陷领域文本上构建词典,在其他领域的效果有待验证。【结论】基于CNN的消费品缺陷领域词典构建方法可以提升消费品缺陷领域词典的构建效果。

关键词：领域词典词频特征 TF-IDF 卷积神经网络

在线全文

学校读者我要写书评

暂无评论

领域词典的构建及其在语法分析中的应用

领域词典的构建及其在语法分析中的应用

作者：江磊南京邮电大学

学位级别：硕士

领域词典的概念已经逐步走进我们的生活中，传统的通用词典虽然很成熟，但是对于特定领域内的应用却显得有点力不从心，我们不仅仅需要语法标注，而且还要尽可能建立相对完善的语义网络体系。当今各个领域都在迅速发展，新词汇、新概念... 详细信息

领域词典的概念已经逐步走进我们的生活中，传统的通用词典虽然很成熟，但是对于特定领域内的应用却显得有点力不从心，我们不仅仅需要语法标注，而且还要尽可能建立相对完善的语义网络体系。当今各个领域都在迅速发展，新词汇、新概念、新关系不断的涌现，如果还停留在传统的词汇分析，那远远达不到我们的需求;而领域词典的出现却能很大程度上解决这种问题，通过构建词典，搜集最新的概念以及相互关系，在特定领域内的研究能游刃有余。在实际应用中，我们往往会需要对特定领域内的概念进行细致的分析，例如：研究概念间的语义关系以及根据概念关系引申出的一些应用等等。本文分析讨论了概念间相互关系，比如：上/下位关系、同义/反义关系、整体/部分关系、宿主/属性关系、蕴涵关系等等，同时根据概念词性和分类，以JSON作为词典的数据格式，并设计概念的编码规则和词典的索引表，来减少查找概念所花费的时间，最后构建基于概念关系的领域词典的方法。然后，我们把上面研究的构建领域词典方法应用到程序文法规则中，研究并制定程序的文法规则集，并用相应的文法符号进行表示，分析文法规则中各个符号之间的相互关系，包括蕴涵关系、组成关系、First关系以及Follow关系，构建文法规则词典。我们根据已有的文法规则词典，进行基于规则树的语法分析(BUBRT方法)。通过与规则树节点进行匹配，同时判断当前输入字符与当前栈顶符号是否构成Follow关系，来制定移进-规约准则，对程序进行语法分析。最后通过测试C程序段对BUBRT方法进行实验分析。介绍实验运行环境和功能模块，分析各功能模块之间的关系。通过对程序的词法分析和语法分析得出语法分析结果，验证了BUBRT方法的实际可行性。

关键词：领域词典概念关系 JSON 文法规则语法分析 BUBRT方法

领域词典和统计分词相结合的非物质文化遗产分词算法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

领域词典和统计分词相结合的非物质文化遗产分词算法研究

作者：万快华中师范大学

学位级别：硕士

在信息时代里,用户从海量的文本中获取相关性强的数据信息变得越来越困难。中文分词可以将一系列字段按照一定的规则划分为独立的、可识别的字段,从而让计算机读懂文字的原意。非物质文化遗产是一种具有重要价值的文化资源,当前互联网... 详细信息

在信息时代里,用户从海量的文本中获取相关性强的数据信息变得越来越困难。中文分词可以将一系列字段按照一定的规则划分为独立的、可识别的字段,从而让计算机读懂文字的原意。非物质文化遗产是一种具有重要价值的文化资源,当前互联网中存在大量的非物质文化遗产专有名词,常规分词算法难以对其正确切分,因而严重影响了非物质文化遗产领域一些长文本的检索、聚类、个性化推荐和情感分析等应用。因此,正确识别并切分非遗领域的特殊名词,是当前非遗领域亟待解决的一个重要问题。为了提高非遗领域文本分词的准确率,本文设计一种领域词典与统计分词相结合的分词算法。本文主要研究内容如下:1.非物质文化遗产领域词典构建。将中国非物质文化遗产网上的项目名录和传承人名录下载并经去重等人工处理,形成非遗领域的项目和人名专题词汇表,并从搜狗、QQ等输入法的相关领域词库中提取部分非遗专有词汇,与已有的开放中文地名和历史名人词库相结合,以此构建自定义的非遗领域词典。2.领域词典和统计分词相结合的非遗分词算法研究。依据前缀词典实现高效的词图扫描,生成对输入句子中汉字所有可能成词情况所构成的有向无环图。然后使用动态规划的方法在有向无环图上找到一条最大概率路径,依据此路径进行分词,找出基于词频的最大切分组合。最后对于未登录词,使用隐马尔科夫模型,并结合维特比(Viterbi)算法找出最可能出现的隐状态序列,即可得到分词结果。采用中文分词领域的标准测试数据集和两篇随机摘选的非遗领域新闻报道文本作为实验数据,并将本文算法和几种主流的分词算法进行了分词实验对比。实验结果表明,本文设计的领域词典和统计分词相结合的分词算法相比于其他分词工具在非遗新闻数据分词方面具有最高的精度,其准确率均超过了 95%,综合评价指标F值也超过了 0.93。分词结果证明本文算法能够准确地从非遗长文本中切分出正确的词汇,而且还能通过上下文信息和互信息等,组合并构建出新的非遗术语,能够较好地识别出非遗文本中的未登录词。分词结果也表明,本文算法在歧义词切分方面能在词典和统计分词模型二者之间取得平衡,具有较强的歧义字段切分能力。因此,在非遗领域词典相对完善的情况下,本文设计的分词算法能够较好地解决大部分非遗领域长文本的分词问题,并具有较高的分词精度。

关键词：领域词典统计模型中文分词非物质文化遗产隐马尔可夫模型

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于伪相关反馈模型的领域词典生成算法

中文信息学报 2008年第1期22卷 111-115页

作者：黄玉兰龚才春许洪波程学旗中国科学院计算技术研究所

本文提出了一种基于伪相关反馈模型的领域词典自动生成算法。将领域词典生成过程视为领域术语的检索过程:假设初始检索出来的前若干个字符串与领域相关,将这些字符串加到领域词典中,重新检索,如此迭代,直到生成的领域词典达到预先设定... 详细信息

本文提出了一种基于伪相关反馈模型的领域词典自动生成算法。将领域词典生成过程视为领域术语的检索过程:假设初始检索出来的前若干个字符串与领域相关,将这些字符串加到领域词典中,重新检索,如此迭代,直到生成的领域词典达到预先设定的规模。实验表明,本算法经过若干次迭代后生成的领域词典准确率高于已有领域词典生成算法。

关键词：计算机应用中文信息处理有意串领域词典大规模语料伪相关反馈

在线全文

学校读者我要写书评

暂无评论

一种基于生语料的领域词典生成方法

小型微型计算机系统 2005年第6期26卷 1088-1092页

作者：孙霞郑庆华王朝静张素娟西安交通大学计算机系陕西西安710049

为了实现准确分词,实用的汉语信息处理系统都需有其专用的领域词典.针对现有词典构造方法存在的不足,本文提出了一种领域词典的构造方法:利用通用词典对领域生语料进行分词处理,并提出了基于切分单元的最大匹配算法,从而得到候选词串集... 详细信息

为了实现准确分词,实用的汉语信息处理系统都需有其专用的领域词典.针对现有词典构造方法存在的不足,本文提出了一种领域词典的构造方法:利用通用词典对领域生语料进行分词处理,并提出了基于切分单元的最大匹配算法,从而得到候选词串集,然后利用规则对其进行优化,最终生成领域词典.词典的生成过程基本上是自动完成的,人工干预少,易于更新;目前,本方法生成的领域词典已经应用于我们自主开发的"基于Web的智能答疑系统"中,并取得了较好的效果.

关键词：领域词典通用词典词频统计最大匹配