检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向少量标记数据的中文地址分词方法研究

面向少量标记数据的中文地址分词方法研究

作者：王方正浙江大学

学位级别：硕士

地址编码技术是指将文字描述的中文地址映射成空间地理坐标,由地址标准化、地址分词、地址匹配、地址定位等步骤组成。其中中文地址分词是地址编码的基础工作,极大地影响了地址匹配和地址定位等后续工作的性能。中文地址分词可以视为中... 详细信息

地址编码技术是指将文字描述的中文地址映射成空间地理坐标,由地址标准化、地址分词、地址匹配、地址定位等步骤组成。其中中文地址分词是地址编码的基础工作,极大地影响了地址匹配和地址定位等后续工作的性能。中文地址分词可以视为中文分词在地址编码领域的应用,目前对于中文地址这一特定领域进行分词的研究工作较少。本文针对当前中文地址分词模型研究的不足和地址数据标注成本较高的问题,提出了一种面向少量标记数据的中文地址分词方法。本方法采用主动学习算法,根据中文地址分词模型对数据的标签预测以及地址样本选择策略,从无标记地址数据中选取出最具有标注价值的部分样本进行人工标注,然后加入到训练集中迭代进行训练。本方法分别对中文地址分词模型和主动学习地址样本选择策略进行改进,由以下两部分组成。1.基于改进Transformer+CRF的中文地址分词模型从模型研究入手,针对当前主流的基于BiLSTM+CRF的中文地址分词方法由于LSTM本身的结构特点带来的长期依赖问题和无法并行计算的缺点,采用改进Transformer代替BiLSTM进行特征提取,一方面通过Attention机制使得模型在文本任一字符处都可以获取到全局信息并进行交互计算,另一方面通过添加多个位置信息矩阵来优化Transformer模型在位置信息学习上的能力。2.地址样本选择策略则针对当前主动学习样本选择策略过于简单、不能充分利用样本文本信息的缺点,设计符合中文地址特点的样本选择函数,综合考虑地址文本的不确定性、差异性和字符重要度,来更有效地选取出对于地址分词模型更有价值的地址样本。本文收集了真实地址数据,包括标准结构化地址和非标准地址,将其清洗筛选并进行标注作为实验数据集。实验结果表明本文提出的方法可以有效地减少地址标注的成本,以更少的标记数据取得更好的地址分词效果。

关键词：中文地址分词 Transformer 主动学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向融合语料的中文地址分词与匹配研究

面向融合语料的中文地址分词与匹配研究

作者：彭雨龙湖南师范大学

学位级别：硕士

地址匹配作为地理编码中关键的一环,是智慧城市建设中重要的组成部分。完整意义的地址匹配分为地址分词和地址匹配两部分,地址分词为地址匹配提供分词服务。由于中文地址的复杂多样性和不规范性,造成中文地址分词过程中存在训练语料质... 详细信息

地址匹配作为地理编码中关键的一环,是智慧城市建设中重要的组成部分。完整意义的地址匹配分为地址分词和地址匹配两部分,地址分词为地址匹配提供分词服务。由于中文地址的复杂多样性和不规范性,造成中文地址分词过程中存在训练语料质量层次不齐、不规范地址影响分词效果,地址匹配结果的匹配率和精确率不高的问题。针对中文地址分词与匹配方法中存在的问题,本文展开了以下研究:（1）面向融合语料的中文地址分词方法研究。该方法通过不同的指标定量化计算70000条语料集中地址数据的价值,按价值高低依次选取地址作为权重机制语料,并对选取权重机制语料库中的部分样本进行数据增广,形成融合语料。利用Bi LSTM+CRF模型训练语料进行分词实验对比,实验结果表明,在同训练语料量下,融合语料的中文地址分词方法可以有效提升中文地址的分词效果。融合语料方法分词结果的F1值和AP值都高于其它方法的F1值和AP值,在本研究实验中当融合语料库数据量达到60000条,数据增广比例为0.2时,融合语料的分词效果最优,F1值为91.6%,AP值89.3%。（2）基于多叉树结构的中文地址匹配方法研究。该方法基于地址元素的层级约束性,构建层级结构的多叉树存储标准地址库数据。在待匹配地址分词结果与多叉树结构地址数据匹配过程中,针对不规范地址匹配失败问题,结合层级回溯匹配与文本相似度匹配方法完成地址匹配工作。通过真实数据实验结果表明,基于多叉树结构的地址匹配方法在较其它匹配方法的表现更具优势。多叉树结构的地址匹配方法在两组数据实验中都得到更高的匹配率和更高的精确率,较高的匹配率和精确率都在92%以上,较低值也在85%以上。

关键词：融合语料中文地址分词多叉树结构中文地址匹配

基于统计和规则的中文地址分词系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于统计和规则的中文地址分词系统设计与实现

作者：袁向铎东南大学

学位级别：硕士

近年来,信息技术日新月异,带动了各个行业的迅速发展,相应的数据量也在不断剧增,地址信息也相应地跟随更新和增加。电子地图的出现使得文字描述的地址能够映射到地理空间坐标上,实现这种映射的技术即为地理编码技术。地理编码一般包括... 详细信息

近年来,信息技术日新月异,带动了各个行业的迅速发展,相应的数据量也在不断剧增,地址信息也相应地跟随更新和增加。电子地图的出现使得文字描述的地址能够映射到地理空间坐标上,实现这种映射的技术即为地理编码技术。地理编码一般包括地址标准化、地址分词、地址匹配、空间定位等步骤。其中,地址分词的作用主要是采用某一分词方法将中文地址拆分成若干个最小地址单元,为后续的地址匹配过程做铺垫,这也是地理编码中最为核心、关键的一步。本文主要对中文地址分词进行研究,重点分析中文地址的组成特点和规则,采用条件随机场模型解决中文地址分词中的未登录词识别问题,并构建出基于标准地址模型的知识库,基于此知识库设计出适用于中文地址标准化分词的算法,开发出可靠的中文地址分词原型系统,并通过实验验证其可行性。论文具体工作如下:1.构建基于标准地址模型的知识库。地址模型是本文研究对象中文地址中地址要素的组织方式,直接影响后面分词算法的设计和最终分词的准确率。通过对海量的中文地址数据的组成特点的研究和总结,中文地址分词需要完整的全国行政区划等级库,地址特征词库和地理实体名词库作为分词依据。2.设计有效的中文地址分词算法。中文分词算法的设计包括分词算法的选取和基于地址组成规则的分词结果处理算法的设计。由于分词算法已经比较成熟,结合中文地址特点,本文依据构建的知识库采用双数组trie树的字符串匹配方法对中文地址进行初步分词;针对初步分词结果中的歧义、错分等现象,本文又设计了基于地址组成规则的分词结果处理算法来对其进行消歧义、推导验证等处理,大大提高了分词的准确率。3.开发实现了一个中文地址分词的原型系统。本论文基于上述的地址知识库和中文地址分词算法开发、实现了中文地址分词原型系统,对该系统的性能和功能进行了实验测试,并与纯规则的分词方法做了比对,实验结果表明采用统计和规则的分词系统的分词准确率可达92.37%,远高于纯规则方法的分词结果,证明了系统的可靠性。

关键词：中文地址分词条件随机场知识库地址模型歧义处理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于规则的中文地址分词与匹配方法

基于规则的中文地址分词与匹配方法

作者：谭侃侃山东科技大学

学位级别：硕士

在信息时代的今天,城市各部门都存有大量与地址有关的地理位置信息,这些数据大多是非空间信息,无法通过地理信息系统来实现行业之间的数据共享。因此,城市地址信息空间化是数字城市建设的重要组成部分。地理编码技术正是实现城市地... 详细信息

在信息时代的今天,城市各部门都存有大量与地址有关的地理位置信息,这些数据大多是非空间信息,无法通过地理信息系统来实现行业之间的数据共享。因此,城市地址信息空间化是数字城市建设的重要组成部分。地理编码技术正是实现城市地址信息空间化的方法,它提供了一种将文本描述的地址信息转换为地理坐标的方式,通过编码技术和地址匹配来确定此地址数据在电子地图上对应的地理实体位置。通过地理编码技术,大量的社会经济数据将变成坐标化的空间信息,从而进行更快速有效的空间分析,为政府决策提供支持。论文以武汉市的地址研究为项目背景,进行中文地址分词与地址匹配研究。利用地理编码技术实现地址的快速查询匹配和社会经济数据的空间化,建立数据库统一管理,从而实现城市各部门、行业数据的共享。主要研究内容和取得的成果如下：（1）改进了现有的地址模型,并根据此地址模型将地址数据规范化,建设完备的标准地址数据库。（2）在研究了几种地址分词及匹配方法的基础上,提出一种基于规则的地址分词匹配方法,加入了规则树和歧义存储等机制,通过算法改进,提高了地址残缺和歧义这两类模糊地址的匹配成功率。（3）建立了知识学习机制,通过地址补录模块,将匹配失败和数据库中缺少的地址补录入库,从而不断完善标准地址数据库。

关键词：地理编码地址标准化中文地址分词地址数据库规则库地址匹配

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELMo的中文地址分词与匹配

基于ELMo的中文地址分词与匹配

作者：余俊武汉邮电科学研究院

学位级别：硕士

在互联网信息时代的今天,人们每时每刻都在产生大量与地址有关的信息。中文地址是描述空间坐标最有效的信息,这些信息与人的行为密切相关,可以通过这些信息定位推测出一个人一整天的行为流程和运动轨迹,这些记录普遍存在于网上购物、短... 详细信息

在互联网信息时代的今天,人们每时每刻都在产生大量与地址有关的信息。中文地址是描述空间坐标最有效的信息,这些信息与人的行为密切相关,可以通过这些信息定位推测出一个人一整天的行为流程和运动轨迹,这些记录普遍存在于网上购物、短视频APP、通信、银行等领域,对于这些数据进行充分的挖掘与分析,会对个人发展和国家经济产生积极的影响。目前,国内对于中文地址的研究还处在刚刚萌芽的阶段,中文地址研究的困难点在于其地址本身的特殊性、语法的灵活性和结构的多样性。不同于国外的地址环境,国内对地址的规划和标准制定发展较晚,使用现存的技术对中文地址匹配会产生很多问题。针对上述问题,本文以中文地址匹配为研究方向,对其进行多方面研究,主要的研究内容和研究成果如下:（1）在原有的地址库模型的基础上进行改进,提出了新的标准地址库模型的构建方案,并将错误的地址进行分类,构建统一地址库体系。（2）在研究了国内外分词现状的基础上,为了提高中文地址分词的准确率和召回率,并为了能够较好的解决中文地址中产生的地址歧义问题,本文设计了一种在长短时记忆神经网络（LSTM）和条件随机场（CRF）的基础之上,与ELMo预训练模型相结合的中文地址分词模型,减少了传统的分词方法中人工设计的特征工程,使该算法更具有通用性,且对有歧义的地址信息有较好的辨识度。（3）引入Map Reduce计算引擎,采用地址树模型对切分后的地址进行地址树模型的匹配,对匹配失败的地址和未登录词补录入库,设计并实现了一套可行的中文地址匹配系统,且对地址归一化结果使用flink实时计算引擎进行数据分析。本文主要的创新点:（1）提出了基于ELMo-Bi LSTM-CRF的中文地址分词的算法。（2）提出了通过地址树模型对地址信息进行匹配。本文在Bi LSTM-CRF模型上提出的改进算法,在原有的基础上性能有稍许的提升,提升了1.15%。

关键词：中文地址匹配中文地址分词地址库模型地址归一化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于BERT的中文地址分词方法

电子设计工程 2021年第9期29卷 155-159页

作者：孙士琦汤鲲武汉邮电科学研究院湖北武汉430074 南京烽火星空通信发展有限公司江苏南京210000

针对传统中文地址分词工作中存在的准确率差,识别率低的问题,提出了一种基于BERT的中文地址分词方法。同时,将非行政级别的地址标签进行重新设计,并通过构建BERT-BiLSTM-CRF模型,将中文地址分词任务转换为命名实体识别任务。利用大量全... 详细信息

针对传统中文地址分词工作中存在的准确率差,识别率低的问题,提出了一种基于BERT的中文地址分词方法。同时,将非行政级别的地址标签进行重新设计,并通过构建BERT-BiLSTM-CRF模型,将中文地址分词任务转换为命名实体识别任务。利用大量全国地址数据对BERT进行训练,获取文本抽象特征;利用双向长短时记忆网络将文本序列化并结合上下文进一步获取文本特征;通过条件随机场获取最优序列,提取出正确的地址级别。该方法在所使用训练数据集上取得了98.21%的精确率和98.23的F1值,证明了该方法的有效性。

关键词： BERT 中文地址分词长短时记忆网络条件随机场命名实体识别

基于ELMo-BiLSTM-CRF模型的中文地址分词

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

电子设计工程 2021年第20期29卷 72-76页

作者：余俊于文年彭艳兵武汉邮电科学研究院湖北武汉430070 南京烽火天地通信科技有限公司江苏南京210019

为了解决传统基于规则的方法在处理中文地址分词的过程中,存在的分词效率低、需要人工维护字典且对中文地址中有歧义的字段无法正常解析等问题,文中提出在对中文地址分词的过程中,采用ELMo预训练模型的方式和嵌套BiLSTM-CRF的方法提升... 详细信息

为了解决传统基于规则的方法在处理中文地址分词的过程中,存在的分词效率低、需要人工维护字典且对中文地址中有歧义的字段无法正常解析等问题,文中提出在对中文地址分词的过程中,采用ELMo预训练模型的方式和嵌套BiLSTM-CRF的方法提升整体分词效率。该模型考虑到ELMo模型生成的词向量与上下文有关,BiLSTM能够有效解决输入序列的特征提取,且CRF可以通过状态转移矩阵进行训练优化。采用自建的训练样本集对模型进行训练时,分别运用了ELMo-BiLSTM-CRF、BiLSTM-CRF以及BiLSTM,并进行对比。结果表明,ELMo-BiLSTM-CRF模型的分词效果更佳,具有更高的准确率。

关键词：中文地址中文地址分词 ELMo-BiLSTM-CRF模型预训练模型

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

统计决策树下的城市地址集中文分词

武汉大学学报（信息科学版） 2019年第2期44卷 302-309页

作者：应申李威阳贺彪王维万远武汉大学资源与环境科学学院湖北武汉430079 深圳市数字城市工程研究中心广东深圳518034 国土资源部城市土地资源监测与仿真重点实验室广东深圳518034 深圳大学建筑与城市规划学院广东深圳518000 湖北师范大学城市与环境学院湖北黄石435002

不同于常规的需要依赖城市地址词典或规则库的地址分词模型,提出不依赖地址词典、基于海量地址数据挖掘的分词方法。该方法结合统计规律计算地址要素在地址数据集中的分布特征,挖掘地址数据中分词的后缀点和落差点,根据后缀点和落差点... 详细信息

不同于常规的需要依赖城市地址词典或规则库的地址分词模型,提出不依赖地址词典、基于海量地址数据挖掘的分词方法。该方法结合统计规律计算地址要素在地址数据集中的分布特征,挖掘地址数据中分词的后缀点和落差点,根据后缀点和落差点的相对位置关系构建统计决策树提取地址要素;并采用深圳市建筑物地址普查数据进行验证,形成对当前地址地名词典的有益补充。

关键词：中文地址分词决策树地址要素地址集

一种使用RoBERTa-BiLSTM-CRF的中文地址解析方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

武汉大学学报（信息科学版） 2022年第5期47卷 665-672页

作者：张红伟杜清运陈张建张琛武汉大学电子信息学院湖北武汉430072 武汉大学资源与环境科学学院湖北武汉430079 浙江省测绘科学技术研究院浙江杭州311100

针对当前地址匹配方法严重依赖分词词典、无法有效识别地址中的地址元素及其所属类型的问题,提出了使用深度学习的中文地址解析方法,该方法能够对解析后的地址进行标准化和构成分析以改善地址匹配结果。通过对地址的不同词向量表示及不... 详细信息

针对当前地址匹配方法严重依赖分词词典、无法有效识别地址中的地址元素及其所属类型的问题,提出了使用深度学习的中文地址解析方法,该方法能够对解析后的地址进行标准化和构成分析以改善地址匹配结果。通过对地址的不同词向量表示及不同序列标注模型的对比评估,结果表明,使用双向门递归单元和双向长短时记忆网络对中文地址解析差别较小,稀疏注意力机制有助于提高地址解析的F1值。所提出的方法在泛化能力测试集上的F1值达到了0.940,在普通测试集上的F1值达到了0.968。

关键词：地址解析中文地址分词注意力机制长短时记忆网络 RoBERTa BiLSTM CRF