检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于改进文本表示的商品文本分类算法研究

数据分析与知识发现 2022年第5期6卷 34-43页

作者：屠振超马静南京航空航天大学经济与管理学院南京211106

【目的】解决传统文本分类中分类器容易将属于不同标签但拥有许多相似修饰词的商品标题文本错误分类的问题,提高分类器的表现。【方法】本文设计了文本判别器作为辅助任务,其损失函数为不同标签文本向量的归一化欧氏距离,并结合传统文... 详细信息

【目的】解决传统文本分类中分类器容易将属于不同标签但拥有许多相似修饰词的商品标题文本错误分类的问题,提高分类器的表现。【方法】本文设计了文本判别器作为辅助任务,其损失函数为不同标签文本向量的归一化欧氏距离,并结合传统文本分类主任务的交叉熵损失函数,推动文本编码器为不同类别的商品文本生成有足够区分度的文本表示,构建了ITR-BiLSTM-Attention模型。【结果】对比没有使用文本判别器的BiLSTM-Attention基础模型,ITR-BiLSTM-Attention模型在准确率、精确率、召回率和F1值4个指标上分别提高1.84百分点、2.31百分点、2.88百分点、2.82百分点;对比文本判别器使用余弦相似度损失函数的CosBiLSTM-Attention模型,ITR-BiLSTM-Attention模型在4个指标上分别提高0.53百分点、0.54百分点、1.21百分点、1.01百分点。【局限】未测试不同采样方式对模型的影响,未在更广泛的数据集上进行实验。【结论】本文设计的文本判别器辅助任务确实能够改进文本编码器生成的文本表示;构建的基于改进文本表示的商品文本分类模型相比于传统的商品文本分类算法具有更好的表现。

关键词：文本分类文本表示多任务学习度量学习商品分类

在线全文

学校读者我要写书评

暂无评论

基于神经网络的文本表示模型新方法

通信学报 2017年第4期38卷 86-98页

作者：曾谁飞张笑燕杜晓峰陆天波北京邮电大学软件学院北京100876 北京邮电大学计算机学院北京100876

提出了一种改进的文本表示模型提取文本特征词向量方法。首先构建基于词典索引和所对应的词性索引的double word-embedding列表的word-embedding词向量,其次,利用在此基础上Bi-LSTM循环神经网络对生成后的词向量进一步进行特征提取,最后... 详细信息

提出了一种改进的文本表示模型提取文本特征词向量方法。首先构建基于词典索引和所对应的词性索引的double word-embedding列表的word-embedding词向量,其次,利用在此基础上Bi-LSTM循环神经网络对生成后的词向量进一步进行特征提取,最后,通过mean-pooling层处理句子向量后且使用了softmax层进行文本分类。实验验证了Bi-LSTM和double word-embedding神经网络相结合的模型训练效果与提取情况。实验结果表明,该模型不但能较好地处理高质量的文本特征向量提取和表达序列,而且比LSTM、LSTM+context window和Bi-LSTM这3种神经网络有较明显的表达效果。

关键词：神经网络词向量 Bi-LSTM 文本表示

在线全文

学校读者我要写书评

暂无评论

基于向量空间模型的网页文本表示改进算法

计算机工程 2006年第3期32卷 134-135,139页

作者：曾致远张莉华中科技大学水电与数字化工程学院武汉430074

介绍了一种新的文本表示算法,应用在网页文本过滤系统中。比起传统的向量空间模型,这种建立在其上的改进算法有更快的过滤速度和更高的过滤精度。该算法直接从过滤模板的特征集中取出词条,只在网页文本出现该词的地方进行精确处理。根... 详细信息

介绍了一种新的文本表示算法,应用在网页文本过滤系统中。比起传统的向量空间模型,这种建立在其上的改进算法有更快的过滤速度和更高的过滤精度。该算法直接从过滤模板的特征集中取出词条,只在网页文本出现该词的地方进行精确处理。根据特征项所在的网页标签,赋予不同的权值系数,以准确定义特征词在文中的重要程度,最后建立该网页的文本表示模型。

关键词：网页文本表示向量空间模型特征项权值

在线全文

学校读者我要写书评

暂无评论

自然语言处理中的文本表示研究

软件学报 2022年第1期33卷 102-128页

作者：赵京胜宋梦雪高祥朱巧明青岛理工大学信息与控制工程学院山东青岛266520 苏州大学计算机科学与技术学院江苏苏州215021

自然语言处理是人工智能的核心技术,文本表示是自然语言处理的基础性和必要性工作,影响甚至决定着自然语言处理系统的质量和性能.探讨了文本表示的基本原理、自然语言的形式化、语言模型以及文本表示的内涵和外延.宏观上分析了文本表示... 详细信息

自然语言处理是人工智能的核心技术,文本表示是自然语言处理的基础性和必要性工作,影响甚至决定着自然语言处理系统的质量和性能.探讨了文本表示的基本原理、自然语言的形式化、语言模型以及文本表示的内涵和外延.宏观上分析了文本表示的技术分类,对主流技术和方法,包括基于向量空间、基于主题模型、基于图、基于神经网络、基于表示学习的文本表示,进行了分析、归纳和总结,对基于事件、基于语义和基于知识的文本表示也进行了介绍.对文本表示技术的发展趋势和方向进行了预测和进一步讨论.以神经网络为基础的深度学习以及表示学习在文本表示中将发挥重要作用,预训练加调优的策略将逐渐成为主流,文本表示需要具体问题具体分析,技术和应用融合是推动力.

关键词：自然语言处理文本表示向量空间模型主题模型图模型深度学习表示学习

在线全文

学校读者我要写书评

暂无评论

自动文本分类中两种文本表示方式的比较

计算机工程 2004年第18期30卷 124-126页

作者：宋枫溪郑如冰王积忠炮兵学院一系南京理工大学计算机系南京210094

以路透社财经新闻语料库为实验数据集,比较了主流文本表示方式BOW和独立于语言的字符串表示方式n-Gram,在k近邻和支持向量机分类器下的分类效果,得出了上述两种不同文本表示方式的分类结果之间不存在显著差异的结论。

关键词：文本分类文本表示支持向量机 k近邻秩和检验

在线全文

学校读者我要写书评

暂无评论

图书与情报 2015年第3期 17-25页

作者：邵健章成志南京理工大学信息管理系江苏南京210094 江苏省数据工程与知识服务重点实验室(南京大学) 江苏南京210023

在总结国内外Hashtag推荐方法和短文本表示方法的基础上,文章利用基于K最近邻(KNN)的Hashtag推荐方法,将微博文本表示为向量然后计算相似度,从语料中选出与目标微博最相似的微博文本,然后抽取候选Hashtag。文章比较了向量空间模型(VSM)... 详细信息

在总结国内外Hashtag推荐方法和短文本表示方法的基础上,文章利用基于K最近邻(KNN)的Hashtag推荐方法,将微博文本表示为向量然后计算相似度,从语料中选出与目标微博最相似的微博文本,然后抽取候选Hashtag。文章比较了向量空间模型(VSM)、潜在语义分析模型(LSA)、隐含狄利克雷分布模型(LDA)、深度学习(DL)等四种文本表示方法对基于KNN的Hashtag推荐效果的影响。以Twitter上H7N9微博为测试数据,实验结果表明深度学习的文本表示方法在基于KNN的Hashtag推荐中取得最好的效果。

关键词： Hashtag推荐 K最近邻文本表示深度学习

在线全文

学校读者我要写书评

暂无评论

基于图结构的中文文本表示方法研究

情报学报 2010年第4期29卷 618-624页

作者：吴江宁刘巧凤大连理工大学系统工程研究所大连116024

为解决基于统计的文本表示模型的信息缺失问题,本文提出了一种考虑词间语义和语序信息的基于图结构的中文文本表示方法,其思想是将文本的特征项表示成图结构中的节点,特征项间的关系表示成节点间的有向边,据此可将文本表示成由节点和有... 详细信息

为解决基于统计的文本表示模型的信息缺失问题,本文提出了一种考虑词间语义和语序信息的基于图结构的中文文本表示方法,其思想是将文本的特征项表示成图结构中的节点,特征项间的关系表示成节点间的有向边,据此可将文本表示成由节点和有向边组成的图结构,并且将边赋予权重信息,该模型较大程度地保留了原文本的结构信息及语义信息。中文语料测试结果表明,基于图结构的文本表示方法对复杂文本语料的分类问题十分有效。对于简短文本语料,本文提出扩展特征项共现单元的修正方法,提高了图结构中文文本表示方法的普遍适用性。

关键词：图结构模型文本表示文本相似度最大公共子图

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于社交特征的多维度文本表示方法

计算机工程与科学 2016年第11期38卷 2348-2355页

作者：陈功黄瑞章钟文良贵州大学计算机科学与技术学院贵州贵阳550025 贵州省公共大数据重点实验室贵州贵阳550025

Web文本表示方法作为所有Web文本分析的基础工作,对文本分析的结果有深远的影响。提出了一种多维度的Web文本表示方法。传统的文本表示方法一般都是从文本内容中提取特征,而文档的深层次特征和外部特征也可以用来表示文本。本文主要研... 详细信息

Web文本表示方法作为所有Web文本分析的基础工作,对文本分析的结果有深远的影响。提出了一种多维度的Web文本表示方法。传统的文本表示方法一般都是从文本内容中提取特征,而文档的深层次特征和外部特征也可以用来表示文本。本文主要研究文本的表层特征、隐含特征和社交特征,其中表层特征和隐含特征可以由文本内容中提取和学习得到,而文本的社交特征可以通过分析文档与用户的交互行为得到。所提出的多维度文本表示方法具有易用性,可以应用于各种文本分析模型中。在实验中,改进了两种常用的文本聚类算法——K-means和层次聚类算法,并命名为多维度K-means MDKM和多维度层次聚类算法MDHAC。通过大量的实验表明了本方法的高效性。此外,我们在各种特征的结合实验结果中还有一些深层次的发现。

关键词：文本表示文本聚类社交特征

在线全文

学校读者我要写书评

暂无评论

文本聚类中文本表示和相似度计算研究综述

情报科学 2012年第4期30卷 622-627页

作者：吴夙慧成颖郑彦宁潘云涛南京大学信息管理系江苏南京210093 中国科学技术信息研究所北京100038

围绕文本聚类中的文本表示和相似度计算两个基本的问题,对目前学界提出的文本表示方法和相似度计算方法进行了分类和较为全面的综述,将文本表示模型分为向量空间模型、语言模型、后缀树模型、本体等,相似度计算方法分为基于向量空间模... 详细信息

围绕文本聚类中的文本表示和相似度计算两个基本的问题,对目前学界提出的文本表示方法和相似度计算方法进行了分类和较为全面的综述,将文本表示模型分为向量空间模型、语言模型、后缀树模型、本体等,相似度计算方法分为基于向量空间模型的相似度计算,基于短语的相似度计算方法和基于本体的相似度计算方法。

关键词：文本聚类文本表示相似度计算