检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

概率主题模型在文本分类中的应用研究

概率主题模型在文本分类中的应用研究

作者：林洋港中国科学技术大学

学位级别：硕士

数据偏斜和噪声数据是文本自动分类应用中经常遇到的问题。在数据偏斜的情况下,样本无法准确反映整个空间的数据分布,分类器容易受到大类的影响而忽略小类。大多数分类算法都是面向均匀分布数据提出的,对于数据偏斜的情况,仅利用传统的... 详细信息

数据偏斜和噪声数据是文本自动分类应用中经常遇到的问题。在数据偏斜的情况下,样本无法准确反映整个空间的数据分布,分类器容易受到大类的影响而忽略小类。大多数分类算法都是面向均匀分布数据提出的,对于数据偏斜的情况,仅利用传统的分类方法并不能取得理想的效果。另一方面,分类器的质量很大程度上取决于训练文本集的质量。一般说来,训练文本集类别越准确、内容越全面,得到的分类器质量就越高。但是在实际应用中,这种全面准确的训练文本集是很难得到的,尤其是在数据规模很大的情况下,更是如此。在真实的文本分类应用中,训练数据一般都不可避免的含有噪声,这些噪声样本将对最终的分类结果产生重要影响。我们结合LDA(Latent Dirichlet Allocation)概率主题模型,针对上述两种情况,提出了基于概率主题模型的数据偏斜分类方法和噪声处理方法。利用LDA概率主题模型潜在的全局语义信息,人工生成新的训练文本,能够取得比传统方法更好的效果。本文的主要工作和特色如下:首先,提出了一种基于LDA概率主题模型的文本生成方法。首先采用Gibbs抽样算法从训练文本集中抽取LDA模型,然后利用LDA模型的生成过程思想构造属于训练文本集的新文本。实验表明,生成的新文本与原来的训练文本集有较高的相似性,同时也不存在过度拟合现象。其次,针对文本分类中的数据偏斜现象,结合LDA概率主题模型,提出了一种新的数据偏斜文本分类方法DECOM。该方法不但解决了传统过采样方法不可避免的过度拟合问题,还在一定程度上扩大了稀有类别在文本空间上的范围。在多个数据集上面的实验结果表明,DECOM方法比其他数据偏斜处理方法更适用于文本分类问题。最后,提出了一种利用LDA概率主题模型处理噪声的文本分类方法。根据类别熵对噪声样本进行过滤,然后利用主题模型的生成过程进行数据平滑,进一步减弱噪声样本的影响,同时保持了训练集的原有规模。在真实数据上的实验表明,该方法对噪声样本的分布具有较好的鲁棒性,在噪声比例较大的情况下仍然能够提供较好的分类结果。通过详细的理论分析和实验验证表明,概率主题模型的引入能够很好的提取并利用文档集合中包含的语义信息,使得文本分类方法在复杂应用中获得更好的效果。

关键词：文本分类概率主题模型数据偏斜类别不平衡噪声类别熵

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于概率主题模型的文献知识挖掘

情报学报 2011年第6期30卷 583-590页

作者：王萍上海大学计算中心上海200444

对海量的科技文献资源进行知识挖掘能够发现大量有价值的、潜在的知识,有效地提高文献信息的可用性。作者前期研究验证了使用LDA主题模型进行文献知识挖掘的可行性。本文提出了一种新的概率主题模型：Topic-Author模型,该模型对文献的... 详细信息

对海量的科技文献资源进行知识挖掘能够发现大量有价值的、潜在的知识,有效地提高文献信息的可用性。作者前期研究验证了使用LDA主题模型进行文献知识挖掘的可行性。本文提出了一种新的概率主题模型：Topic-Author模型,该模型对文献的文本信息和作者信息进行联合建模,在分析文献主题同时,发现相关主题方向的研究者分布。基于Topic-Author模型,提出了多维度文献知识挖掘的方法,包括主题挖掘,专家发现,文献标注,重要文献挖掘,文献相似度分析,研究趋势分析和主题关系挖掘。基于教育技术学文献数据集,进行了实验研究。

关键词：概率主题模型 Topic-Author模型文献文献知识挖掘

基于概率主题模型的京津冀协同发展研究主题演化分析

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

科学技术与工程 2019年第36期19卷 225-234页

作者：赵杰李海峰李纯果河北大学电子信息工程学院保定071002 河北大学计算机教学部保定071002 河北大学数学与信息科学学院保定071002

京津冀协同发展是当前各学科领域共同关注的热点话题。为深入了解京津冀协同发展话题的研究趋势,以2009~2019年中国知网收录的14235篇与京津冀协同发展相关的期刊论文为研究对象,采用概率主题模型方法,提出以困惑度、主题平均相似度为... 详细信息

京津冀协同发展是当前各学科领域共同关注的热点话题。为深入了解京津冀协同发展话题的研究趋势,以2009~2019年中国知网收录的14235篇与京津冀协同发展相关的期刊论文为研究对象,采用概率主题模型方法,提出以困惑度、主题平均相似度为指标确定最优主题数,结合文献发表时间挖掘期刊论文潜在主题,从主题强度和主题相似度等多个角度分析主题演化趋势。通过数据分析,挖掘10个潜在主题,生成主题强度年度变化趋势,构建主题内容演化路径,分析主题演化规律。以期为深刻认识京津冀协同发展和科学决策提供理论依据。

关键词：京津冀协同发展概率主题模型主题提取主题演化

在线全文

学校读者我要写书评

暂无评论

基于PAM概率主题模型的赌博网站检测方法

计算机应用与软件 2021年第9期38卷 167-172页

作者：李国静尹天阳张兴睿北京锐驰信安技术有限公司北京100192

鉴于传统方法在赌博网站检测上时效性低、准确度低,提出基于PAM概率主题模型的赌博网站检测方法。抽取网站及其关联网页的文本内容,并参考网站的结构化信息给不同的文本内容赋予不同的权重;利用PAM模型对网页文本信息进行主题挖掘,分析... 详细信息

鉴于传统方法在赌博网站检测上时效性低、准确度低,提出基于PAM概率主题模型的赌博网站检测方法。抽取网站及其关联网页的文本内容,并参考网站的结构化信息给不同的文本内容赋予不同的权重;利用PAM模型对网页文本信息进行主题挖掘,分析其是否大概率倾向于“赌博”主题;综合计算所抽取的各个网页的主题信息,判断该网站是否属于赌博网站,从而实现对赌博网站的有效检测。通过实验分析,该方法在赌博网站检测上的准确度达到72.3%。

关键词：概率主题模型 PAM 赌博网络检测网络安全

在线全文

学校读者我要写书评

暂无评论

文本分类中基于概率主题模型的噪声处理方法

计算机工程与科学 2010年第7期32卷 89-92,119页

作者：林洋港陈恩红中国科学技术大学计算机科学与技术学院安徽合肥230027

训练集中文本质量的好坏直接决定着文本分类的结果。实际应用中训练集的构建不可避免地会产生噪声样本,从而影响文本分类方法的实际应用效果。为此,针对文本分类中的噪声问题,本文提出一种基于概率主题模型的噪声处理方法,首先对训练集... 详细信息

训练集中文本质量的好坏直接决定着文本分类的结果。实际应用中训练集的构建不可避免地会产生噪声样本,从而影响文本分类方法的实际应用效果。为此,针对文本分类中的噪声问题,本文提出一种基于概率主题模型的噪声处理方法,首先对训练集中的每个样本计算其类别熵,根据类别熵对噪声样本进行过滤;然后利用主题模型进行数据平滑,进一步减弱噪声样本的影响。这种方法不但能够减弱噪声样本对分类结果的影响,同时还保持了训练集的原有规模。在真实数据上的实验表明,该方法对噪声样本的分布具有较好的鲁棒性,在噪声比例较大的情况下仍能保持较好的分类结果。

关键词：噪声数据文本分类概率主题模型类别熵

在线全文

学校读者我要写书评

暂无评论

基于概率主题模型的景点知识挖掘及其可视化

计算机应用 2016年第8期36卷 2103-2108页

作者：徐洁范玉顺白冰清华大学自动化系北京100084

针对旅游文本噪声多、景点多且展示不直观的问题,提出一种基于概率主题模型的景点-主题模型。模型假设同一篇文档涉及多个具有相关关系的景点,引入"全局景点"过滤噪声语义,并利用Gibbs采样算法估计最大似然函数的参数,获取目的地景点的... 详细信息

针对旅游文本噪声多、景点多且展示不直观的问题,提出一种基于概率主题模型的景点-主题模型。模型假设同一篇文档涉及多个具有相关关系的景点,引入"全局景点"过滤噪声语义,并利用Gibbs采样算法估计最大似然函数的参数,获取目的地景点的主题分布。实验通过对景点主题特征进行聚类,评估聚类效果从而间接评价模型训练效果,并定性分析"全局景点"对模型的作用。实验结果表明,该模型对旅游文本的建模效果优于基准算法TF-IDF与隐含狄利克雷分布(LDA),且"全局景点"的引入对建模效果有明显的改善作用。最后通过景点关联图的方式对实验结果进行可视化展示。

关键词：概率主题模型旅游文本噪声 Gibbs采样可视化

在线全文

学校读者我要写书评

暂无评论

概率主题模型在复杂视频监控场景中的应用

电视技术 2018年第2期42卷 94-100,120页

作者：樊亚文周全朱卫平南京邮电大学宽带无线通信与传感网技术教育部重点实验室江苏南京210003 康考迪亚大学电子与计算机工程系

视频监控是计算机视觉研究最热门的应用领域之一,其中复杂监控场景的行为分析是一项基本任务。复杂监控场景是指运动目标多且密度高的公共场所,这些场所包含多种并发的行为,且易发生群体性事件如果不能及时处理,会产生严重的影响。概率... 详细信息

视频监控是计算机视觉研究最热门的应用领域之一,其中复杂监控场景的行为分析是一项基本任务。复杂监控场景是指运动目标多且密度高的公共场所,这些场所包含多种并发的行为,且易发生群体性事件如果不能及时处理,会产生严重的影响。概率主题模型基于词袋表示方法,根据单词的共生来捕捉行为,对复杂监控场景提取的视频特征中不可避免的噪声表现出优越的鲁棒性。因此近年来广泛应用于此类场景的行为分析。本研究对其中最基本的两类主题模型Latent Dirichlet Allocation(LDA)和Hierarchical Dirichlet Processes(HDP)从理论和实验两方面进行分析对比,为以后的研究中模型选取提供依据。

关键词：视频监控行为分析概率主题模型 Latent Dirichlet Allocation(LDA) Hierarchical Dirichlet Processes(HDP)

改进Corr-LDA的图像标注概率主题模型

在线全文

学校读者我要写书评

暂无评论

小型微型计算机系统 2017年第3期38卷 615-619页

作者：曹洁罗菊香李晓旭兰州理工大学计算机与通信学院兰州730050 甘肃省制造业信息化工程研究中心兰州730050

对标有文本词的图像数据进行调研,发现真实图像中被标注的事物往往占整个画面的部分较大,而现有的图像标注工作没有考虑这一信息,本文基于此,在Corr-LDA的基础上提出一种文本主题选择是依照图像主题分布的图像标注概率主题模型.同时,为... 详细信息

对标有文本词的图像数据进行调研,发现真实图像中被标注的事物往往占整个画面的部分较大,而现有的图像标注工作没有考虑这一信息,本文基于此,在Corr-LDA的基础上提出一种文本主题选择是依照图像主题分布的图像标注概率主题模型.同时,为该模型推导了一个基于变分EM的参数估计算法,并给出使用该模型标注图像的方法.在Label Me和UIUC-Sport两个真实数据集上验证了提出模型的标注性能要高于其它相比较模型.

关键词：图像标注概率主题模型变分EM Corr-LDA模型

在线全文

学校读者我要写书评

暂无评论

基于概率主题模型的图像场景分类研究

基于概率主题模型的图像场景分类研究

作者：曾培龙广西师范大学

学位级别：硕士

信息科学和技术的快速发展,互联网、多媒体、移动设备存储和传输的数据迅猛增长使这个高度信息化的时代充满生机与活力。以计算机和互联网为代表的高新技术,不断应用在现实生活的方方面面,产生了巨大的经济效益,提高了社会和人们生活的... 详细信息

信息科学和技术的快速发展,互联网、多媒体、移动设备存储和传输的数据迅猛增长使这个高度信息化的时代充满生机与活力。以计算机和互联网为代表的高新技术,不断应用在现实生活的方方面面,产生了巨大的经济效益,提高了社会和人们生活的质量。在这些数据中,各种设备,尤其是移动设备,产生的图像是非常庞大的一类数据,并且数据量也在与日俱增,而基于图像的各种应用也成为了研究的热点,本文要研究的图像场景分类便是图像处理领域里一类非常有价值的课题。图像数据复杂多样,数量巨大,因此对研究也造成了很大困难。从图像分类提出至今,研究者已经提出了很多分类算法。而以潜在语义分析(Latent Semantic Analysis, LSA)、概率潜在语义分析(Probabilistic Latent Semantic Analysis, PLSA)和隐狄利克雷分布(Latent Dirichlet Allocation, LDA)为代表的主题分类模型是近年来研究的最多的,PLSA和LDA概率主题模型是本文研究的重点。本文首先介绍了图像场景分类的发展背景、研究现状及相关应用。接着介绍了本文用到的模型和技术,包括PLSA和LDA概率主题模型的工作原理,K近邻(K-Nearest Neighbor, KNN)和支持向量机(Support Vector Machine, SVM)分类器的工作原理,然后根据已有的模型和算法提出了改进模型,进行了场景分类实验并对结果进行了分析和对比。主要研究内容如下：一方面,本文提出了一种主题生成模型和判别模型混合的框架,将无监督的主题生成模型与有监督的分类器结合起来进行图像场景分类。在底层特征提取时,将颜色、空间和形状特征结合,量化形成视觉词和视觉词典。提取空间特征时使用了改进的链码法表示全局空间特征,而对于颜色特征,分别在RGB、HSV和Lab颜色空间分块提取局部颜色特征。PLSA模型作为中间表示层,被用来降低特征向量的维度,并得到训练图像或测试图像的视觉主题分布。在进行分类判别时,采用了一种混合分类器KNN-SVM,对通过PLSA模型处理后的潜在主题的概率分布进行分类判别。另一方面,本文改进了LDA模型并应用于图像场景分类中。特征提取时加入了SIFT特征,分块提取局部特征再计算全局视觉词,并与颜色、空间形状等特征融合;分类判别时应用自己提出的混合分类器KNN-SVM。进行分类实验时,取图像数据集中的一部分作为训练图像集,训练PLSA和LDA模型的最优参数,提取视觉词并得到潜在主题的概率分布;而图像集中剩下的部分则用来测试和检验提出的模型的分类效果。最后对实验结果进行了分析,比较了不同特征,不同分类器,不同主题模型条件下的平均分类准确率,比较了它们对分类效果的影响。实验结果表明本文的模型提高了分类平均准确率,并且这种实验对比有利于以后对场景分类进行更深入的研究。

关键词：概率主题模型场景分类空间特征链码 KNN-SVM分类器