检索结果-南通市图书馆

ZenLDA: Large-Scale Topic Model Training on Distributed Data-Parallel Platform

在线全文

学校读者我要写书评

暂无评论

引用

Big Data Mining and Analytics 2018年第1期1卷 57-74页

作者： Bo Zhao Hucheng Zhou Guoqiang Li Yihua Huang the National Key Laboratory for Novel Software Technology Nanjing University Collaborative Innovation Center of Novel Software Technology and Industrialization Microsoft Research Huawei Technologies Co. Ltd.

Recently, topic models such as Latent Dirichlet Allocation(LDA) have been widely used in large-scale web mining. Many large-scale LDA training systems have been developed, which usually prefer a customized design from top to bottom with sophisticated synchronization support. We propose an LDA training system named ZenLDA, which follows a generalized design for the distributed data-parallel platform. The novelty of ZenLDA consists of three main aspects:(1) it converts the commonly used serial collapsed Gibbs Sampling(CGS) inference algorithm to a Monte-Carlo collapsed Bayesian(MCCB) estimation method, which is embarrassingly parallel;(2)it decomposes the LDA inference formula into parts that can be sampled more efficiently to reduce computation complexity;(3) it proposes a distributed LDA training framework, which represents the corpus as a directed graph with the parameters annotated as corresponding vertices and implements ZenLDA and other well-known inference methods based on Spark. Experimental results indicate that MCCB converges with accuracy similar to that of CGS, while running much faster. On top of MCCB, the ZenLDA formula decomposition achieved the fastest speed among other well-known inference methods. ZenLDA also showed good scalability when dealing with large-scale topic models on the data-parallel platform. Overall, ZenLDA could achieve comparable and even better computing performance with state-of-the-art dedicated systems.

关键词： latent Dirichlet allocation collapsed Gibbs sampling Monte-Carlo graph computing large-scale machine learning

基于隐含狄利克雷分布的多语种文本的自动检测研究

在线全文

学校读者我要写书评

暂无评论

引用

中国海洋大学学报（自然科学版） 2017年第12期47卷 130-136页

作者：张巍李雯陈丹李增杰中国海洋大学信息科学与工程学院山东青岛266100

本文提出无监督的基于隐含狄利克雷分布(LDA)的潜在语义模型来处理多语种混合文本的语种鉴别问题。区别于一般的依据困惑度对模型进行筛选的方法,本文介绍一种基于最小描述长度(MDL)的新方法,用collapsed Gibbs Sampling(CGS)学习算法... 详细信息

本文提出无监督的基于隐含狄利克雷分布(LDA)的潜在语义模型来处理多语种混合文本的语种鉴别问题。区别于一般的依据困惑度对模型进行筛选的方法,本文介绍一种基于最小描述长度(MDL)的新方法,用collapsed Gibbs Sampling(CGS)学习算法来训练得到相应的LDA模型。本文采用mitlm工具包生成N-gram计数文件并构建了用于多语种识别的字符级语言模型。之后本文使用了3种不同的语种鉴别系统与LDA模型做对比实验。实验选取ECI/MCI标准数据库中9种欧洲系语言进行鉴别实验,在没有任何标注的情况下,实现了较好的准确率和召回率结果。

关键词：多语种识别无监督潜在狄利克莱分配最小描述长度 collapsed Gibbs抽样

基于Dirichlet多项式混合模型的复杂人体行为识别

在线全文

学校读者我要写书评

暂无评论

引用

计算机应用与软件 2021年第2期38卷 205-212页

作者：苏春芳傅立成李梃颖简易纬江阴职业技术学院江苏江阴214405 台湾大学中国台湾台北10617

在健康智能照顾护理领域,日常行为识别的准确率至关重要,但是由于日常行为本身的动态可变性以及个体之间的差异性的特点,造成基于可穿戴设备的日常行为识别模型的泛化性差、识别率低,无法对复杂日常行为进行识别的问题。提出一种优化的... 详细信息

在健康智能照顾护理领域,日常行为识别的准确率至关重要,但是由于日常行为本身的动态可变性以及个体之间的差异性的特点,造成基于可穿戴设备的日常行为识别模型的泛化性差、识别率低,无法对复杂日常行为进行识别的问题。提出一种优化的特征提取方法,将手腕动作聚合为若干个高层语义主题,进而将日常行为表征为一个有序的高层语义主题序列,有效地提升分类的效果。实验结果表明,高层主题语义特征能更准确地表征复杂日常行为的特征,提高了行为识别的准确性。

关键词：行为识别 Dirichlet多项式混合模型主题模型 collapsed 吉布斯采样高层语义特征