检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于页面实体空间关系的web对象抽取

北京理工大学学报 2010年第2期30卷 188-192页

作者：郝敬敏廖乐健何迪北京理工大学计算机学院智能信息技术北京市重点实验室北京100081

针对web同一对象内部信息组件之间的空间距离小于不同对象之间信息组件之间的距离这一显示特征.提出一种新的web对象抽取方法.通过分析给定页面中不同实体间的空间位置关系来判断哪些信息成分属于同一对象,与web文档的表示无关.通过web... 详细信息

针对web同一对象内部信息组件之间的空间距离小于不同对象之间信息组件之间的距离这一显示特征.提出一种新的web对象抽取方法.通过分析给定页面中不同实体间的空间位置关系来判断哪些信息成分属于同一对象,与web文档的表示无关.通过web页的文档对象模型(DOM)获得不同信息成分之间的位置关系,进而判断这些信息组件是否属于同一对象.实验结果表明,该方法对于多个领域中不同结构的web文档具有很好的适应性.对于设计结构规则,含有多个数据对象的页面,抽取结果的准确率可以达到100%.

关键词：信息检索 web对象对象抽取空间关系

稀疏混合图随机跳跃web对象多标签半监督分类

在线全文

学校读者我要写书评

暂无评论

计算机科学与探索 2017年第7期11卷 1166-1174页

作者：汪忠国吴敏谭芳芳安徽信息工程学院安徽芜湖241000 中国科学技术大学软件学院合肥230051 安徽信息工程学院基础教学部安徽芜湖241000

针对web对象的多标签分类的自动标注过程中,存在的标记数据耗时和不足导致分类性能不高的问题,提出了基于稀疏混合图随机跳跃变迁策略的web对象多标签分类算法。首先,在构建web对象亲和子图和标签相关子图基础上,通过权重自适应方式构建... 详细信息

针对web对象的多标签分类的自动标注过程中,存在的标记数据耗时和不足导致分类性能不高的问题,提出了基于稀疏混合图随机跳跃变迁策略的web对象多标签分类算法。首先,在构建web对象亲和子图和标签相关子图基础上,通过权重自适应方式构建web对象标签分类的混合图,实现半监督形式的自动标注,解决人工标注存在的耗时问题;其次,针对混合图求解问题,利用随机跳跃变迁策略实现混合图对象与预测标签间的概率分配,实现未标记的web对象所属类别标签的概率估计,并获得其top-k最高相关性分数;最后,在UCI web测试集和真实大数据上进行测试,结果显示所提算法的Rand指标要优于对比算法,验证了算法的有效性。

关键词：大数据随机跳跃 web对象标签分类自动标注

基于增强约束条件随机场的web对象信息抽取

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2015年第23期51卷 143-148页

作者：黄彦姣吴秦梁久祯江南大学物联网工程学院江苏无锡214122

线性链条件随机场模型难以处理web对象与各个标注属性之间的特征关系,为解决此问题,提出一种增强约束条件随机场模型。通过将约束条件引入推理过程,改进线性链条件随机场模型的Viterbi算法;运用最大间隔理论的思想训练条件随机场模型,... 详细信息

线性链条件随机场模型难以处理web对象与各个标注属性之间的特征关系,为解决此问题,提出一种增强约束条件随机场模型。通过将约束条件引入推理过程,改进线性链条件随机场模型的Viterbi算法;运用最大间隔理论的思想训练条件随机场模型,提高模型标注的正确率;将该模型与条件随机场模型及层次条件随机场模型进行对比。实验结果表明该模型能在提高标注正确率的基础上有效地解决web对象信息抽取问题。

关键词：增强约束条件随机场条件随机场属性标注 web对象信息抽取

在线全文

学校读者我要写书评

暂无评论

基于约束条件随机场的web对象属性标注

计算机科学与探索 2014年第9期8卷 1129-1136页

作者：吴秦黄彦姣江南大学物联网工程学院江苏无锡214122

条件随机场模型是目前处理web对象属性标注问题的最佳统计模型。为解决条件随机场模型不能充分利用web对象和属性标签之间的特征关系这一问题,提出了一种增强约束条件随机场模型。借鉴最大间隔的思想,在原有条件随机场模型中增加约束条... 详细信息

条件随机场模型是目前处理web对象属性标注问题的最佳统计模型。为解决条件随机场模型不能充分利用web对象和属性标签之间的特征关系这一问题,提出了一种增强约束条件随机场模型。借鉴最大间隔的思想,在原有条件随机场模型中增加约束条件和增强因子以提高模型标注正确率。使用最大似然参数估计方法估计模型特征函数的权重参数,并用Viterbi算法进行预测。在数据集中引入验证集的概念,以获得最优增强因子。实验结果表明,该模型有效地提高了web对象属性标注正确率。

关键词：约束条件随机场增强因子属性标注 web对象最大间隔

基于web对象的分布式抓取及存储的设计与研究

在线全文

学校读者我要写书评

暂无评论

基于Web对象的分布式抓取及存储的设计与研究

作者：罗理昆明理工大学

学位级别：硕士

本文主要研究的内容分为网页消重技术研究、web对象分布式抓取技术、web对象分布式存储技术。全文将重点对这几个部分进行了详细的论述。在网页消重技术方面,分别针对基于网页URL消重和网页内容消重进行了研究。在基于网页URL消重方面... 详细信息

本文主要研究的内容分为网页消重技术研究、web对象分布式抓取技术、web对象分布式存储技术。全文将重点对这几个部分进行了详细的论述。在网页消重技术方面,分别针对基于网页URL消重和网页内容消重进行了研究。在基于网页URL消重方面引入了Bloom Filter技术,通过采用Bloom Filter技术可以将庞大数量的URL全部映射到较小的内存中,从而实现快速URL匹配消重处理。针对网页消重的特点,本文还给出了基于Bloom Filter的改进方法,其改进思路是,将原算法中对URL映射空间位的更新操作改为记录该位在映射空间中的索引下标,并将该位的更新操作放到最后统一处理。采用这种内存映射位推迟更新的方法,使得可以将数量庞大的URL平均分配到多台消重服务器上创建相应的内存映射位域,这将大大减轻消重服务器的内存负担并极大地提高消重效率。在基于网页内容消重方面,本文根据新闻网页的固有特点,提出了采用新闻标题与新闻内容结构相结合来作为新闻网页的消重特征值。将新闻标题作为网页消重重要特征,对其进行MD5散列,得到的散列值进行匹配,在匹配成功的情况下,再对新闻内容结构进行相似度计算,利用其相似度来判断两篇新闻网页是否重复;如果在新闻标题匹配失败的情况下,那么就直接认为两篇新闻网页是不重复的。在web对象分布式抓取方面,本文设计了一套基于任务分配队列的分布式网络爬虫系统,并设计了分布式网页抓取任务的分配算法。整个爬虫系统是由爬虫控制服务器和爬虫服务器组成的,爬虫控制服务器通过任务队列组管理和监控着各个爬虫服务器的工作状态,通过对各个爬虫服务器负载情况的分析,调整各服务器之间的任务分配,从而达到负载均衡。同时由控制服务器向爬虫提供获得抓取任务的服务。爬虫从控制服务器的任务队列组中获得URL抓取任务,并开始从互联网上抓取网页,从爬取下来的网页中抽取出新的URL,进行消重处理后入库。在web对象分布式存储方面,本文设计了一套基于共享存储分配表的分布式网络存储系统。整个系统主要是由存储控制服务器和存储服务器组成,存储控制服务器向爬虫服务器提供共享存储分配表,爬虫只需要按照获取的存储分配表对web对象进行存储即可,而在爬虫与存储服务器进行存储的过程中是不需要控制服务器参与的。存储控制服务器通过心跳机制管理和监控着各个存储服务器的工作状态。在存储服务器端以存储组为单位进行存储,而存储组是由主从服务器组成,其中从服务器同步备份主服务器上的数据,实现了存储服务的高可靠性。

关键词：分布式系统网页消重网页爬虫网页存储 web对象

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于层次关联边条件随机场的web对象抽取

计算机工程 2012年第20期38卷 45-48页

作者：胡丽娟梁久祯江南大学物联网工程学院江苏无锡214122

提出一种基于层次关联边条件随机场(HCC-CRFs)模型的web对象抽取方法。将数据块检测和属性标注合并为标签分配问题,避免误差传播现象。通过在数据块之间增加条件依赖关系,使HCC-CRFs模型能充分利用web页面的内容层次结构。实验结果表明... 详细信息

提出一种基于层次关联边条件随机场(HCC-CRFs)模型的web对象抽取方法。将数据块检测和属性标注合并为标签分配问题,避免误差传播现象。通过在数据块之间增加条件依赖关系,使HCC-CRFs模型能充分利用web页面的内容层次结构。实验结果表明,该方法具有较好的抽取效果。

关键词： web对象信息抽取数据块检测属性标注条件随机场层次关联边

在线全文

学校读者我要写书评

暂无评论

Intranet中web对象的属性挖掘

Intranet中Web对象的属性挖掘

第二十五届中国数据库学术会议

作者：姚静郑佳谦徐隽牛军钰复旦大学计算机科学与工程系

随着互联网的迅速发展,网络环境中的数据管理与挖掘成为研究热点.基于关键词的搜索引擎虽然获得巨大成功,仍无法满足人们的搜索需求.目前已有很多研究将网页中的文本信息进行更深一层的抽象,即对象化的抽象,然而由于Internet环境的复杂... 详细信息

随着互联网的迅速发展,网络环境中的数据管理与挖掘成为研究热点.基于关键词的搜索引擎虽然获得巨大成功,仍无法满足人们的搜索需求.目前已有很多研究将网页中的文本信息进行更深一层的抽象,即对象化的抽象,然而由于Internet环境的复杂性,web对象的信息通常难以挖掘整合.基于已有的web框架,着眼于结构封闭性好,相关度高的intranet语料环境,将传统的面向对象的分析方式应用到Wcb对象建模的过程中,提出了一种web对象的建模方法.在此基础上,给出了半监督的web对象的属性挖掘方法.最后通过TREC会议的企业语料验证了该方法的有效性.

关键词： web对象属性挖掘 intranet

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

基于概率模型的web信息抽取

模式识别与人工智能 2010年第6期23卷 847-855页

作者：王静刘志镜西安电子科技大学计算机学院西安710071

针对web网页的二维结构和内容的特点,提出一种树型结构分层条件随机场(TH-CRFs)来进行web对象的抽取.首先,从网页结构和内容两个方面使用改进多特征向量空间模型来表示网页的特征;第二,引入布尔模型和多规则属性来更好地表示web对象结... 详细信息

针对web网页的二维结构和内容的特点,提出一种树型结构分层条件随机场(TH-CRFs)来进行web对象的抽取.首先,从网页结构和内容两个方面使用改进多特征向量空间模型来表示网页的特征;第二,引入布尔模型和多规则属性来更好地表示web对象结构与语义的特征;第三,利用TH-CRFs来进行web对象的信息提取,从而找出相关的招聘信息并优化模型训练的效率.通过实验并与现有的web信息抽取模型对比,结果表明,基于TH-CRFs的web信息抽取的准确率已有效改善,同时抽取的时间复杂度也得到降低.

关键词： web对象条件随机场(CRFs) 信息抽取(IE)

在线全文

学校读者我要写书评

暂无评论

面向应用感知的骨干网缓存方法研究

通信学报 2017年第12期38卷 73-85页

作者：韩春静杨晔吕红蕾葛敬国李佟刘韵洁中国科学院计算技术研究所北京100190 中国科学院大学北京100049 中国科学院信息工程研究所北京100093

基于某运营商骨干网上9亿条HTTP请求,分析了HTTP请求组成、内容长度、流行度和时间动态性,提出一种面向应用感知的骨干网缓存方法(AACM,application-aware backbone network cache method)。实验结果表明在缓存空间略有增加的情况下,在... 详细信息

基于某运营商骨干网上9亿条HTTP请求,分析了HTTP请求组成、内容长度、流行度和时间动态性,提出一种面向应用感知的骨干网缓存方法(AACM,application-aware backbone network cache method)。实验结果表明在缓存空间略有增加的情况下,在线视频的内容命中率提高了15%以上,回源流量和缓存负载这些指标降低了一半左右。

关键词：骨干网 HTTP 应用层缓存 web对象