检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

面向法律案例的爬虫算法设计与实现

山西电子技术 2022年第4期 72-74页

作者：董红松孔跃辉葛军刘继华吕梁学院计算机科学与技术系山西吕梁033000 吕梁学院信息中心山西吕梁033000

随着爬虫技术的蓬勃发展,互联网中诞生出了一系列刑事案件爬虫算法,但是这些算法都有一定的局限性,并且大量爬虫算法的诞生给网站后台服务器带来了极大压力。针对此,设计了一种新的算法,该算法可爬取刑事案情,并能对案情进行简单归类,... 详细信息

随着爬虫技术的蓬勃发展,互联网中诞生出了一系列刑事案件爬虫算法,但是这些算法都有一定的局限性,并且大量爬虫算法的诞生给网站后台服务器带来了极大压力。针对此,设计了一种新的算法,该算法可爬取刑事案情,并能对案情进行简单归类,以及对案情文本进行数据挖掘。本算法通过python语言编程实现,经过实际编码调试,验证表明:该算法具有便捷性,普遍适应性,避免反爬虫措施效果好,能完成数据的统计、分析及储存,且本算法不会对服务器造成压力,避免给网站造成任何经济损失。

关键词：法律案例大数据爬虫算法刑法案例

在线全文

学校读者我要写书评

暂无评论

商品评论聚焦爬虫算法设计与实现

吉林大学学报（工学版） 2012年第S1期42卷 377-381页

作者：方美玉郑小林陈德人华艺施艳浙江外国语学院科学技术学院杭州310012 浙江大学计算机科学与技术学院杭州310027

从商品评论抽取算法出发,使用开放应用编程接口调用和链接跟踪的方法,分别设计了基于通用爬虫原理和开放应用编程接口(OpenAPI)的商品评论聚焦爬虫算法。在此基础上实现了淘宝网和京东网商品评论收集程序。最后将两者与通用爬虫算法进... 详细信息

从商品评论抽取算法出发,使用开放应用编程接口调用和链接跟踪的方法,分别设计了基于通用爬虫原理和开放应用编程接口(OpenAPI)的商品评论聚焦爬虫算法。在此基础上实现了淘宝网和京东网商品评论收集程序。最后将两者与通用爬虫算法进行比较,证实了二者的程序设计具有针对性强、数据采集实时性好、易嵌入开发等优点,为实时评论数据采集技术的研究提供了新思路。

关键词：计算机软件商品评论开放应用编程接口聚焦爬虫爬虫算法

在线全文

学校读者我要写书评

暂无评论

特征地图的室内机器人路径规划融合算法

计算机科学与探索 2023年第11期17卷 2755-2766页

作者：刘朋任工昌陕西科技大学机电工程学院西安710021

为利用特征地图计算效率高的优点,同时解决传统动态窗口法对全局参数敏感的问题,提出一种基于特征地图的路径规划融合算法。通过给出适用于路径规划的特征地图表达方式,改进机器人与障碍物间距离的计算方法,实现了特征地图中障碍物的检... 详细信息

为利用特征地图计算效率高的优点,同时解决传统动态窗口法对全局参数敏感的问题,提出一种基于特征地图的路径规划融合算法。通过给出适用于路径规划的特征地图表达方式,改进机器人与障碍物间距离的计算方法,实现了特征地图中障碍物的检测;结合爬虫(Bug)算法的基本原理和线段特征的属性,使用搜索优化算法,先搜索全局可行路径,再进行节点优化得到全局最优路径的关键节点,并对内外角点处搜索方向选择、障碍物端点绕行等问题提出了解决方法;针对传统动态窗口法对全局参数敏感性高的问题,分析了目标函数中各参数在路径不同位置对规划路径的影响程度,使用动态参数的方法对原目标函数进行改进;算法融合时,改进方向函数的计算方法,解决了机器人在路径中间节点出现明显减速的问题。经仿真实验验证,搜索优化算法有效,改进后的动态窗口算法降低了参数的敏感性,融合算法在计算效率方面有较大的优势,计算耗时最多减小79.27%,最少减小43.16%,而且机器人移动更平滑。

关键词：路径规划特征地图爬虫算法动态窗口法融合算法

在线全文

学校读者我要写书评

暂无评论

基于Python的动态网页评价爬虫算法

软件工程 2016年第2期19卷 43-46页

作者：夏火松李保国武汉纺织大学管理学院湖北武汉430073

在大数据获取中面临着如何采集动态评论网页的问题,这篇论文使用静态网页信息构造动态链接,提出了基于Python的动态网页评论爬虫算法。在此基础上实现了评论收集程序。最后将它与通用爬虫算法进行比较,证实了该算法具有针对性强、数据... 详细信息

在大数据获取中面临着如何采集动态评论网页的问题,这篇论文使用静态网页信息构造动态链接,提出了基于Python的动态网页评论爬虫算法。在此基础上实现了评论收集程序。最后将它与通用爬虫算法进行比较,证实了该算法具有针对性强、数据采集速度快、易嵌入开发、简单等优点,为不善于编程的新闻、文学、管理等学科的研究者提供了快速获取评论信息的方法。

关键词： Python语言静态地址动态链接动态网页评论爬虫算法

基于数据挖掘算法的沈阳疫情微博情感分析及建议

在线全文

学校读者我要写书评

暂无评论

基于数据挖掘算法的沈阳疫情微博情感分析及建议

第十九届沈阳科学学术年会

作者：高昊靖新朱海于昕彤李伟成沈阳建筑大学

本文使用爬虫算法爬取了新浪微博沈阳疫情超话中的评论,利用数据挖掘技术分析了沈阳市民处于疫情下的看法和情绪,为人们社会心理健康建设和社会舆情宏观调控提供了依据。通过爬取特定标签下的微博原创评论,对数据进行清洗和分词等预处理... 详细信息

本文使用爬虫算法爬取了新浪微博沈阳疫情超话中的评论,利用数据挖掘技术分析了沈阳市民处于疫情下的看法和情绪,为人们社会心理健康建设和社会舆情宏观调控提供了依据。通过爬取特定标签下的微博原创评论,对数据进行清洗和分词等预处理,使用K-means聚类算法获得这些微博的主题,对疫情新增、居家隔离、核酸检测等8个属性聚类出的主题进行了情感分析。从数据分析的结果可以看出,绝大多数的市民情感、行为都是积极正向的。但是,在要求居家隔离的时候,市民的负面情感数量略有增多。因此,应当更多地关注居家隔离人群的心理健康,及时给予心理疏导。通过更加全方位的疫情防控体系,在动态清零过程中,防止发生疫情产生的心理危机。

关键词：沈阳疫情微博爬虫算法数据挖掘情感分析

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

个性化智能搜索引擎爬行虫算法

计算机应用 2004年第B12期24卷 179-182页

作者：齐冬梅杜亚军李战胜西华大学计算机与数理学院四川成都610039

就当前搜索引擎存在滞后性、缺乏个性化的问题给出了一种实时的、个性化的搜索引擎的PersonalIntelligentSearchEngine(PISE)爬虫算法。PISE可以实时地返回给用户查询结果,爬行虫根据用户输入的关键字直接到网上搜寻与之相关的信... 详细信息

就当前搜索引擎存在滞后性、缺乏个性化的问题给出了一种实时的、个性化的搜索引擎的PersonalIntelligentSearchEngine(PISE)爬虫算法。PISE可以实时地返回给用户查询结果,爬行虫根据用户输入的关键字直接到网上搜寻与之相关的信息,保证将最新结果返回给用户。爬虫算法通过一定的初始策略,运用使爬虫的搜索精益求精的思想,达到与用户的需求逐步接近的目的,从而实现搜索的智能化。实验证明PISE能够实现这一功能。

关键词：搜索引擎用户个性化表爬虫算法

在线全文

学校读者我要写书评

暂无评论

我国养老政策文本的量化研究

经济研究导刊 2022年第30期 60-64,77页

作者：李旭芳张环宇陈俊伊上海理工大学管理学院博士后流动站上海200093 上海工程技术大学管理学院上海201620

随着人口老龄化问题的日益突出,我国自21世纪伊始就开展了关于积极应对老龄化的理论与政策等相关研究。近年来,我国养老政策发文数量多、规格高、涉及部门多。在中国政府相关网站爬取的总计971个养老政策文件中,筛选出180个养老政策作... 详细信息

随着人口老龄化问题的日益突出,我国自21世纪伊始就开展了关于积极应对老龄化的理论与政策等相关研究。近年来,我国养老政策发文数量多、规格高、涉及部门多。在中国政府相关网站爬取的总计971个养老政策文件中,筛选出180个养老政策作为研究对象,使用统计分析方法和聚类分析等方法,分析养老政策文本的外部特征和内部主题,得出我国国家层面养老政策的基本特征和政策目标,以期为我国养老政策的发展和完善提供参考。

关键词：养老政策统计分析共词分析聚类分析爬虫算法

在线全文

学校读者我要写书评

暂无评论

探究ID3分类算法的深度网络爬虫设计方法

数字技术与应用 2015年第3期33卷 114-114页

作者：王芳芳十堰广播电视大学教育学院理工部湖北十堰442000

随着网络技术不断的发展,互联网作为海量信息的载体已全面渗透到经济社会的各个领域,推动着我国向信息化社会发展。搜索引擎技术正在从以移动互联网为标志的个人需求精准搜索向以物联网为标志的实体搜索发展。本文探讨了一种按照ID3算... 详细信息

随着网络技术不断的发展,互联网作为海量信息的载体已全面渗透到经济社会的各个领域,推动着我国向信息化社会发展。搜索引擎技术正在从以移动互联网为标志的个人需求精准搜索向以物联网为标志的实体搜索发展。本文探讨了一种按照ID3算法分类的深度网络爬虫设计方法,该方法按照ID3算法对页面进行收集、分析、处理和分类,从而提取深度表单数据,能够使搜索引擎减少搜索盲区,有效的改善和优化搜索结果。

关键词： ID3算法深度网络爬虫算法

私有云框架下面向服务任务的本体知识构建方法研究

在线全文

学校读者我要写书评

暂无评论

私有云框架下面向服务任务的本体知识构建方法研究

作者：白皓山东大学

学位级别：硕士

随着机器人技术的快速发展,服务机器人在家庭生活中扮演着越来越重要的角色。而家庭环境下信息繁杂多变,使得服务机器人缺乏一个统一性、规范性和具备学习能力的知识体系。因此,本文研究了私有云框架下面向服务任务的本体知识构建方法... 详细信息

随着机器人技术的快速发展,服务机器人在家庭生活中扮演着越来越重要的角色。而家庭环境下信息繁杂多变,使得服务机器人缺乏一个统一性、规范性和具备学习能力的知识体系。因此,本文研究了私有云框架下面向服务任务的本体知识构建方法。基于本体论诞生的本体库可以将杂乱的知识进行高效的整理与分类,实现知识的规范化运用。利用目标检测与自然语言处理技术提出的本体库知识自动添加机制使本体库具备了学习能力。为了实现多机器人之间的信息共享,本文搭建了专门的私有云服务器,利用不同本体库之间的关系,实现了本体知识库的一体化表征。三者结合,解决了服务机器人难以直接利用家庭环境信息的问题。本文主要完成如下工作:首先,构建了物品本体库,将物品信息进行规范化的整理与分类,解决了家庭环境信息杂乱机器人难以利用的问题。为机器人服务任务的执行提供了一个庞大的先验知识库。针对机器人与本体库信息交换的问题,开发了基于Python语言的本体库接口,接口的功能主要是对本体库进行解析、查询、更新和写入。考虑到用户使用的现实情状,还专门设计了简单操作的UI界面并将接口功能封装成可视化软件来实现对本体库的知识操作。其次,提出了本体库的知识自动添加机制,解决了本体库学习能力不足的问题。首先,利用目标检测模型获取未知物品类名,根据服务请求确定是类层级还是实例层级的知识需求,实例层级需求还需要对已检测图片进行主颜色识别用来确定物品颜色。通过网络爬虫爬取相关的文本信息,对这些文本信息进行预处理然后经文本分类模型提取有效信息。文本分类模型的效果会直接影响到知识选取的准确率和全面性。因此本文采用LSTM神经网络作为分类模型并专门设计了实验与传统的分类模型进行对比,根据相关理论知识自行设计了合理的评价指标。进行实验得到了不同分类模型的评分,实验结果证明了采用上述网络有效地提升了文本分类模型的效果并在最后进行了整个添加流程的实验验证,最终成功的将网络中获取的知识添加至本体库。最后,设计并搭建了私有云服务器,建立了多种用户端与云端的数据交互渠道,提出了基于SSH协议的用户端知识实时传输机制,实现了用户端到云端的知识及时传递。利用不同本体库之间的相互联系,结合上述提到的本体库的知识自动添加机制,实现了私有云框架下的本体知识一体化、层次化的表征。同时还搭建了专门的仿真家庭环境和服务机器人模型,结合本体库接口程序,形成了统一规范化的知识体系。在该体系的支撑下,进行实验并辅助机器人执行并完成了具体的服务任务。

关键词：本体库文本分类目标检测爬虫算法私有云一体化表征