检索结果-南通市图书馆

图书馆学刊 2024年第3期46卷 61-66页

作者：段宏嘉核工业西南物理研究院图书馆四川成都3610225

以核工业西南物理研究院图书馆的学术新闻信息采集工作为例,介绍了PyCharm软件、requests库和lxml库的使用方法及爬虫技术的使用步骤,列举3个具有参考性的新闻信息采集应用案例,旨在方便科研人员全面且及时地掌握信息。

关键词：爬虫科技图书馆图书馆信息信息服务信息采集

一种支持动态页面的分布式爬虫系统设计与实现

在线全文

学校读者我要写书评

暂无评论

无线互联科技 2024年第6期21卷 84-86页

作者：林永意卜言彬南京传媒学院江苏南京211172

针对互联网大数据时代背景下,信息的爆炸式增长使得人们难以快速准确地获取有效信息的难题,文章设计并实现了一种支持动态页面的分布式爬虫系统。该系统以Scarpy-Redis分布式爬虫框架为基础,结合了Selenium和PostgreSQL数据库等相关技... 详细信息

针对互联网大数据时代背景下,信息的爆炸式增长使得人们难以快速准确地获取有效信息的难题,文章设计并实现了一种支持动态页面的分布式爬虫系统。该系统以Scarpy-Redis分布式爬虫框架为基础,结合了Selenium和PostgreSQL数据库等相关技术。该系统可以从大量的动态或者静态网页,分布式地获取所需要的信息,存入数据库以供用户使用。

关键词：分布式爬虫动态页面

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于爬虫与深度学习的校园网络舆情监测系统

信息记录材料 2024年第8期25卷 228-230页

作者：牛芳刘莹王艳威孙春云昌吉学院信息工程学院新疆昌吉831100

本文基于爬虫技术与深度学习情感分析模型,构建了一个高校网络舆情监测系统。该系统利用爬虫技术实时获取校园贴吧、论坛等平台的帖子信息,将预处理后的数据送入情感分析模型,判断其情感倾向。情感分析模型构建中使用了基于转换器的双... 详细信息

本文基于爬虫技术与深度学习情感分析模型,构建了一个高校网络舆情监测系统。该系统利用爬虫技术实时获取校园贴吧、论坛等平台的帖子信息,将预处理后的数据送入情感分析模型,判断其情感倾向。情感分析模型构建中使用了基于转换器的双向编码表征(bidirectional encoder representations from transformer,BERT)模型,并结合双向长短时记忆神经网络(bidirectional long short⁃term memory,BiLSTM)提取输入文本的特征与上下文表示,并对文本做情感分类并展示结果。结果表明,本文构建的高校网络舆情监测系统具有更强的针对性,方便人机交互与结果的展示,为校园网络舆情监测提供辅助。

关键词： BERT BiLSTM 爬虫文本情感分析

基于Python爬虫技术的动物检疫信息预警系统

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

中国动物检疫 2024年第8期41卷 49-52页

作者：郭家鹏张志帅张栓玲徐霄妍王芳河南省动物检疫总站河南郑州450008 中国动物疫病预防控制中心北京100125

2016年,河南省动物检疫电子出证平台(简称“省平台”)已完成与国家动物检疫大数据平台(简称“国家平台”)的检疫数据对接。然而在指定通道制度实施后,国家平台检疫数据作为畜禽运输车辆查验的最终判定依据,如果省平台与国家平台间数据... 详细信息

2016年,河南省动物检疫电子出证平台(简称“省平台”)已完成与国家动物检疫大数据平台(简称“国家平台”)的检疫数据对接。然而在指定通道制度实施后,国家平台检疫数据作为畜禽运输车辆查验的最终判定依据,如果省平台与国家平台间数据传输延迟,将严重影响指定通道的查验工作。为及时发现数据传输延迟的问题,基于Python爬虫技术开发了动物检疫信息预警系统,系统建成后取得了良好的应用效果,多次成功发挥预警作用,在一定程度上解决了数据传输延迟问题。同时,在辅助执法方面也起到了预警效果。本文介绍了该系统建设的背景、设计思路、系统框架,以及其在辅助执法方面的扩展应用,仅供同行参考。

关键词：兽医动物检疫 python 爬虫预警辅助执法

基于Python爬虫的豆瓣TOP250电影数据分析与可视化研究

在线全文

学校读者我要写书评

暂无评论

现代信息科技 2024年第16期8卷 93-97页

作者：王晨西安培华学院陕西西安710125

随着互联网技术的发展,传统的只根据榜单数据进行电影筛选的方式已经不能满足消费者的需求。基于Python实现了豆瓣网站TOP250电影数据爬虫,调用Requests下载网页并使用Beautifulsoup进行网页解析,利用PyeCharts等技术进行数据可视化分析... 详细信息

随着互联网技术的发展,传统的只根据榜单数据进行电影筛选的方式已经不能满足消费者的需求。基于Python实现了豆瓣网站TOP250电影数据爬虫,调用Requests下载网页并使用Beautifulsoup进行网页解析,利用PyeCharts等技术进行数据可视化分析,将数据以图表的形式展现,以让消费者更清晰地看到热门电影数据特征,为消费者选择电影提供参考依据。通过可视化分析发现,电影的评分与评论人数无正相关性。

关键词： Python 爬虫豆瓣数据可视化

基于XGBoost算法的网页爬虫识别系统研究与实现

在线全文

学校读者我要写书评

暂无评论

计算机应用文摘 2024年第3期40卷 38-41页

作者：叶克平西南交通大学成都610031

在互联不断发展的过程中,数据的价值得到了商业公司的高度重视。然而,爬虫行为造成的影响也随之增大,有效识别并阻挡爬虫对商业公司而言尤为重要。随着机器学习的兴起及数据处理技术的完善,采用机器学习的方法识别爬虫成为一种新的可能... 详细信息

在互联不断发展的过程中,数据的价值得到了商业公司的高度重视。然而,爬虫行为造成的影响也随之增大,有效识别并阻挡爬虫对商业公司而言尤为重要。随着机器学习的兴起及数据处理技术的完善,采用机器学习的方法识别爬虫成为一种新的可能。文章将使用Apache Flink实时计算引擎构建用户行为特征并利用XGBoost算法识别爬虫,从而将爬虫识别作为一项系统工程,,进而详细阐述该工程的研究过程和实现。

关键词： XGBoost ApacheFlink 机器学习爬虫系统工程

基于分布式爬虫的高性能Tor网络内容监控系统

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

信息安全学报 2023年第1期8卷 144-153页

作者：郑献春王瑞闫皓楠赵兴文李晖李凤华西安电子科技大学网络与信息安全学院西安710126 综合业务网理论及关键技术国家重点实验室西安电子科技大学西安710071 信息安全国家重点实验室中国科学院信息工程研究所北京100093 中国科学院大学网络空间安全学院北京100049

随着网络的发展和普及,人们对于安全性、匿名性、反审查等信息安全的需求快速增强,越来越多的人开始关注和研究Tor匿名通信网络。目前针对Tor网络内容监控的研究工作大部分存在功能少、性能弱等劣势,如缺乏为暗网设计的专用爬虫,网络连... 详细信息

随着网络的发展和普及,人们对于安全性、匿名性、反审查等信息安全的需求快速增强,越来越多的人开始关注和研究Tor匿名通信网络。目前针对Tor网络内容监控的研究工作大部分存在功能少、性能弱等劣势,如缺乏为暗网设计的专用爬虫,网络连接速度较慢,本文设计开发了一套综合性的Tor网络内容动态感知及情报采集系统,包含数据采集爬虫以及网页内容分类两个部分。其中爬虫部分使用了分布式架构,包括了任务管理模块、爬虫调度模块、网页下载模块、页面解析模块、数据存储模块,同时创新性地优化了Tor连接链路以提高爬取速度和稳定性;网页内容分类部分使用了自然语言处理技术,建立训练模型并对抓取到的信息进行精准高效分类,解决分类的准确度和复杂性问题,最后根据结果分析暗网的内容结构和敏感信息。我们也相应地为保障系统运行设计了容错模块和预警模块,从而对系统各个组件的当前状态进行实时监控,并将系统的状态数据进行整合、收集和展示。最后我们将该系统放到了实际Tor网络环境中进行了测试,从系统网页爬取效果、内容分类效果及系统性能等三方面进行了评估和分析,并与国内外7中现有的框架的功能进行了对比,证明本文提出的方案在暗网域名、网页、数据爬取的量级和速度性能方面均为最佳。

关键词：洋葱路由暗网爬虫自然语言处理

在线全文

学校读者我要写书评

暂无评论

爬虫抓取数据行为的反不正当竞争法规制研究

爬虫抓取数据行为的反不正当竞争法规制研究

作者：张实萌南昌大学

学位级别：硕士

随着互联网大数据技术的优化创新,市场主体的产业模式也不断升级,数据的经济价值陡增,越来越多的企业会想方设法收集足够多的数据以吸引用户进行交易,数据已然成为促进数字经济发展的关键生产资料。在传统的数据获取方法难以满足互联网... 详细信息

随着互联网大数据技术的优化创新,市场主体的产业模式也不断升级,数据的经济价值陡增,越来越多的企业会想方设法收集足够多的数据以吸引用户进行交易,数据已然成为促进数字经济发展的关键生产资料。在传统的数据获取方法难以满足互联网行业海量的数据需求时,便催生出使用爬虫程序来实现对数据争夺的行为。爬虫程序在运行期间容易损害互联网行业的发展,运用法律的手段对利用爬虫抓取数据的行为进行规范十分必要。与具有权利法属性的知识产权法和物权法相比,适用反不正当竞争法来解决爬虫抓取数据引发的争议更为契合实践的需要。目前,互联网领域的法律规制体系尚不完善,司法实践中对于爬虫抓取数据不正当竞争行为,面临着互联网条款适用范围受限、一般条款滥用现象严重、损害赔偿责任制度不完善、配套行政监管不力及行业自律规则存在缺陷等问题。本文通过对爬虫抓取数据行为进行简要说明,探析我国现行反不正当竞争法在规制此行为的过程中存在的适用难题,提出增设爬虫抓取数据不正当竞争行为具体类型、保持适用一般条款的谦抑性、完善损害赔偿标准、强化行政执法监管能力、完善行业自律公约等建议,厘清反不正当竞争法对该行为的规制思路,进而健全反不正当竞争法律制度体系。本文一共分为四个部分。第一章是爬虫抓取数据行为的概述,对相关概念、理论与性质做了介绍,明确了本文的研究对象。第二章通过对知识产权法与物权法规制模式进行比较,明晰了选择反不正当竞争法规制的优势与可行性。第三章是对反不正当竞争法规制路径的立法现状进行分析,总结现有的法律体系存在的问题。第四章针对第三章提出的问题,尝试提出系统的完善建议。

关键词：爬虫抓取数据不正当竞争存在问题完善建议

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络爬虫抓取企业数据的法律规制研究

网络爬虫抓取企业数据的法律规制研究

作者：朱启民中国人民公安大学

学位级别：硕士

网络爬虫是大数据时代新出现的技术产物,网络爬虫抓取企业数据的行为频繁引起相关的纠纷,表明相关立法以及理论尚待进一步完善。对此,应当回应企业数据权属的争议以及抓取数据的规制问题,关注数据抓取引发的各种案件的焦点,从而推动立... 详细信息

网络爬虫是大数据时代新出现的技术产物,网络爬虫抓取企业数据的行为频繁引起相关的纠纷,表明相关立法以及理论尚待进一步完善。对此,应当回应企业数据权属的争议以及抓取数据的规制问题,关注数据抓取引发的各种案件的焦点,从而推动立法以及理论的更新,引导数据抓取者走向正确的行为规范。司法实践对抓取企业数据的行为做出裁判,实际出于不同的考虑。可以说,抓取企业数据涉及的司法实践,实际上为爬虫规制确立了一定的规则。判定抓取企业数据行为是否构成违法或者犯罪,要结合抓取数据行为的违法程度是否达到代码范式中的不法程度、被抓取企业数据的共享程度、是否侵害了刑法保护的法益进行综合判断。为了阐明刑事、民事责任认定数据爬虫的模糊地带,实践中应当适当缩减爬虫抓取数据的入罪范围,提高民事责任认定在爬虫规制中的适用。网络爬虫具有侵害企业数据权益的风险,但是不能因此完全禁止爬虫对数据的抓取。数据流动和数据权益保护需要予以平衡,不能过度偏重于一方。长远来看,数字经济的发展和数据权益的保护是呈正相关的。在对抓取数据行为进行规制时,只能依照“两害相权取其轻,两利相权取其重”的原则进行取舍。本文认为,有必要建立数据的分级分类保护制度、限制抓取具有财产属性的数据、防范robots协议的滥用风险,同时结合抓取企业数据责任界定的行为违法与数据共享程度,对网络爬虫抓取企业数据的行为进行有效规制。

关键词：爬虫抓取数据数据主体权属侵权

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于MapReduce的视频爬虫系统研究

华中科技大学学报（自然科学版） 2015年第5期43卷 129-132页

作者：孔涛曹丙章邱荷花中国船舶重工集团公司第709研究所湖北武汉430074 华中科技大学计算机科学与技术学院湖北武汉430074

针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题,提出了基于Hadoop框架的视频爬虫系统,为视频爬取提供了高并发度的处理和爬取速度.通过MapReduce... 详细信息

针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题,提出了基于Hadoop框架的视频爬虫系统,为视频爬取提供了高并发度的处理和爬取速度.通过MapReduce计算模型实现网页抓取、分析、去重及下载等计算任务,Hadoop分布式文件系统(HDFS)存储各阶段计算任务的计算结果,运用多处备份机制,使得在某个结点退出时转移任务集,不影响整个系统的稳定性和有效性.实验结果表明完全分布式基于Hadoop的视频爬虫系统无论在单位时间内的视频下载速率还是爬取网页个数都明显高于未基于Hadoop的和伪分布式的视频爬虫系统.

关键词：视频爬虫分布式 Hadoop框架 MapReduce计算模型 Hadoop分布式文件系统