检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

爬虫技术和数据挖掘在网页信息中的应用

信息与电脑 2022年第20期34卷 60-62页

作者：吴宇鹏福州墨尔本理工职业学院福建福州350000

随着网购用户规模的不断扩大,如何挖掘并利用商品的网页信息是当前重要的研究课题。为了充分利用网页信息为购买者提供更加优质的服务,要合理引入爬虫技术和数据挖掘方法,利用Python构建一个基于Scrapy框架的爬虫,将其存储于MySQL数据库... 详细信息

随着网购用户规模的不断扩大,如何挖掘并利用商品的网页信息是当前重要的研究课题。为了充分利用网页信息为购买者提供更加优质的服务,要合理引入爬虫技术和数据挖掘方法,利用Python构建一个基于Scrapy框架的爬虫,将其存储于MySQL数据库,获取电商网页的数据信息,并对爬取的数据进行数据挖掘和提取分析,包括描述性分析和聚类分析等,深入全面地挖掘网页信息潜在的价值。

关键词：爬虫技术数据挖掘网页信息

在线全文

学校读者我要写书评

暂无评论

爬虫技术背景下用户数据库的商业秘密性研究

武汉冶金管理干部学院学报 2023年第1期33卷 29-33页

作者：罗卓然华东政法大学知识产权学院上海201620

用户数据库是数据使用者需要付出成本才能实现的大数据汇编成果。尽管在以往的司法实践中,法院在多个案件中均承认了用户数据库的商业秘密属性,但在爬虫技术背景下,用户数据库的商业秘密属性受到了重大挑战,用户数据库的秘密性作为商业... 详细信息

用户数据库是数据使用者需要付出成本才能实现的大数据汇编成果。尽管在以往的司法实践中,法院在多个案件中均承认了用户数据库的商业秘密属性,但在爬虫技术背景下,用户数据库的商业秘密属性受到了重大挑战,用户数据库的秘密性作为商业秘密的基础性要件在爬虫技术的攻克下有瓦解的可能。表面上依照秘密性、价值性、保密性三层次的传统方法分析商业秘密的构成要件无法直观判断用户数据库的商业秘密属性,但从爬虫技术本身被公众知晓的程度、对用户数据库采取保密措施的程度进行实质性解读,不难发现,用户数据库依旧具备商业秘密性,只是在爬虫技术背景下,对用户数据库采取的保密措施有更严格的要求。

关键词：用户数据库商业秘密爬虫技术秘密性价值性保密性

基于爬虫技术的城际信息流网络测度及其经济意义研究

在线全文

学校读者我要写书评

暂无评论

地域研究与开发 2019年第6期38卷 46-51页

作者：徐庭伟罗守贵上海交通大学安泰经济与管理学院上海200030 上海交通大学城市治理研究院上海200030

随着信息技术的发展,基于大数据支撑的城际信息流、产业流等为基于“流空间”的城市网络研究提供了新的研究视角。为了进一步研究城际信息流的经济意义,通过编写Python爬虫程序对基于百度搜索的我国271个城市之间信息流进行统计和数据... 详细信息

随着信息技术的发展,基于大数据支撑的城际信息流、产业流等为基于“流空间”的城市网络研究提供了新的研究视角。为了进一步研究城际信息流的经济意义,通过编写Python爬虫程序对基于百度搜索的我国271个城市之间信息流进行统计和数据结构化。结果表明:城市信息流总量是一个城市发展程度的综合反映,同时通过对结构洞理论的延伸,证明了在城际网络中,中心节点具有较高的冗余度。通过回归分析算法证明了城市信息流总量受到城市人均GDP、货运量、互联网接入用户数、城市的区位及其行政等级的显著影响。

关键词：城际信息流城市信息流总量爬虫技术结构洞冗余度

基于Python爬虫技术的虚假数据溯源与过滤

在线全文

学校读者我要写书评

暂无评论

计算机仿真 2021年第3期38卷 346-350页

作者：陈丛周力臻福建师范大学协和学院福建福州350117

针对现有网络虚假数据追踪与过滤方法中存在的追踪定位精度低、过滤覆盖范围小的问题,提出基于Python爬虫技术的虚假数据溯源与途中过滤。将虚假数据覆盖的网络划分为相同大小的网格,根据一定概率标记数据包;分析Python爬虫抓取过程,以... 详细信息

针对现有网络虚假数据追踪与过滤方法中存在的追踪定位精度低、过滤覆盖范围小的问题,提出基于Python爬虫技术的虚假数据溯源与途中过滤。将虚假数据覆盖的网络划分为相同大小的网格,根据一定概率标记数据包;分析Python爬虫抓取过程,以适用多场景、界面可视化、负载均衡为系统设计目标,设计爬虫管理器、采集器与内嵌浏览器硬件设备;结合系统爬取数据流程描述各软件模块的协作方式;在系统中部署节点,建立协作关系区域,利用布隆过滤器生成数据包,通过共享密钥证明MAC是否合法,启动溯源过程;在溯源途中若节点不存在任何一个密钥,则将其过滤,完成虚假数据溯源与途中过滤。仿真结果证明,上述方对虚假数据的过滤效果较高,且对虚假数据溯源定位精度较高。

关键词：爬虫技术虚假数据途中过滤共享密钥负载均衡

基于Python爬虫技术的互联网数据抓取方法设计

在线全文

学校读者我要写书评

暂无评论

信息与电脑 2023年第7期35卷 41-43页

作者：王芳赣东学院江西抚州344000

针对传统数据抓取方法存在抓取成功率小和时延长的问题,提出基于Python爬虫技术的互联网数据抓取方法。首先,定义目标函数,通过计算获得网络数据关键特征;其次,建立爬虫网络相空间格局,获得Python爬虫的维度;最后,运用广度优先法抓取初... 详细信息

针对传统数据抓取方法存在抓取成功率小和时延长的问题,提出基于Python爬虫技术的互联网数据抓取方法。首先,定义目标函数,通过计算获得网络数据关键特征;其次,建立爬虫网络相空间格局,获得Python爬虫的维度;最后,运用广度优先法抓取初始数据中的所有信息数据,找到对应的平衡点。实验结果表明,运用该方法的抓取成功率最高,时延最短。

关键词： Python 爬虫技术数据抓取

在线全文

学校读者我要写书评

暂无评论

基于爬虫技术的互联网电视安播保障手段研究

长江信息通信 2022年第9期35卷 72-76页

作者：张慧姜忠正邵静中国移动通信集团内蒙古有限公司内蒙古呼和浩特010050

随着运营商家宽质量的提升和互联网电视牌照方内容丰富度的优化,基于运营商家宽网络的互联网电视业务发展迅速,用户规模呈快速增长态势,这一发展对各家运营商来说既是机遇也是挑战。互联网电视承载于IP网络之上,而网络本身并无界限,IP... 详细信息

随着运营商家宽质量的提升和互联网电视牌照方内容丰富度的优化,基于运营商家宽网络的互联网电视业务发展迅速,用户规模呈快速增长态势,这一发展对各家运营商来说既是机遇也是挑战。互联网电视承载于IP网络之上,而网络本身并无界限,IP网络上的数据流很容易遭受攻击和篡改,对关键视频服务器恶意攻击(如非法访问)或假冒网络视频内容提供商(CP)进行非法插播等,严重影响用户的收视感知甚至造成违法犯罪。为解决这一问题,确保互联网电视安播工作有序推进,基于爬虫技术搭建了一套不良信息监测系统,通过模拟机顶盒请求对视频播控平台码流的监测以及CDN视频服务器内缓存内容的爬测,及时监测视频内容分发过程中可能存在的视频质量劣化以及各类有危害性的不良信息,提升用户收视感知,净化用户视听环境,确保在互联网电视蓬勃发展的同时也完成国家对于互联网电视业务安播工作的要求。

关键词：爬虫技术互联网电视不良信息监测安播保障视听安全

在线全文

学校读者我要写书评

暂无评论

爬虫技术与个人信息的保护

河南科技 2020年第12期39卷 154-157页

作者：王晨雨中原工学院河南郑州450007

互联网时代,数据就是资源,就是话语权。近年来,网络爬虫技术被广泛应用于互联网数据的获取,国内也出现了不少非法收集、利用个人信息的案例,监管部门亦在完善立法、加强监管。无论如何技术革新,都应严守依法合规的边界,做到个人信息安全... 详细信息

互联网时代,数据就是资源,就是话语权。近年来,网络爬虫技术被广泛应用于互联网数据的获取,国内也出现了不少非法收集、利用个人信息的案例,监管部门亦在完善立法、加强监管。无论如何技术革新,都应严守依法合规的边界,做到个人信息安全,不得侵害个人隐私。本文从爬虫技术的概念入手,在对现有案例分析的基础上对爬取数据行为进行了法律界定,并提出爬虫技术下个人信息保护的对策。

关键词：爬虫技术数据抓取个人信息隐私保护

基于爬虫技术与云班课平台的混合学习效果影响研究

在线全文

学校读者我要写书评

暂无评论

软件 2022年第10期43卷 65-72页

作者：贾楠戴心来张海燕辽宁师范大学计算机与信息技术学院辽宁大连116081 大连市甘井子区东方路小学辽宁大连116031

互联网、大数据、人工智能等技术的日益成熟与广泛应用,为混合学习的形成与发展提供了坚实的技术基础,推动高校信息化教学的改革与创新。文章从人际交互角度出发,依托“蓝墨云班课”智能学习环境,开展混合学习实践研究,利用爬虫技术收... 详细信息

互联网、大数据、人工智能等技术的日益成熟与广泛应用,为混合学习的形成与发展提供了坚实的技术基础,推动高校信息化教学的改革与创新。文章从人际交互角度出发,依托“蓝墨云班课”智能学习环境,开展混合学习实践研究,利用爬虫技术收集在线交互数据,开展问卷调查收集面对面交互数据,并分别使用Gephi与SPSS软件对相关数据进行筛选和整理。再次运用社会网络与结构方程模型研究方法,对混合学习效果模型进行检验和修正,以深入探究人际交互与混合学习效果的相互关系,以及个体内部心理变量任务价值、学业情绪在二者之间的中介作用机制。据此提出若干建议,为提升混合学习效果提供参考。

关键词：混合学习学习效果人际交互爬虫技术云班课

Python爬虫技术在审计外部数据采集中的应用

在线全文

学校读者我要写书评

暂无评论

中国审计 2023年第5期 42-44页

作者：邹远志北京市审计局

公开的外部数据具有免费、动态、结构化等特征。审计人员根据审计工作方案和审计目标,有选择性地采集公开的外部数据,可以有效辅助审计工作的开展,帮助拓展审计揭示问题的广度和深度。下载、组织、分析此类数据需要采用专门的信息处理... 详细信息

公开的外部数据具有免费、动态、结构化等特征。审计人员根据审计工作方案和审计目标,有选择性地采集公开的外部数据,可以有效辅助审计工作的开展,帮助拓展审计揭示问题的广度和深度。下载、组织、分析此类数据需要采用专门的信息处理技术。

关键词：审计工作方案审计人员审计目标信息处理技术辅助审计外部数据数据采集爬虫技术