检索结果-南通市图书馆

基于selenium框架的省内重要网站资产爬取研究

在线全文

学校读者我要写书评

暂无评论

长江信息通信 2024年第7期37卷 113页

作者：张绳武国家计算机网络应急技术处理协调中心湖北分中心湖北武汉430000

文章主要介绍了利用selenium框架对省内重要网站进行资产爬取的实验研究。首先介绍了实现自动化爬取的selenium框架的基本原理以及国内外的研究现状,然后对研究目的、方法等进行了阐述。接着,详细介绍了爬取过程和结果,包括爬取的网站... 详细信息

文章主要介绍了利用selenium框架对省内重要网站进行资产爬取的实验研究。首先介绍了实现自动化爬取的selenium框架的基本原理以及国内外的研究现状,然后对研究目的、方法等进行了阐述。接着,详细介绍了爬取过程和结果,包括爬取的网站数量、爬取的资产类型和数量、爬取的资产价值等。最后,对实验结果进行了分析和举例,并对如何进一步利用相关结果提出了建议。

关键词： selenium框架网页爬虫资产探测

基于selenium框架的定向网络数据获取的设计与实现

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

工业控制计算机 2020年第6期33卷 45-47页

作者：何苗张蕴陕西工业职业技术学院信息工程学院陕西咸阳712000 西安科技大学计算机科学与技术学院陕西西安710054

随着大数据和人工智能时代的到来,数据已经成为每一个行业的重要生产因素以及企业命脉,而获得数据并对数据进行分析已成为大数据时代最重要的部分。提出了一种基于selenium框架的定向网络爬虫设计方法。通过Python操作自动化测试框架模... 详细信息

随着大数据和人工智能时代的到来,数据已经成为每一个行业的重要生产因素以及企业命脉,而获得数据并对数据进行分析已成为大数据时代最重要的部分。提出了一种基于selenium框架的定向网络爬虫设计方法。通过Python操作自动化测试框架模拟人工浏览网页的方式,绕过一些动态网页中通过复杂JavaScript编辑的复杂反爬虫加密算法而获取指定页面信息,完成数据正常获取,提高爬行效率。利用该爬虫对豆瓣网页电影评论页面数据分类爬取,具有针对性强、操作简单且数据准确等优点。

关键词： selenium框架网络爬虫大数据自动化测试可视化

基于selenium框架的大数据岗位数据爬取与分析

在线全文

学校读者我要写书评

暂无评论

工业控制计算机 2020年第2期33卷 109-111页

作者：高艳山西农业大学信息学院山西太谷030800

在对网页数据进行爬取时,由于很多网页不是静态的HTML文档,而是包含很多JavaScript程序,使用传统的爬虫方法不能有效地获得所需要的信息,采用selenium模拟浏览器访问网站的方法以及Python语言对拉勾网中大数据相关岗位数据进行了爬取,... 详细信息

在对网页数据进行爬取时,由于很多网页不是静态的HTML文档,而是包含很多JavaScript程序,使用传统的爬虫方法不能有效地获得所需要的信息,采用selenium模拟浏览器访问网站的方法以及Python语言对拉勾网中大数据相关岗位数据进行了爬取,并且对大数据开发工程师、大数据研发工程师以及大数据架构师这三个岗位中岗位的任职要求数据进行了分析,用词云进行了展示,可以为数据科学与大数据技术专业培养方案的制定以及相关课程授课学时的设计提供一定的依据。

关键词： selenium框架 Python 大数据爬虫

基于selenium框架的反爬虫程序设计与实现

在线全文

学校读者我要写书评

暂无评论

信息记录材料 2023年第6期24卷 86-88页

作者：王帅湖南财经工业职业技术学院湖南衡阳421001

大数据时代数据的重要性受到了人们的广泛重视。如何有效保护网络数据资源,精准防控网络爬虫程序对数据进行不当收集和对服务器资源造成破坏,适当的反爬虫程序的设计与实现尤为重要。反爬虫程序能够实现自动监控网络爬虫程序带来的破坏... 详细信息

大数据时代数据的重要性受到了人们的广泛重视。如何有效保护网络数据资源,精准防控网络爬虫程序对数据进行不当收集和对服务器资源造成破坏,适当的反爬虫程序的设计与实现尤为重要。反爬虫程序能够实现自动监控网络爬虫程序带来的破坏,提高人工监控数据的效率。本文实现了基于selenium框架的反爬虫程序设计,经过实际的数据测试,融合了selenium框架的反爬虫程序设计能够在一定程度上提高网站的反爬虫效率。

关键词：大数据爬虫程序 selenium框架反爬虫

维普期刊数据库博看期刊

基于selenium的课程评论自动爬取软件设计与实现

在线全文

学校读者我要写书评

暂无评论

电脑编程技巧与维护 2024年第6期 19-22页

作者：刘志鹏陈琦许超焕梅灿李逸雪湖北师范大学计算机与信息工程学院湖北黄石435002

针对获取网络课程评论文本工作量大、课程评价不够直观的问题,设计了一种能够自动爬取课程评论并生成词云图的软件。该软件基于selenium框架,使用Wordcloud、PySimpleGUI、OpenCV-Python等第三方库,以“中国大学MOOC”为例,实现了操作... 详细信息

针对获取网络课程评论文本工作量大、课程评价不够直观的问题,设计了一种能够自动爬取课程评论并生成词云图的软件。该软件基于selenium框架,使用Wordcloud、PySimpleGUI、OpenCV-Python等第三方库,以“中国大学MOOC”为例,实现了操作界面显示、MOOC课程评论自动爬取、词云图生成、定制词云图背景4项核心功能,课程评论与词云分别以文本、图片的格式保存在用户计算机中。经实践验证,该方案切实可行,对于从事在线学习、教育测量与评价研究的相关人员有一定帮助。

关键词： selenium框架课程评论自动爬取词云

基于selenium自动化测试框架的改进与应用

在线全文

学校读者我要写书评

暂无评论

基于Selenium自动化测试框架的改进与应用

作者：秦海光中国科学院大学（工程管理与信息技术学院）

学位级别：硕士

随着IT市场竞争不断加剧,如何提升软件质量、缩短软件迭代开发周期,对软件测试方法和工具提出了更高要求。传统手工测试存在周期长、效率低、回归测试覆盖度不高等问题,自动化测试为解决这些问题提供了可行途径,因而越来越受到业界重视... 详细信息

随着IT市场竞争不断加剧,如何提升软件质量、缩短软件迭代开发周期,对软件测试方法和工具提出了更高要求。传统手工测试存在周期长、效率低、回归测试覆盖度不高等问题,自动化测试为解决这些问题提供了可行途径,因而越来越受到业界重视。目前业界已经出现众多自动化测试工具和框架,如何借助现有工具框架,构建一套适合于自身实际需求的自动化测试框架,是作者所在单位当前迫切需要解决的重要问题。本文完成的主要工作如下： 1、介绍了自动化测试技术和自动化测试工具的发展现状,对业界主流的自动化测试框架进行了对比分析,确定选型selenium开源自动化测试框架为基础进行封装改进,并有机集成JUnit、Feed4JUnit、Java注解特性等技术工具。 2、在此基础上,基于selenium开源框架进行改进,改进实现了一个适合自身实际需求的Q-T自动化测试框架,该框架对selenium框架提供的API接口进行封装和改进,实现了页面元素和业务逻辑分离,并支持测试数据与业务逻辑相分离,在测试用例执行过程中自动生成测试结果。 3、基于上述改进框架,实现了一个支持可视化编辑的测试管理平台,支持测试用例管理、公共脚本管理等功能,可以高效地开发测试用例代码,实现web应用系统的测试过程的自动化执行与管理。该框架平台实际应用于作者所在单位的一个组织机构与权限系统的测试工作,结果表明,通过该框架平台的应用,可以提高测试效率,降低开发测试用例脚本难度,节省人力成本,对提高软件产品质量具有一定的现实意义和推广价值。

关键词：自动化测试 selenium框架测试框架测试管理平台 Web应用 JUnit

基于Python和selenium的智联招聘数据的爬取与分析

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

软件 2022年第8期43卷 170-175页

作者：张嘉威关成斌广东东软学院信息管理与工程学院广东佛山440605

随着国内近几年就业形势的愈发严峻,国内招聘市场的网络趋势化也较为明显,深度挖掘和充分利用数据背后隐藏的价值能够给人们未来的职业规划做出指导。本文以智联招聘网站为例,使用基于Python的爬虫技术以及selenium框架,设计一种自动化... 详细信息

随着国内近几年就业形势的愈发严峻,国内招聘市场的网络趋势化也较为明显,深度挖掘和充分利用数据背后隐藏的价值能够给人们未来的职业规划做出指导。本文以智联招聘网站为例,使用基于Python的爬虫技术以及selenium框架,设计一种自动化采集数据的程序,并对采集的数据使用Pyecharts对公司概况、城市分布和薪资水平等关键信息进行可视化分析。最后,基于数据及分析结果,对大数据相关专业毕业生的职业规划提出建议。

关键词：大数据就业指导 Python语言网络爬虫 selenium框架数据分析 Pyecharts

基于selenium的Web自动化测试研究与实践

在线全文

学校读者我要写书评

暂无评论

沙洲职业工学院学报 2022年第4期25卷 1-6页

作者：许礼捷葛华沙洲职业工学院电子信息工程系江苏张家港215600

随着Web应用系统的广泛应用,传统的手工测试已经难以满足Web应用系统测试需求。根据自动化测试的特点,研究selenium自动化测试框架,分析selenium的工作原理和元素定位的方法。进一步研究自动化测试用例的设计方法和编写流程,阐述Python... 详细信息

随着Web应用系统的广泛应用,传统的手工测试已经难以满足Web应用系统测试需求。根据自动化测试的特点,研究selenium自动化测试框架,分析selenium的工作原理和元素定位的方法。进一步研究自动化测试用例的设计方法和编写流程,阐述Python自带的单元测试框架(Unittest框架)编写自动化测试用例的基本使用方法和常用断言方法。最后以资产管理系统的登录模块测试用例为例,完成具体脚本的编写和执行,实现了自动化测试代替手工测试,提高了软件测试效率。

关键词：软件测试 Web自动化测试 selenium框架 Python Unittest测试框架

用selenium实现超链接正确性的自动化测试

在线全文

学校读者我要写书评

暂无评论

福建电脑 2023年第11期39卷 72-74页

作者：徐鹥江门职业技术学院信息工程学院广东江门529030

自动化测试是目前软件测试中重要的测试手段。本文探讨了使用selenium框架和Python相结合的技术对Web测试中的超链接正确性的测试进行自动化测试的思路和方法,并结合实际案例进行了实践分析。实践表明,采用selenium框架和Python进行自... 详细信息

自动化测试是目前软件测试中重要的测试手段。本文探讨了使用selenium框架和Python相结合的技术对Web测试中的超链接正确性的测试进行自动化测试的思路和方法,并结合实际案例进行了实践分析。实践表明,采用selenium框架和Python进行自动化测试,可以代替传统的人工测试,能够有效实现超链接正确性的测试需求,有效提高测试效率。

关键词：自动化测试 selenium框架 Web测试超链接测试 Python自动化