咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >对反爬虫网站的应对策略 收藏

对反爬虫网站的应对策略

The Strategy of Coping with Anti-Crawler Website

作     者:刘石磊 LIU Shi-lei

作者机构:山东农业大学信息科学与工程学院山东泰安271000 

出 版 物:《电脑知识与技术》 (Computer Knowledge and Technology)

年 卷 期:2017年第13卷第5X期

页      面:19-21,23页

学科分类:08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 

主  题:网络爬虫 反爬虫 反反爬虫 抓取策略 分布式爬虫 

摘      要:随着网络的发展和网络爬虫技术的普及,越来越多的个人用户使用了网络爬虫技术从网站获取信息,而过多的网络爬虫会对目标网站的运营造成一定的影响。某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问,使用了一些反爬虫技术。笔者探讨了一些常见的反爬虫措施以及对应用了该类机制的网站的进行爬虫活动的手段和策略。

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分