对反爬虫网站的应对策略
The Strategy of Coping with Anti-Crawler Website作者机构:山东农业大学信息科学与工程学院山东泰安271000
出 版 物:《电脑知识与技术》 (Computer Knowledge and Technology)
年 卷 期:2017年第13卷第5X期
页 面:19-21,23页
学科分类:08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术]
摘 要:随着网络的发展和网络爬虫技术的普及,越来越多的个人用户使用了网络爬虫技术从网站获取信息,而过多的网络爬虫会对目标网站的运营造成一定的影响。某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问,使用了一些反爬虫技术。笔者探讨了一些常见的反爬虫措施以及对应用了该类机制的网站的进行爬虫活动的手段和策略。