| 网站首页 | 业界新闻 | 小组 | 交易 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
买学问 - 大牛一对一辅导,有问必答买学问 - 专业的付费知识问答平台
共有 534 人关注过本帖
标题:网页信息抓太快导致封锁IP的情况,网络爬虫如何处理?
只看楼主 加入收藏
萌萌01
Rank: 1
等 级:新手上路
帖 子:5
专家分:7
注 册:2018-11-15
结帖率:0
  已结贴   问题点数:20  回复次数:2   
网页信息抓太快导致封锁IP的情况,网络爬虫如何处理?
采集一个网站太频繁,能够采集的网页越来越少,甚至会被封杀IP,只有控制好采集速度和频率才能持续地获得数据,并且,要定期清理浏览器的cookies。
2018-12-05 16:56
幻紫灵心
Rank: 16Rank: 16Rank: 16Rank: 16
来 自:山咔咔里面
等 级:版主
威 望:44
帖 子:375
专家分:2447
注 册:2018-3-30
  得分:10 
用IP代理就不会被封ip了。。。

saber,别哭.
2018-12-06 12:52
闫哈哈
Rank: 1
等 级:新手上路
威 望:1
帖 子:4
专家分:7
注 册:2019-1-17
  得分:0 
用代理ip, 不然就降低请求频率.

人生啊 地不熟
2019-01-17 11:44







关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.026391 second(s), 8 queries.
Copyright©2004-2019, BCCN.NET, All Rights Reserved