| 网站首页 | 业界新闻 | 群组 | 交易 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
共有 206 人关注过本帖
标题:网页信息抓太快导致封锁IP的情况,网络爬虫如何处理?
只看楼主 加入收藏
萌萌01
Rank: 1
等 级:新手上路
帖 子:5
专家分:7
注 册:2018-11-15
结帖率:0
  已结贴   问题点数:20  回复次数:1   
网页信息抓太快导致封锁IP的情况,网络爬虫如何处理?
采集一个网站太频繁,能够采集的网页越来越少,甚至会被封杀IP,只有控制好采集速度和频率才能持续地获得数据,并且,要定期清理浏览器的cookies。
2018-12-05 16:56
幻紫灵心
Rank: 16Rank: 16Rank: 16Rank: 16
来 自:山咔咔里面
等 级:版主
威 望:30
帖 子:277
专家分:1933
注 册:2018-3-30
  得分:10 
用IP代理就不会被封ip了。。。

saber,别哭.
2018-12-06 12:52







关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.030187 second(s), 8 queries.
Copyright©2004-2019, BCCN.NET, All Rights Reserved