| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛 | 
登录
注册
用户控制面板
搜索
道具
风格
短消息
论坛展区
帮助
编程论坛 → 开发语言 → 『 Python论坛 』 → 网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？
我的收件箱(0)
欢迎加入我们，一同切磋技术
用户名：   
 
密　码：  
共有 2279 人关注过本帖
标题：网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？
只看楼主 加入收藏
萌萌01
Rank: 1
等　级：新手上路
帖　子：5
专家分：7
注　册：2018-11-15
结帖率：0
楼主
收藏
 已结贴√  问题点数：20 回复次数：3 
网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？
采集一个网站太频繁，能够采集的网页越来越少，甚至会被封杀IP，只有控制好采集速度和频率才能持续地获得数据，并且，要定期清理浏览器的cookies。
搜索更多相关主题的帖子: 网页　IP　网络　处理　采集　
2018-12-05 16:56
幻紫灵心
Rank: 11Rank: 11Rank: 11Rank: 11
来　自：山咔咔里面
等　级：贵宾
威　望：53
帖　子：396
专家分：2640
注　册：2018-3-30
第 2 楼
收藏
 得分:10 
用IP代理就不会被封ip了。。。

saber,别哭.
2018-12-06 12:52
闫哈哈
Rank: 1
等　级：新手上路
威　望：1
帖　子：4
专家分：7
注　册：2019-1-17
第 3 楼
收藏
 得分:0 
用代理ip, 不然就降低请求频率.

人生啊 地不熟
2019-01-17 11:44
潇洒水星
Rank: 1
等　级：新手上路
帖　子：1
专家分：0
注　册：2020-2-25
第 4 楼
收藏
 得分:0 
代理ip不然也可以把他的频率降低
2020-02-25 00:42
快速回复：网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？
数据加载中...
 
　　　



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有，并保留所有权利。
Powered by Discuz, Processed in 0.023839 second(s), 10 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved