| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 2200 人关注过本帖
标题:爬虫代理IP自动分配失败的原因
只看楼主 加入收藏
jackcoden
Rank: 1
等 级:新手上路
帖 子:11
专家分:0
注 册:2020-9-11
结帖率:0
收藏
 问题点数:0 回复次数:0 
爬虫代理IP自动分配失败的原因
最近有小伙伴使用爬虫代理的时候发现一个问题,通过爬虫代理发起请求之后,并没有实现每个HTTP请求自动分配不同的代理IP,而是所有请求都是保持相同代理IP固定使用20秒之后,才会切换新的代理IP,这是什么原因导致的呢?小伙伴提供的部分代码如下:
程序代码:
    #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http:// # 要访问的目标HTTPS页面
    # targetUrl = "https:// # 代理服务器(产品官网 www.)
    proxyHost = "t. proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    
    
    headers = {
        ‘Connection’:'keep-alive',
        'Accept-Language':'zh',
        "Proxy-Tunnel": str(tunnel)
    }

    for i in range(100):
        resp = requests.get(targetUrl, proxies=proxies, headers=headers)
        print resp.status_code
        print resp.text
        time.sleep(0.2)

经过调试分析,上面的代码主要是两个问题:
1、‘Connection’:'keep-alive' 需要关闭
keep-alive 是客户端和服务端的协议规范,开启 keep-alive,则服务端在返回 response 后不关闭 TCP 连接,接收完响应报文后,客户端也不关闭连接,发送下一个 HTTP 请求时会重用该连接,这就导TCP的链接不断开,因此爬虫代理的自动IP切换就失效了。导致一个代理IP会长期保持使用,直到该代理IP的有效时间20秒到期之后,强制关闭TCP连接切换新的代理IP。
2、tunnel 参数设置错误
tunnel 是用来控制代理IP切换的控制参数。爬虫代理会检查tunnel的数值,数值不同就将HTTP请求随机分配一个新代理IP转发,tunnel相同就将HTTP请求分配相同的代理IP转发。因此为实现每个HTTP请求通过不同的代理IP转发,就应该在for下面实现tunnel = random.randint(1,10000),确保每次HTTP请求中的tunnel是不同的数值。

[此贴子已经被作者于2021-7-22 15:14编辑过]

搜索更多相关主题的帖子: 爬虫 代理 http IP 请求 
2021-07-22 14:53
快速回复:爬虫代理IP自动分配失败的原因
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.028733 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved