又来求助各位老师了，这个网页的数据如何采集？ - 编程论坛

#2

wp2319572021-06-12 15:19

回复楼主 jinanshui

程序代码：

import requests

url = 'https://souky.'
headers = {
          'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
          }
for xid in range(1,112):
    data = {
        'xid': str(xid),
        'flag': '1'
        }
    res=requests.post(url=url,headers=headers,data=data)
    print(res.text.encode(encoding="utf-8").decode(encoding="unicode_escape"))

#3

jinanshui2021-06-12 15:48

谢谢老师，我试试

#4

s15188380352021-06-24 14:50

回复 2楼 wp231957

大佬，我有个编程题，能请教一下吗

#5

wapjin2021-06-29 16:20

百度一下，你就知道

#6

thtssqc2023-06-02 15:39

使用requests模块访问接口请求数据，用jupyter notebook测试了下：

import requests
url="https://api.
data={
"limit": '100000',  # 限制数量
"page": 1}
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
resp = requests.post(url,data=data,headers=headers)
resp
测试结果：<Response [200]>  表示正常返回，
再json.loads()一下：
import json
json.loads(resp.text)