| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 1813 人关注过本帖
标题:又来求助各位老师了,这个网页的数据如何采集?
只看楼主 加入收藏
jinanshui
Rank: 2
等 级:论坛游民
帖 子:292
专家分:67
注 册:2009-10-6
结帖率:93.88%
收藏
已结贴  问题点数:20 回复次数:5 
又来求助各位老师了,这个网页的数据如何采集?
又来求助各位老师了,这个网页的数据如何采集?能不能把所有学科的评估数据都采集下来,谢谢,有点贪心了
https://souky.
我查看网页源码,上面只有哲学的
view-source:https://souky.



搜索更多相关主题的帖子: api 老师 采集 数据 网页 
2021-06-12 13:50
wp231957
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:神界
等 级:贵宾
威 望:423
帖 子:13688
专家分:53332
注 册:2012-10-18
收藏
得分:20 
回复 楼主 jinanshui
程序代码:
import requests

url = 'https://souky.'
headers = {
          'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
          }
for xid in range(1,112):
    data = {
        'xid': str(xid),
        'flag': '1'
        }
    res=requests.post(url=url,headers=headers,data=data)
    print(res.text.encode(encoding="utf-8").decode(encoding="unicode_escape"))


DO IT YOURSELF !
2021-06-12 15:19
jinanshui
Rank: 2
等 级:论坛游民
帖 子:292
专家分:67
注 册:2009-10-6
收藏
得分:0 
谢谢老师,我试试
2021-06-12 15:48
s1518838035
Rank: 1
等 级:新手上路
帖 子:7
专家分:0
注 册:2020-4-8
收藏
得分:0 
回复 2楼 wp231957
大佬,我有个编程题,能请教一下吗
2021-06-24 14:50
wapjin
Rank: 1
等 级:新手上路
帖 子:7
专家分:5
注 册:2021-6-29
收藏
得分:0 
百度一下,你就知道

分享一下你的技术
2021-06-29 16:20
thtssqc
Rank: 1
等 级:新手上路
帖 子:2
专家分:0
注 册:2017-8-6
收藏
得分:0 
使用requests模块访问接口请求数据,用jupyter notebook测试了下:

import requests
url="https://api.
data={
"limit": '100000',  # 限制数量
"page": 1}
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
resp = requests.post(url,data=data,headers=headers)
resp
测试结果:<Response [200]>  表示正常返回,
再json.loads()一下 :
import json   
json.loads(resp.text)
2023-06-02 15:39
快速回复:又来求助各位老师了,这个网页的数据如何采集?
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.015677 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved