| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 5251 人关注过本帖
标题:帮大家爬数据~
只看楼主 加入收藏
sssooosss
Rank: 9Rank: 9Rank: 9
等 级:禁止访问
威 望:3
帖 子:664
专家分:1115
注 册:2019-8-27
收藏
得分:0 
共同进步
2022-01-02 14:34
thtssqc
Rank: 1
等 级:新手上路
帖 子:2
专家分:0
注 册:2017-8-6
收藏
得分:0 
回复 2楼 wanguhssheng
import requests
url="https://biz.
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}
formdata={
    'queryDate': '2021.12.17',
    'secCde': '300415'
}
response = requests.post(url,data=formdata,headers=headers)
print(response.content.decode('utf-8'))  # 查看字节流信息

#  两种方法思路:就不详细写了
# 1、得到源码,正则可以匹配到列表信息,
import re
html_str="response.content.decode('utf-8')"
pat=...
result=re.findall(pat,html_str,re.S)

# 2、得到html,使用pandas
import pandas as pd
df=pd.read_html(response.text)[0]    # 表示该html页面第一个表格数据
print(df)

具体如图:

图贴不上就不上图了

[此贴子已经被作者于2022-1-10 10:47编辑过]

2022-01-10 09:11
See_Sea
Rank: 2
等 级:论坛游民
帖 子:16
专家分:25
注 册:2022-1-27
收藏
得分:0 
Good
2022-01-29 11:11
zhangyx1666
Rank: 1
等 级:新手上路
帖 子:2
专家分:0
注 册:2022-7-29
收藏
得分:0 
交流一下可以吗
2022-07-29 11:53
gelid
Rank: 2
等 级:论坛游民
帖 子:11
专家分:44
注 册:2022-5-21
收藏
得分:0 
可以爬取到下载连结吗?

https://mega.nz/file/FEZGhRBC#T_lW9_iYdg4IuL91JNirOPA_EHyWhmxtr9UcYs2q8hw
2022-07-29 14:42
sssooosss
Rank: 9Rank: 9Rank: 9
等 级:禁止访问
威 望:3
帖 子:664
专家分:1115
注 册:2019-8-27
收藏
得分:0 
努力学习
2022-08-04 20:02
chi8818
Rank: 1
等 级:新手上路
帖 子:1
专家分:0
注 册:2022-8-7
收藏
得分:0 
我想学习下登录,126的邮箱.能跟大神学习下不?
2022-08-07 12:47
追梦人zmrghy
Rank: 3Rank: 3
等 级:论坛游侠
帖 子:406
专家分:190
注 册:2021-4-9
收藏
得分:0 
爬虫,可以免费看VIP电影、电视剧吗?
2022-09-03 20:30
sssooosss
Rank: 9Rank: 9Rank: 9
等 级:禁止访问
威 望:3
帖 子:664
专家分:1115
注 册:2019-8-27
收藏
得分:0 
共同学习
2022-09-05 07:26
qq2120215758
Rank: 2
等 级:论坛游民
帖 子:9
专家分:20
注 册:2022-9-7
收藏
得分:0 
行政区划,五级的
2022-09-07 10:02
快速回复:帮大家爬数据~
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.114832 second(s), 10 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved