|
网站首页
|
业界新闻
|
小组
|
威客
|
人才
|
下载频道
|
博客
|
代码贴
|
在线编程
|
编程论坛
|
登录
注册
短消息
我发表的主题
我参与的主题
我收藏的贴子
我上传的附件
我下过的附件
编辑个人资料
我的博客
用户控制面板
搜索
道具
恢复默认风格
碧海青天
秋意盎然
棕红预览
粉色回忆
蓝雅绿
紫色淡雅
青青河草
e点小镇
橘子红了
红红夜思
水晶紫色
雪花飘飘
新年快乐
风格
短消息
论坛展区
帮助
编程论坛
→
开发语言
→
『 Python论坛 』
→ 在爬取网站数据时突然发现网站不是用网址参数进行传递的,这可如何是好啊?
我的收件箱(0)
欢迎加入我们,一同切磋技术
用户名:
密 码:
共有
778
人关注过本帖
标题:
在爬取网站数据时突然发现网站不是用网址参数进行传递的,这可如何是好啊?
只看楼主
加入收藏
广水一中肖聪
等 级:
新手上路
帖 子:16
专家分:0
注 册:2023-6-20
结帖率:
100%
楼主
收藏
已结贴
√
问题点数:20 回复次数:5
在爬取网站数据时突然发现网站不是用网址参数进行传递的,这可如何是好啊?
网址如下:http://58.49.47.121:81/n_score/index.jsp
本来以为是将高考报名号、身份证号、验证码作为网址参数传递后打开新的网页显示成绩信息,没想到成绩查询页面的网址没有变化,那这样在查询的时候如何将高考报名号、身份证号、验证码信息告诉网站,让网站显示成绩信息后我好用find爬取所需数据呢?
搜索更多相关主题的帖子:
数据
参数
网址
网站
传递
2023-06-27 12:54
举报帖子
使用道具
赠送鲜花
sheeboard
等 级:
版主
威 望:
16
帖 子:79
专家分:442
注 册:2023-2-16
第
2
楼
收藏
得分:15
抓包,看post包的内容,然后构造包发送到相应的webAPI上,响应包里就会有你要的数据,难点么是有些网站有反爬,比如会把时间和客户验证信息哈希用作token放在包头里来验证post包,需要找相应js来生成,相对requests,selenium简单多了,就是模拟人的操作,缺点是速度慢点。
[此贴子已经被作者于2023-6-27 13:53编辑过]
2023-06-27 13:33
举报帖子
使用道具
赠送鲜花
阳光上的桥
等 级:
版主
威 望:
38
帖 子:129
专家分:772
注 册:2023-1-12
第
3
楼
收藏
得分:5
首先,建议别碰这个网站,跟踪学习一下可以,玩坏了良心受不了,被逮到了后果很严重。
分析方法一:在浏览器按F12,打开网络,登录一下
分析方法二:查看源码,下载JS文件,看看按钮的事件和JS代码
2023-06-27 15:25
举报帖子
使用道具
赠送鲜花
广水一中肖聪
等 级:
新手上路
帖 子:16
专家分:0
注 册:2023-6-20
第
4
楼
收藏
得分:0
回复 3楼 阳光上的桥
领导要求查询所有成绩,想做个自动查询的程序,学生太多,一个个输入得累死
2023-06-28 12:18
举报帖子
使用道具
赠送鲜花
阳光上的桥
等 级:
版主
威 望:
38
帖 子:129
专家分:772
注 册:2023-1-12
第
5
楼
收藏
得分:0
有验证码,可能难搞
2023-06-28 15:48
举报帖子
使用道具
赠送鲜花
pvm2000
等 级:
贵宾
威 望:
24
帖 子:180
专家分:312
注 册:2022-12-22
第
6
楼
收藏
得分:0
回复 4楼 广水一中肖聪
各中学的高考成绩,应该是被分发下来的吧
2023-06-28 18:20
举报帖子
使用道具
赠送鲜花
6
1/1页
1
快速回复:
在爬取网站数据时突然发现网站不是用网址参数进行传递的,这可如何是好 ...
数据加载中...
关于我们
|
广告合作
|
编程中国
|
清除Cookies
|
TOP
|
手机版
编程中国
版权所有,并保留所有权利。
Powered by
Discuz
, Processed in 0.057650 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved