| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 761 人关注过本帖
标题:在爬取网站数据时突然发现网站不是用网址参数进行传递的,这可如何是好啊?
只看楼主 加入收藏
广水一中肖聪
Rank: 1
等 级:新手上路
帖 子:16
专家分:0
注 册:2023-6-20
结帖率:100%
收藏
已结贴  问题点数:20 回复次数:5 
在爬取网站数据时突然发现网站不是用网址参数进行传递的,这可如何是好啊?
网址如下:http://58.49.47.121:81/n_score/index.jsp
本来以为是将高考报名号、身份证号、验证码作为网址参数传递后打开新的网页显示成绩信息,没想到成绩查询页面的网址没有变化,那这样在查询的时候如何将高考报名号、身份证号、验证码信息告诉网站,让网站显示成绩信息后我好用find爬取所需数据呢?
搜索更多相关主题的帖子: 数据 参数 网址 网站 传递 
2023-06-27 12:54
sheeboard
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:16
帖 子:79
专家分:442
注 册:2023-2-16
收藏
得分:15 
抓包,看post包的内容,然后构造包发送到相应的webAPI上,响应包里就会有你要的数据,难点么是有些网站有反爬,比如会把时间和客户验证信息哈希用作token放在包头里来验证post包,需要找相应js来生成,相对requests,selenium简单多了,就是模拟人的操作,缺点是速度慢点。

[此贴子已经被作者于2023-6-27 13:53编辑过]

2023-06-27 13:33
阳光上的桥
Rank: 16Rank: 16Rank: 16Rank: 16
等 级:版主
威 望:38
帖 子:129
专家分:772
注 册:2023-1-12
收藏
得分:5 
首先,建议别碰这个网站,跟踪学习一下可以,玩坏了良心受不了,被逮到了后果很严重。

分析方法一:在浏览器按F12,打开网络,登录一下
分析方法二:查看源码,下载JS文件,看看按钮的事件和JS代码
2023-06-27 15:25
广水一中肖聪
Rank: 1
等 级:新手上路
帖 子:16
专家分:0
注 册:2023-6-20
收藏
得分:0 
回复 3楼 阳光上的桥
领导要求查询所有成绩,想做个自动查询的程序,学生太多,一个个输入得累死
2023-06-28 12:18
阳光上的桥
Rank: 16Rank: 16Rank: 16Rank: 16
等 级:版主
威 望:38
帖 子:129
专家分:772
注 册:2023-1-12
收藏
得分:0 
有验证码,可能难搞
2023-06-28 15:48
pvm2000
Rank: 6Rank: 6
等 级:贵宾
威 望:24
帖 子:180
专家分:312
注 册:2022-12-22
收藏
得分:0 
回复 4楼 广水一中肖聪
各中学的高考成绩,应该是被分发下来的吧
2023-06-28 18:20
快速回复:在爬取网站数据时突然发现网站不是用网址参数进行传递的,这可如何是好 ...
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.021039 second(s), 11 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved