| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 1587 人关注过本帖, 1 人收藏
标题:python爬虫关于动态url的匹配的问题
只看楼主 加入收藏
xingshuyin
Rank: 1
等 级:新手上路
帖 子:2
专家分:0
注 册:2020-11-17
结帖率:0
收藏(1)
已结贴  问题点数:20 回复次数:3 
python爬虫关于动态url的匹配的问题
今天想要帮学校爬取学生处后台的企业信息,因为后台是用JavaScript写的动态页面,没法直接find ,我就想用requests获取,json数据,当输入url时发现他的末尾的数字是根据time.time()写的而且精确到了毫秒,有没有大佬能够知道如何匹配这样的url吗
搜索更多相关主题的帖子: python 动态 爬虫 url 匹配 
2020-11-17 18:31
fall_bernana
Rank: 11Rank: 11Rank: 11Rank: 11
等 级:贵宾
威 望:17
帖 子:244
专家分:2106
注 册:2019-8-16
收藏
得分:20 
以下是引用xingshuyin在2020-11-17 18:31:44的发言:

今天想要帮学校爬取学生处后台的企业信息,因为后台是用JavaScript写的动态页面,没法直接find ,我就想用requests获取,json数据,当输入url时发现他的末尾的数字是根据time.time()写的而且精确到了毫秒,有没有大佬能够知道如何匹配这样的url吗

这个毫秒的参数应该不会影响你获取数据。如果你获取不到数据应该用selenium 来获取动态js的页面,而不是requests
2020-11-18 13:22
xingshuyin
Rank: 1
等 级:新手上路
帖 子:2
专家分:0
注 册:2020-11-17
收藏
得分:0 
回复 2楼 fall_bernana
request是不是只能获取静态的页面?
2021-03-30 16:17
sssooosss
Rank: 9Rank: 9Rank: 9
等 级:禁止访问
威 望:3
帖 子:664
专家分:1115
注 册:2019-8-27
收藏
得分:0 
共同学习
2021-04-02 08:31
快速回复:python爬虫关于动态url的匹配的问题
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.066072 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved