注册 登录
编程论坛 Python论坛

python爬虫关于动态url的匹配的问题

xingshuyin 发布于 2020-11-17 18:31, 1630 次点击
今天想要帮学校爬取学生处后台的企业信息,因为后台是用JavaScript写的动态页面,没法直接find ,我就想用requests获取,json数据,当输入url时发现他的末尾的数字是根据time.time()写的而且精确到了毫秒,有没有大佬能够知道如何匹配这样的url吗
3 回复
#2
fall_bernana2020-11-18 13:22
以下是引用xingshuyin在2020-11-17 18:31:44的发言:

今天想要帮学校爬取学生处后台的企业信息,因为后台是用JavaScript写的动态页面,没法直接find ,我就想用requests获取,json数据,当输入url时发现他的末尾的数字是根据time.time()写的而且精确到了毫秒,有没有大佬能够知道如何匹配这样的url吗

这个毫秒的参数应该不会影响你获取数据。如果你获取不到数据应该用selenium 来获取动态js的页面,而不是requests
#3
xingshuyin2021-03-30 16:17
回复 2楼 fall_bernana
request是不是只能获取静态的页面?
#4
sssooosss2021-04-02 08:31
共同学习
1