| 网站首页 | 业界新闻 | 群组 | 交易 | 人才 | 下载频道 | 博客 | 代码贴 | 编程论坛
共有 242 人关注过本帖
标题:日历翻页要怎么采集?
只看楼主 加入收藏
绯红猫
Rank: 2
等 级:论坛游民
帖 子:9
专家分:20
注 册:2018-11-7
结帖率:0
  已结贴   问题点数:20  回复次数:6   
日历翻页要怎么采集?
不同时间的数据是不一样的,是否可以让爬虫循环点一遍日历上的日期,同时能够采集点击后显示的结果呢? 求助求助。。
2018-11-23 10:16
柠檬不萌01
Rank: 2
等 级:论坛游民
帖 子:4
专家分:12
注 册:2018-11-15
  得分:7 
就是用来解决这个问题的,不过做日历的点击,一组动作需要好多个点击,比如,点开-》选择年份-》点开月份-》选择月份-》点开日历-》选择某天,反正就是像普通人一样选择日期。

假设这个网页能把日期当成一个url参数,那就不要定义连续动作了,而是构造url网址,这就省劲了,可以大批量构造网址。
2018-11-23 10:24
绯红猫
Rank: 2
等 级:论坛游民
帖 子:9
专家分:20
注 册:2018-11-7
  得分:0 
回复 楼主 绯红猫
那怎么循环起来呢,比如我从一月一号开始,怎么设置才能 第二次选择一月二号呢。或者可以出个视频。希望能解释清楚点。
2018-11-23 10:29
柠檬不萌01
Rank: 2
等 级:论坛游民
帖 子:4
专家分:12
注 册:2018-11-15
  得分:0 
你点击日历的那个xpath节点 要写成能找到全部日期的节点 如1月要定位到31个节点 那程序就会按顺序去点击31个节点
2018-11-23 13:14
小丽友
Rank: 2
等 级:论坛游民
帖 子:11
专家分:17
注 册:2018-11-15
  得分:7 
回复 2楼 柠檬不萌01
可以,preceding-sibling::div[1],就表示当前节点的上一个兄弟div类型的节点
2018-11-23 13:18
萌萌01
Rank: 1
等 级:新手上路
帖 子:4
专家分:7
注 册:2018-11-15
  得分:7 
你们采集数据都是使用什么代理ip,效果怎么样呢?
2018-11-23 13:23
小丽友
Rank: 2
等 级:论坛游民
帖 子:11
专家分:17
注 册:2018-11-15
  得分:0 
回复 5楼 小丽友
我用过挺多代理的,都不怎么能满足我们公司的需求,因为我们终端有80多个,每次请求快一亿的连接数,还需要24小时之内都能源源不断的有新的IP。后来通过朋友介绍 现在用的是代理云,我这些需求是全部都满足了。如果你是个人的每天采集的不大,终端少,不需要质量太高的代理IP,那试试站大爷或者迅代理也可以。
2018-11-23 13:44







关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.022578 second(s), 8 queries.
Copyright©2004-2018, BCCN.NET, All Rights Reserved