{爬虫问题}网页数量不知，如何确定线程何时结束？而且要保证爬完。 - Python论坛

编程论坛 → 开发语言 → 『 Python论坛』 → {爬虫问题}网页数量不知，如何确定线程何时结束？而且要保证爬完。

欢迎加入我们，一同切磋技术

共有 1273 人关注过本帖

标题：{爬虫问题}网页数量不知，如何确定线程何时结束？而且要保证爬完。

取消只看楼主加入收藏

pypro

等　级：新手上路
帖　子：18
专家分：0
注　册：2010-4-10
结帖率：80%

问题点数：0 回复次数：1

{爬虫问题}网页数量不知，如何确定线程何时结束？而且要保证爬完。

{爬虫问题}网页数量不知，如何确定线程何时结束？
而且要保证爬完。

搜索更多相关主题的帖子: 线程　爬虫　结束　数量　网页　

2010-04-15 16:08

pypro

等　级：新手上路
帖　子：18
专家分：0
注　册：2010-4-10

得分:0

回复 2楼外部三电铃

每个线程任务设定的是从队列里取一个URL爬

由于不知道具体网页数量，队列里的结束标记也不好放

理论上应该可以设定一段时间内没有输出就结束线程

但是这个PYTHON能实现不？

2010-04-15 21:10

快速回复：{爬虫问题}网页数量不知，如何确定线程何时结束？而且要保证爬完。