time.sleep(3)
    queue = Queue()
    New_start = input(('导入批量url文本:'))
    levels = int(input(('设置扫描等级:')))
    countss = int(input(('设置扫描进程数:')))
    p = multiprocessing.Pool(countss)
    list_ = list(set(
        [x.replace('\n', '') if x.startswith('http') else 'http://' + x.replace('\n', '') for x in
         open(New_start, 'r', encoding='UTF-8').readlines()]))
    for i in list_:
        queue.put(i)
        print(i + " -------> 加入队列 当前队列总任务数:%s" % queue.qsize())
    while not queue.empty():
        # 子进程原来跑 进行测试
        p.apply_async(get_url_sql, args=(queue.get(), levels))
    p.close()
    p.join()
    print("当前队列中的任务数为:%s" % queue.qsize())
    while True:
        if queue.qsize() < 10:
            opm = OPMysql()
            sql = "select url from url_index limit 1,20"
            res = opm.op_select(sql)
            _list = [i[j].replace('\r\n', '').replace(' ', '')
                     for i in res for j in i]
            url_list = list(set(_list))
            for i in url_list:
                time.sleep(0.5)
                queue.put(i)
                print(i + " -------> 加入队列 当前队列总任务数:%s" % queue.qsize())
            opm.dispose()  # 释放资源

哥哥们帮帮忙  现在的情况是这样的。。。 自己做了一个下午了
我自己写的想实现多进程异步  子进程取出队列的url跑sql  主进程就是数据库的交互把url放入队列中  但是这样写好像不行 是哪里错了吗

[此贴子已经被作者于2019-9-26 16:54编辑过]

现在的情况就是一直卡住 动了不动 我用的是from multiprocessing Queue

老哥我按照你的这样写了

    while not queue.empty():
        # 子进程原来跑 进行测试
        p.apply_async(get_url_sql, args=(queue.get(), levels))
        p.apply_async(tttttta, args=(queue,))
    p.close()
    p.join()

还是不行 很着急 弄了一个下午都没好 可能我太笨了 你能不能给个联系QQ 我好问你问题
上面的这样子 结果是加入了队列就直接结束了

tttttta函数封装的是数据库存入队列的操作

def tttttta(qqqq):
    print("当前队列中的任务数为:%s" % qqqq.qsize())
    while True:
        if qqqq.qsize() < 10:
            opm = OPMysql()
            sql = "select url from url_index limit 1,20"
            res = opm.op_select(sql)
            _list = [i[j].replace('\r\n', '').replace(' ', '')
                     for i in res for j in i]
            url_list = list(set(_list))
            for i in url_list:
                time.sleep(0.5)
                qqqq.put(i)
                print(i + " -------> 加入队列 当前队列总任务数:%s" % qqqq.qsize())
            opm.dispose()  # 释放资源