| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 1545 人关注过本帖
标题:爬虫代码,想写入文件,但写不进,可以运行,不知道什么问题
只看楼主 加入收藏
木下瞳
Rank: 1
等 级:新手上路
帖 子:37
专家分:6
注 册:2017-9-24
结帖率:88.89%
收藏
 问题点数:0 回复次数:0 
爬虫代码,想写入文件,但写不进,可以运行,不知道什么问题
程序代码:
import time
import re
import requests

#请求头伪装浏览器
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.\
     3396.99 Safari/537.36'
    }

#初始化列表,转入爬虫信息
info_lists = []

#判断用户性别函数
def judgment_sex(class_name):
    if class_name == "manIcon":
        return ''
    else:
        return ''

#获取信息
def get_info(url):
    res = requests.get(url,headers = headers)
    ids = re.findall('<h2>(.*?)</h2>',res.text,re.S)
    levels = re.findall('<div class="articleGender \D+Icon">\
                        (.*?)</div>',res.text,re.S)
    sexs = re.findall('<div class="articleGender (.*?)"',
                      res.text,re.S)
    contents = re.findall('<span>(.*?)</span>',res.text,re.S)
    laughs = re.findall('<span class="stats-vote"><i class=\
                        "number">(\d+)</i> 好笑</span>',res.
                        text,re.S)
    comments = re.findall('<i class="number">(\d+)</i> 评论'
                          ,res.text,re.S)
    for id,level,sex,content,laugh,comment in zip(ids,levels,
                            sexs,contents,laughs,comments):
        info = {
            'id' : id,
            'level' : level,
            'sex' : judgment_sex(sex),
            'content' : content,
            'laugh' : laugh,
            'comment' : comment
            }
        info_lists.append(info)

urls = ['https://www.{}/'.format(
         str(i)) for i in range(1,14)]

for url in urls:
    get_info(url)
    time.sleep(1)

#写入文件
for info_list in info_lists:
    f = open('.\qiushi.txt','a+')
    try:
        f.write(info_list['id'] + '\n')
        f.write(info_list['level'] + '\n')
        f.write(info_list['sex'] + '\n')
        f.write(info_list['content'] + '\n')
        f.write(info_list['laugh'] + '\n')
        f.write(info_list['comment'] + '\n\n')
        f.close()
    except UnicodeEncodeError:
        pass
搜索更多相关主题的帖子: 文件 class res text write 
2018-07-04 19:22
快速回复:爬虫代码,想写入文件,但写不进,可以运行,不知道什么问题
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.023039 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved