| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 861 人关注过本帖
标题:关于python爬虫requests爬取json不能保存
取消只看楼主 加入收藏
a122311
Rank: 1
等 级:新手上路
帖 子:3
专家分:0
注 册:2022-3-19
收藏
 问题点数:0 回复次数:1 
关于python爬虫requests爬取json不能保存
我模仿别人写的对百度翻译的爬虫软件对里面的json部分进去爬取,数据爬取成功了,但是在对数据进行写入的时候却不能保存在本地,而且我用的pycharm在进行数据爬取时不知道为什么比别人要慢很多,要一分钟才能出数据保存文件,以下是我的代码。
import requests
import json
#进行ua伪装
headers= {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
#抓取url
url='https://fanyi.baidu.com/sug'
query=input('in a word')
kw={
    'kw':query
}
#模拟请求
reponse=requests.post(url=url,data=kw,headers=headers)
#获取数据
dic_obj = reponse.json()
#长久化存储
cun=query+'.json'
fp=open(cun, 'w', encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)
print(dic_obj,'抓取成功')
搜索更多相关主题的帖子: query 数据 爬虫 保存 url 
2022-03-19 14:46
a122311
Rank: 1
等 级:新手上路
帖 子:3
专家分:0
注 册:2022-3-19
收藏
得分:0 
问题就在进行长久化存储时,保存在电脑里的json数据为空
2022-03-19 14:47
快速回复:关于python爬虫requests爬取json不能保存
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.012360 second(s), 9 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved