关于python爬虫requests爬取json不能保存
我模仿别人写的对百度翻译的爬虫软件对里面的json部分进去爬取,数据爬取成功了,但是在对数据进行写入的时候却不能保存在本地,而且我用的pycharm在进行数据爬取时不知道为什么比别人要慢很多,要一分钟才能出数据保存文件,以下是我的代码。import requests
import json
#进行ua伪装
headers= {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
#抓取url
url='https://fanyi.baidu.com/sug'
query=input('in a word')
kw={
'kw':query
}
#模拟请求
reponse=requests.post(url=url,data=kw,headers=headers)
#获取数据
dic_obj = reponse.json()
#长久化存储
cun=query+'.json'
fp=open(cun, 'w', encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)
print(dic_obj,'抓取成功')