爬虫被屏蔽,如何添加一个请求头部,模拟浏览器登录
各位朋友你们好! 嘻嘻,我是一名自学python的小白,如觉得问题对于您来说简单,还请您谅解小白我在联练习scrapy安装与真的快速上手——爬取豆瓣9分榜单,在这里在settings.py文件夹下添加了USER_AGENT = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0'
这样一句代码,我就是不明白了,这个是怎么来的,我在网站界面 “查看页面源代码”中并没有法相与此相同的代码,想问这个是怎么来的,并且要是在http://book.网址中如何编写这样的代码?
还请各位朋友,帮帮我的忙!