1回答

好帮手慕笑蓉

2020-06-08

同学，你好。

1、在使用python爬虫爬取数据的时候，经常会遇到一些网站的反爬虫措施，一般就是针对于headers中的User-Agent，如果没有对headers进行设置，User-Agent会声明自己是python脚本,而如果网站有反爬虫的想法的话，必然会拒绝这样的连接。而修改headers可以将自己的爬虫脚本伪装成浏览器的正常访问，来避免这一问题。因此我们可以选择写，也可以选择不写，取决于要爬取的网站时怎样的。

2、编写header按照HTTP请求的格式去写，请求行一般是要编写的，消息报头部分可以选择性的写一些内容。一般请求头不用自己去一个一个的编写，同学可以按照老师的方法直接粘贴浏览器上的请求头，然后根据需要进行修改。

如果解决了你的疑惑，请采纳，祝学习愉快～ 

0