1回答

慕猿梦

2019-06-09

同学，您好，在使用python爬虫爬取数据的时候，经常会遇到一些网站的反爬虫措施，一般就是针对于headers中的User-Agent，如果没有对headers进行设置，User-Agent会声明自己是python脚本,而如果网站有反爬虫机制的话，必然会拒绝这样的连接。而修改headers可以将自己的爬虫脚本伪装成浏览器的正常访问。

如果我的回答解决了您的疑惑，欢迎采纳！！祝学习愉快~~~~~

0