1回答

好帮手乔木

2019-11-25

同学你好：

User-Agent：请求载体身份标识，通过浏览器发起的请求，请求载体为浏览器，则该请求的User-Agent为浏览器的身份标识，使用爬虫程序发起的请求，则该请求的载体为爬虫程序，则该请求的User-Agent为爬虫程序的身份标识。可以通过判断该值来获知该请求的载体究竟是基于哪款浏览器还是基于爬虫程序。

反爬机制：某些门户网站会对访问该网站的请求中的User-Agent进行捕获和判断，如果该请求的UA为爬虫程序，则拒绝向该请求提供数据,所有的网站都会设置这个反爬机制。

解决：将爬虫程序的UA伪装成某一款浏览器的身份标识，因此需要设置user-agent。

如果我解决了同学的问题，请采纳！学习愉快^_^。

0