设置代理与请求头相关

来源:3-21 设置爬虫代理

慕粉2259528397

2020-04-23 17:25:58

请问老师,课程内说设置代理可以隐藏请求,意思是不是说使用代理之后,就可以不用设置headers就进行请求了?

写回答

1回答

时间,

2020-04-23

同学,你好。不是的,同学可以根据下述来理解请求头和代理

1、爬虫中设置请求头的目的是为了隐藏‘网络爬虫’的真实身份,从而避免目标服务器实施反爬策略以限制数据爬取,所以在一般情况下,都应该带上请求头的相关选项进行数据抓取。

2、服务器会禁止同一用户或者同一ip在某个时段高频率访问网站,或者为了防止黑客攻击手段,都会对用户进行反爬虫处理,而我们需要设置代理来伪装自己,假装自己不是机器人而是一个真实的用户。

如果我的回答解决了您的疑惑,请采纳!祝学习愉快~~~~

0

0 学习 · 1672 问题

查看课程