设置代理与请求头相关
来源:3-21 设置爬虫代理
慕粉2259528397
2020-04-23 17:25:58
请问老师,课程内说设置代理可以隐藏请求,意思是不是说使用代理之后,就可以不用设置headers就进行请求了?
1回答
时间,
2020-04-23
同学,你好。不是的,同学可以根据下述来理解请求头和代理
1、爬虫中设置请求头的目的是为了隐藏‘网络爬虫’的真实身份,从而避免目标服务器实施反爬策略以限制数据爬取,所以在一般情况下,都应该带上请求头的相关选项进行数据抓取。
2、服务器会禁止同一用户或者同一ip在某个时段高频率访问网站,或者为了防止黑客攻击手段,都会对用户进行反爬虫处理,而我们需要设置代理来伪装自己,假装自己不是机器人而是一个真实的用户。
如果我的回答解决了您的疑惑,请采纳!祝学习愉快~~~~
相似问题