API获取
来源:3-1 通过API接口获取数据
weixin_慕移动3269891
2024-03-04 11:34:59
老师,使用您课上的方法无法获取信息。输入您视频里面的请求URL就可以获取,不知道我哪一步有问题
1回答
DeltaF
2024-03-04
没太明白你的问题?爬虫获取数据的核心是URL,简单的网站而言,网站通过抓取网站url加模拟数据获取(比如点击下一页)就能获取数据,但由于现在的网站都有反爬机制,也就是会通过限制你登陆、爬取数据的频次和时间,增加验证码等方式禁止爬虫,尤其是一些电商类网站难度会高一些。所以这个获取数据的url,我们通常要扒出来,也就是我们要尽可能获取直接返回数据结果的url,你要知道前端页面都是通过html渲染包装数据呈现出来的,所以你说用上课的方法没有获取到,是不是因为你没有找到获取数据结果的那个url?
相似问题