selenium怎么抓取到网页中的json数据
来源:1-1 selenium介绍
后知后觉469874
2023-03-01 13:19:15
用selenium爬51job的时候 发现网页的内容是json文本 怎么用selenium怎么抓取到网页中的json数据
1回答
时间,
2023-03-01
同学,你好!在selenium中使用drive.page_source获取当前页面源码后再使用BeautifulSoup即可。参考代码:
from bs4 import BeautifulSoup import json as js html = """ <script id="DATA_INFO" type="application/json" > { "user": { "isLogin": true, "userInfo": { "id": 123456, "nickname": "LiMing", "intro": "人生苦短,我用python" } } } </script> """ # selenium获取当前页面源码 # html = drive.page_source # BeautifulSoup转换页面源码 bs = BeautifulSoup(html, 'lxml') # 获取Script标签下的完整json数据,并通过json加载成字典格式 js_test = js.loads(bs.find("script", {"id": "DATA_INFO"}).get_text()) print(js_test)
具体的操作方法同学要根据实际的页面进行调整
祝学习愉快!
相似问题