selenium怎么抓取到网页中的json数据
来源:1-1 selenium介绍
后知后觉469874
2023-03-01 13:19:15
用selenium爬51job的时候 发现网页的内容是json文本 怎么用selenium怎么抓取到网页中的json数据
1回答
时间,
2023-03-01
同学,你好!在selenium中使用drive.page_source获取当前页面源码后再使用BeautifulSoup即可。参考代码:
from bs4 import BeautifulSoup
import json as js
html = """
<script id="DATA_INFO" type="application/json" >
{
"user": {
"isLogin": true,
"userInfo": {
"id": 123456,
"nickname": "LiMing",
"intro": "人生苦短,我用python"
}
}
}
</script>
"""
# selenium获取当前页面源码
# html = drive.page_source
# BeautifulSoup转换页面源码
bs = BeautifulSoup(html, 'lxml')
# 获取Script标签下的完整json数据,并通过json加载成字典格式
js_test = js.loads(bs.find("script", {"id": "DATA_INFO"}).get_text())
print(js_test)具体的操作方法同学要根据实际的页面进行调整
祝学习愉快!
相似问题