selenium怎么抓取到网页中的json数据

来源:1-1 selenium介绍

后知后觉469874

2023-03-01 13:19:15

用selenium爬51job的时候 发现网页的内容是json文本 怎么用selenium怎么抓取到网页中的json数据

写回答

1回答

时间,

2023-03-01

同学,你好!在selenium中使用drive.page_source获取当前页面源码后再使用BeautifulSoup即可。参考代码:

from bs4 import BeautifulSoup
import json as js
html = """
<script id="DATA_INFO" type="application/json" >
{
  "user": {
    "isLogin": true,
    "userInfo": {
      "id": 123456,
      "nickname": "LiMing",
      "intro": "人生苦短,我用python"
    }
  }
}
</script>
"""
# selenium获取当前页面源码
# html = drive.page_source
# BeautifulSoup转换页面源码
bs = BeautifulSoup(html, 'lxml')
# 获取Script标签下的完整json数据,并通过json加载成字典格式
js_test = js.loads(bs.find("script", {"id": "DATA_INFO"}).get_text())
print(js_test)

具体的操作方法同学要根据实际的页面进行调整

祝学习愉快!

0

0 学习 · 4470 问题

查看课程