这篇文章给大家介绍Python中怎么获取JS动态内容，中获内容非常详细，态内感兴趣的中获小伙伴们可以参考借鉴，希望对大家能有所帮助。态内

网页的中获新闻在HTML源码中一条都找不到，全是态内由JS动态生成加载。
遇到这种情况，中获我们应该如何对网页进行爬取呢？有两种方法：
1、态内从网页响应中找到JS脚本返回的中获JSON数据；2、使用Selenium对网页进行模拟访问
在此只对第一种方法作介绍，态内关于Selenium的中获使用，后面有专门的态内一篇。

即使网页内容是由JS动态生成加载的，JS也需要对某个接口进行调用，态内并根据接口返回的中获JSON数据再进行加载和渲染。


所以我们可以找到JS调用的数据接口，从数据接口中找到网页中最后呈现的数据。


就以今日头条为例来演示：



 

undefined

undefined
undefined
undefined
undefined

undefined

undefined
undefined
undefined

与首页的图片新闻呈现的数据是一样的，那么数据应该就在这里面了。
看看其他的链接：

这应该是热搜关键词

这个就是图片新闻下面的新闻了。
我们打开一个接口链接看看：http://www.toutiao.com/api/pc/focus/

返回一串乱码，但从响应中查看的是正常的编码数据：

有了对应的数据接口，我们就可以仿照之前的方法对数据接口进行请求和获取响应了

先上完整代码：

# coding：utf-8import requestsimport jsonurl = 'http://www.toutiao.com/api/pc/focus/'wbdata = requests.get(url).textdata = json.loads(wbdata)news = data['data']['pc_feed_focus']for n in news:      title = n['title']      img_url = n['image_url']      url = n['media_url']      print(url,title,img_url)

返回出来的结果如下：

照例，稍微讲解一下代码：
代码分为四部分，
第一部分：引入相关的库

# coding：utf-8import requestsimport json

第二部分：对数据接口进行http请求

url = ' wbdata = requests.get(url).text

第三部分：对HTTP响应的数据JSON化，并索引到新闻数据的位置

data = json.loads(wbdata)news = data['data']['pc_feed_focus']

第四部分：对索引出来的JSON数据进行遍历和提取

for n in news:      title = n['title']      img_url = n['image_url']      url = n['media_url']      print(url,title,img_url)

关于Python中怎么获取JS动态内容就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。