lovesvidon的个人博客分享 http://blog.sciencenet.cn/u/lovesvidon

博文

【补充】Chrome内置工具抓包分析

已有 5707 次阅读 2018-4-3 14:57 |个人分类:写着玩|系统分类:科研笔记

 这里不详细介绍怎么使用Chrome内置开发工具进行抓包分析,只是对之前的一篇博文中的关于抓包获取url的过程经行一个补充说明,所以在看这篇文章之前,确保你已经读过下面这篇文章:

【python爬虫】抓取B站视频数据及相关信息(二)

在之前关于python爬虫的第二篇文章中,我提到了用来解析的json数据的来源是抓包分析,也就是说用来爬去的那个关键的url是抓包分析得来的。那么,这里就简单重复一遍利用Chrome内置开发工具找到关键url的全过程,并做出必要的解释。首先,抓包分析的准备过程可以简单归纳为以下几点:

  1. 用Chrome浏览器打开目标网址(进入up主的空间)

  2. 按下F12,打开开发者工具

  3. 点击Network,进入抓包分析工具界面

如果按照上述步骤完成,你会看到如下的界面。红圈圈住的Network便是今天的主角:


接下来让我们刷新一下界面(F5),Network便会抓住客户端对服务器请求的反馈,也就是“包”,并且将它们进行分类显示在下面的表格中,这个过程便是“抓包”。

我们这里主要关注XHR对象,因为我们的最终目的是需要爬去up主的所有视频的aid,这是一个列表信息,当客户端请求访问up主主页时,这个列表信息是一定会返回给客户端的,而且是以XHR的形式反馈回来。XHR的全称是XMLHttpRequest,可以发现这本就是用来处理XML文本的ajax框架下的接口。

在XHR对象类型的列表中,可以发现一个8.8KB的包,名称为getSubmitVideos。点开后可以看到其中的文本内容与该对象的详细描述(红圈部分便是我们需要的关键url):


如需python源码,请关注:

https://github.com/JinyuGuan/JINYU.git

https://github.com/JinyuGuan/JINYU.git



https://blog.sciencenet.cn/blog-3189881-1107186.html

上一篇:借由某视频平台出发简析一下当下网络生态环境的一角
下一篇:【Q-learning系列】解决“房间问题”的一个通用方法
收藏 IP: 114.102.146.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-24 03:44

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部