火车头采集 谷歌浏览器获取cookie以及抓包获取真实链接

目前大多数浏览器都会自带开发者工具（一般按f12即可出现），网页的cookie以及网址打开后加载的各类信息都是可以看到的。

下面以谷歌浏览器为例：

1.在谷歌浏览器里打开http://www.sd-portygzc.com/jyxx/project.html网址

这个网址点击分页时，会发现网址是不变，这个就是典型的需要抓包真实链接的post网址。

2.从右上角自定义控制里打开开发者工具或者直接按f12运行，

3.开启工具后，点击翻页后，工具里出现了个链接，这个就是网址的翻页的请求信息

4.有些网址翻页请求的信息是不止一个的，如果不确定请求的话，可以查看请求信息的回执内容来判断真实的翻页请求，即如图

5.接下来通过header里的信息来确定翻页网址是get还是post，get网址一般是可以直接打开访问的（但是有特殊头信息的不行），post网址就不能直接打开（只能再软件里直接设置）

6.看header里的信息会发现这个是个post请求，但是这里却没有post请求参数，但是可以看到header后面有个payload，实际上参数被放这里了

通过以上步骤，基本上获取到制作获取内容页规则的相关信息。以下规则设置

1.比如从pesponse里获取内容页相关参数

2.post参数设置，可以再payload里点击view sorce获取以下参数

3.设置http请求，固定网页编码，添加cookie和user-agent，以及特殊头信息设置

备注：特殊头信息一般是区别与一般网页请求的信息。