如何爬取 某些网页，返回一些奇怪的东西？

Question

连接都是我使用fidder 抓包手机App得到的，可是我明明看到的是 刷新出的是页面，可是连接 却返回这么个东西，没有jison什么的

这是个什么玩意，怎么搞？

1.

http://data.howbuy.com/hws/news/listbytype.protobuf?newestVer=0&pageCount=25&currentPage=1&basicType=&newsType=129013&channelId=102401532&token=7504457408dabb842645746b07a906a8&coopId=A20131205&actionId=HD0001&parPhoneModel=android&subPhoneModel=MI+3&iVer=4.2.2&deviceId=7FED7E7CDEB099D78294E284A0225245&corpId=000004&productId=28294488&version=4.2.2

可以 看到连接的路径 说的都是 新闻的列表 ，可是 返回个 文件。。。

2.

http://quotes.66zhang.com:8888/query?q=inst&s=sha-600313&t=all&f=pb&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

这个好歹有数值，虽然不知道乱码 是怎么回事？

3.http://apiv2.66zhang.com/content/hold?stock=sha-600313&offset=0&view_cnt=20&uid=8163617&channel=xiaomi&app_version=30.16&d_model=MI%203&d_version=4.4.4

刷新页面 看到的是 用户操作列表，可以实际 返回确实 一串 什么码，这个怎么抓？

第1个 是个app，叫掌上基金

第2.3个是个app，叫 股票雷达

Answer 1

用javascript也可以写爬虫 在云端编写和执行 源码地址：
https://github.com/ShenJianShou/crawler_samples

Answer 2

伪装头，伪装cookie，检测是否有中间页

Answer 3

首先是请求地址是否要登录信息，是否需要父级地址作参数，url请求编码

Answer 4

请求头里面可能也会有特殊参数,光看url没用

Answer 5

返回文件，可能请求表头返回格式有关，乱码，可能是有表头信息编码有关，