关于 爬虫拼接 url 连接 参数的问题。

Question

是不是 有些网站 防止重复提交，还会对参数 之间  进行校验？

比如这里 我找的 后台请求的json的链接：

第一页：

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10+13%3A30%3A23&sid=&imei=1.0&v=2.0&sign=64c5ec32720f97401aa502a74f41500b&data={%22limit%22%3A%2220%22%2C%22start%22%3A%220%22}&api=api.system.basket.adjustlist&imsi=1.0

第二页：

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10%2013:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={%22limit%22:%2220%22,%22start%22:%2220%22}&api=api.system.basket.adjustlist&imsi=1.0

对URL 进行了 ENCode， 通过 Decode 发现 后面的参数 实际是：

第一页：

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api

?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:30:23&sid=&imei=1.0&v=2.0&sign=64c5ec32720f97401aa502a74f41500b&data={"limit":"20","start":"0"}&api=api.system.basket.adjustlist&imsi=1.0

第二页：

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api

?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"20"}&api=api.system.basket.adjustlist&imsi=1.0

(如果不进行encode  把这个 链接 放在火狐 里， 火狐 会自动encode的)

可以很明显 看到  分页的参数 在 连接中，那就  访问第三页 吧 ，后面的参数 改成：

http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"40"}&api=api.system.basket.adjustlist&imsi=1.0

40开始，取20条 ，就是 第三页吧，哎，不行。。。

经过比对 发现 其他的参数 都是一样的，只有sign=203b7bf0fbc687c7d06d1d485b1a01da 不同，

好像 如果是同一sign 的时候，分页参数 是不允许 修改的；可是 往后面的 分页 的 这个参数值 我也不知道啊

这个是怎么回事啊？

Answer 1

是事先分配的戳。

Answer 2

首先下载它的ANDROID客户端, 然后反编译找回KEY和加密规则, 可破解sign