怎么统计web服务器下的URL列表，判断其中链接数的更新情况？

Question

由于项目需要，需要去统计指定网络范围（如sina）下所有URL，并统计其各个web服务器下的URL列表，判断其中链接数的更新状况，估算每个URL源的更新周期。（本地没有缓存）

Answer 1

向服务器请求的时候header带上If-Modified-Since，问服务器有没有更新，如果更新了就返回文件，没有的话会返回304（Not Modified）。

如果服务器不配合或者回答不到位（例如网站改了模板，所有网页的Last-Modified都变动了），那就靠猜。你可以根据经验和对网站的了解设定相应的参数，如果样本大的话，通过统计预测。