需要采集一批数据，是一网站上的产品信息，产品本身信息很简单，使用火车采集器轻松实现；但产品价格数据是ajax响应数据，使用firebug + live http headers抓到该请求，并测试重发，发现该ajax请求必须带一个http头“X-Requested-With: XMLHttpRequest”，没有就返回404错误。
gnu/linux下有大量的杀手级工具，这种情况，要动用其中的wget. wget有很多参数，这里需要使用其中两个：-O,–header. 其中:
-O, 把请求结果保存到指定文件，但我们要使用的却是一个特殊的值：“-”，它可以将结果输出到标准输出
–header, 结http请求加上自定义的头(http header)
阅读全文——共1836字

继续阅读 »