我朝网络真牛x，连接海外很多站点速度都奇慢。印象中以前从java/oracle下载jdk还不算是太慢。今天下载macintosh os x版的jdk，竟然几乎不会动，要10个小时，这还是30M企业版电信光纤吗！找了几个国内的下载站，竟然没有，难道是oracle不让做镜像下载所致？
有个海外vps，就是本站所在的服务器，平时下载海外的东西，如果太慢，通常就使用百度网盘，或vps上下载，做个中转；有时甚至会两个一起用。
但jkd的下载链接不行，下载链接带授权参数的。
想起live http headers，抓包，看看请求里是什么东西，wget模拟请求，理论上只要参数齐就可以的。wgtet一下，发现是三次请求，通过302转向到一个带AuthParm的get参数的地址上，那就直接在vp上wget它，看行不行；如果不行，再带其它参数，反正wget 有随便加http参数的功能。竟然果然是可以下载的，省事，连其它参数都不用加了！
阅读全文——共457字
标签存档: wget
通过海外vps快速下载jdk的方法/抓包wget
作者: feng
日期: 2015/01/30
没有评论
使用cygwin下的wget采集特殊的网页内容
作者: feng
日期: 2013/01/17
没有评论
需要采集一批数据，是一网站上的产品信息，产品本身信息很简单，使用火车采集器轻松实现；但产品价格数据是ajax响应数据，使用firebug + live http headers抓到该请求，并测试重发，发现该ajax请求必须带一个http头“X-Requested-With: XMLHttpRequest”，没有就返回404错误。
gnu/linux下有大量的杀手级工具，这种情况，要动用其中的wget. wget有很多参数，这里需要使用其中两个：-O,–header. 其中:
-O, 把请求结果保存到指定文件，但我们要使用的却是一个特殊的值：“-”，它可以将结果输出到标准输出
–header, 结http请求加上自定义的头(http header)
阅读全文——共1836字
