抓取全国的特价机票信息，有几种方法？

为什么不直接用去哪儿的？

@ivanlw lz可能是想实时监控票价吧。

方法一我感觉有难度啊，这些主流站点应该都有反抓取的机制，不过既然是能用浏览器看到的东西最后肯定都能抓下来，就是可能要花上一段时间研究。

这些旅游网站的航班信息都是花钱从某某机构买的

@ivanlw 有直接使用的api不

某些网站，页面上标的价格比实际价格低很多。 你想买的时候才发现 你妹啊 根本不能买。
打了客服电话回复，那些票需要同时买往返才有效。

@cj1324 这种最蛋疼了。。。

@yelite 非API的维护工作量太大。我做了一个类库，可以完全基于xml的配置模拟Http请求，包括很复杂的流程，甚至支持验证码。这样我们公司可以往别的类型的网站提交复杂的数据。但是一旦别人改版，少则一两个小时，大就要1~2天才能匹配成功。我们的代码完全不用修改，只是修改xml配置文件而以。

@forgottencoast 请问每次抓取网站改版，你的xml配置修改的工作量有多少？

@6b79 我们不是抓取，我们是提交数据，很复杂的数据到对方网站。工作量视对方修改的大小。主要的工作量在于隐藏的字段是否要提交，以及如何生成。