这是一个创建于 4179 天前的主题，其中的信息可能已经有所发展或是发生改变。
作为一个数据控，爱好各类实时数据，最近在用 HTML5 把天朝区土鳖的气象雷达图去土鳖化，比如：
经过 HTML5 拖下来一堆算法撸过以后变成：
由于 Canvas CORS 的的限制，必须把图片爬下来放到同域名上，经过一番折腾撸出这样一个脑洞略大的方案：
找了一圈国外免费的云服务，能访问 nmc.gov.cn 的也就只有 GAE 。
天朝目前有 167 个气象雷达站，平均 10 分钟更新一帧（部分是 5 分钟），每帧 35k ，一天会产生 800M+的数据，GAE 是放不下的，于是用 GitHub API 放 GitHub Pages 上。
同时需要产生 json 文件供前端调用，撸了一圈发现 GAE 的 datastore quota 最多爬 3 次就会被撑爆，于是又用 GitHub API 把 commit 后的 git tree 拖回 GAE 当数据库用。
每个站要在百度地图上放叠加层，需要知道中心的经纬度，以及每帧数据的范围。之前爬到一个内部的 xml ，有所有站点的坐标，于是很愉快的解决了。数据范围没有现成的数据，于是顺便写了个简单的 OCR 算法从图片上识别出来。最后这些数据和爬虫爬到的整合，生成一个 json 文件供前端调用。
目前是 GAE 上跑两个 application 分时爬（一个 application 的 bandwidth quota 只够爬半天），GitHub 的 Repo 一天一清，避免超过 1GB 大小的限制被和谐。
数据有保障了，又可以愉快的把前端撸完早日上线。
爬虫源码：
https://github.com/catx-weather/radar-bot
爬虫数据：
https://github.com/catx-weather/data
OCR 脚本：
https://github.com/catx-weather/frame-range-ocr
经过 HTML5 拖下来一堆算法撸过以后变成：
由于 Canvas CORS 的的限制，必须把图片爬下来放到同域名上，经过一番折腾撸出这样一个脑洞略大的方案：
找了一圈国外免费的云服务，能访问 nmc.gov.cn 的也就只有 GAE 。
天朝目前有 167 个气象雷达站，平均 10 分钟更新一帧（部分是 5 分钟），每帧 35k ，一天会产生 800M+的数据，GAE 是放不下的，于是用 GitHub API 放 GitHub Pages 上。
同时需要产生 json 文件供前端调用，撸了一圈发现 GAE 的 datastore quota 最多爬 3 次就会被撑爆，于是又用 GitHub API 把 commit 后的 git tree 拖回 GAE 当数据库用。
每个站要在百度地图上放叠加层，需要知道中心的经纬度，以及每帧数据的范围。之前爬到一个内部的 xml ，有所有站点的坐标，于是很愉快的解决了。数据范围没有现成的数据，于是顺便写了个简单的 OCR 算法从图片上识别出来。最后这些数据和爬虫爬到的整合，生成一个 json 文件供前端调用。
目前是 GAE 上跑两个 application 分时爬（一个 application 的 bandwidth quota 只够爬半天），GitHub 的 Repo 一天一清，避免超过 1GB 大小的限制被和谐。
数据有保障了，又可以愉快的把前端撸完早日上线。
爬虫源码：
https://github.com/catx-weather/radar-bot
爬虫数据：
https://github.com/catx-weather/data
OCR 脚本：
https://github.com/catx-weather/frame-range-ocr
第 1 条附言 2014 年 8 月 10 日
无级缩放，保留空间分辨率信息，依然是原始数据无插值：
 | 1 neoz 2014 年 8 月 10 日 虽然没多大 用，但是看起来X格很高！赞！ |
 | 2 mywaiting 2014 年 8 月 10 日 LZ这么牛逼，你妈知道的吗！赞+1 |
 | 3 leveraging 2014 年 8 月 10 日 帅哭。 |
 | 4 arnofeng 2014 年 8 月 10 日 via Android 太流弊 |
 | 官方雷达图虽然看上去土鳖，但是像素点的颜色和位置是精确的，结合刻度能读出非常有效的信息。 30dbZ基本就要下雨了 40dbZ就是短时雷雨大风天气 这么一处理反倒没法看了。。。 |
 | 6 akfish OP  1 @procen424 处理后的位置也是精确对齐的，花了不少精力保证爬到能用来保证对齐精度的数据。 像素的颜色只是换了套伪彩方案而已，数据依然是用的原始数据，并且能保留空间分辨率无级放大。 后面会加上交互，鼠标到任意点就能获得该点dBz大小，比官方的易读得多了。 |
 | 8 chenillen 2014 年 8 月 10 日 github 服了肯定是因 project 的！lz ！！！ |
 | 9 glogo 2014 年 8 月 10 日 赖斯啊！ |
 | 10 WangYan 2014 年 8 月 10 日 点个赞，若提示dBz大小，就真的比官方的易读多了 |
 | 11 scylla 2014 年 8 月 11 日 via iPad lZ, Tai Niue be le, zan! |
 | 12 vbs 2014 年 8 月 11 日 nb。。。。 lz你那还有其他数据？ |
 | 13 lcj2class 2014 年 8 月 11 日 via Android 等会必须fork |
 | 14 wzb350 2014 年 8 月 11 日 不明觉厉 |
 | 15 superbear 2014 年 8 月 11 日 真厉害，居然把gitgub当数据库用！ |
 | 16 valianliu 2014 年 8 月 11 日 坐等前段上线，太流弊了。 |
 | 17 KillAd 2014 年 8 月 11 日 能做成站点上线上来才是大家最期待的吧 |
 | 18 hao1032 2014 年 8 月 11 日 GAE的数据库是不给力，以前爬了几天的数据想删除。到现在已经删了2天了，删一会就提示配额不足，然后只能等到第二天继续删。 哭。。。。。。。。。。。 |
 | 20 0065paula 2014 年 8 月 11 日 不知道楼主有没有玩过 caiyunapp.com ？也是获取是实时雷达数据，用来看什么时候雨停还不错。 |
 | 24 no13bus 2014 年 8 月 11 日 |
 | 27 crossmaya 2014 年 10 月 18 日 不错，mark！ |
Select Language