分享个在内存中运行能完成 Mysql 和 MongoDB 直接 Join 结果还能直接写到 execl 的 SQL 的脚本工具
sujin190 snower 2023-04-18 16:39:21 +08:00 1530 次点击这是一个创建于 909 天前的主题，其中的信息可能已经有所发展或是发生改变。
- 直接在本地运行 MySQL 语法结构的 SQL 的执行引擎
- 只使用简单查询从常用 MySQL 、MongoDB 、PostgreSQL 、sqlserver 、elasticsearch 、influxdb 、clickhouse 、sqlite 数据库加载数据及读取 execl 、csv 、json 和普通文本文件后
- 在内存中完成 join 和聚合运算，单条 SQL 的执行结果可以临时保存在内存中以便作为后续 SQL 的输入表继续处理
- 并且 INSERT INTO 语句执行指定”仅插入 I“、”存在更新否则插入 UI“、”存在更新否则插入其余删除 UDI“、”删除后插入 DI“四种合并数据模式
- 针对大数据量也可以分批执行。
整个程序共有两个项目组成，其中
https://github.com/snower/syncany-sql 负责解析 SQL
https://github.com/snower/syncany 负责执行
主要就是一直 MySQL 和 MongoDB 混用，又各种毛毛多的统计导出需求烦死，所以搞了点脚本慢慢变成这样了，项目不复杂用 crontab 来执行脚本同步数据然后配合 superset 搞个图表还是可以省不少事的，能省一点事省一点吧
目前尚无回复
Select Language