这是一个创建于 514 天前的主题，其中的信息可能已经有所发展或是发生改变。
可能我理解得比较简单，就是假设一个生产的 PostgreSQL 数据库的 A 、B 、C 库，都实时或 Cron 定时地同步到另外一个 PostgreSQL 数据库的 A 、B 、C 库。
网上搜索都是都是啥大数据相关的内容，什么 ETL 、CDC 、ODS...看不懂，且感觉有些杀鸡用牛刀？还是说可能搜索的关键词不行？我主要的目的是提供给第三写视图用的，烂视图对数据库性能的影响大家应该都知道，他们搞砸了都不会影响到生产库。
因为涉及到增删改查，肯定有读写，也没法去做一个生产库的流复制从库给人家用。
总结一下我要的功能可能是类似 Navicat 上的 “结构同步” 与 “数据同步”，然后它是简单的，命令行的，可自动化的。
谢谢大家。
网上搜索都是都是啥大数据相关的内容，什么 ETL 、CDC 、ODS...看不懂，且感觉有些杀鸡用牛刀？还是说可能搜索的关键词不行？我主要的目的是提供给第三写视图用的，烂视图对数据库性能的影响大家应该都知道，他们搞砸了都不会影响到生产库。
因为涉及到增删改查，肯定有读写，也没法去做一个生产库的流复制从库给人家用。
总结一下我要的功能可能是类似 Navicat 上的 “结构同步” 与 “数据同步”，然后它是简单的，命令行的，可自动化的。
谢谢大家。
18 条回复 2024-05-16 15:59:58 +08:00
 | 1 FTLIKON 2024-05-15 16:28:41 +08:00 自己写个脚本同步就可以了，你要用第三方工具难免很复杂 |
 | 2 tuutoo 2024-05-15 16:52:12 +08:00 试试 Airbyte? |
 | 3 thtznet 2024-05-15 16:55:42 +08:00 定时备份/还原 |
 | 4 littlezzll 2024-05-15 17:00:15 +08:00 pgquarrel ？ |
 | 5 qing108 2024-05-15 17:03:12 +08:00 自己写一个 python 脚本同步不就好了 |
 | 6 Ackvincent 2024-05-15 19:29:51 +08:00 python 用 psycopg2 写个脚本就可以了，没多大工作量。 |
 | 7 tomczhen 2024-05-15 22:16:58 +08:00 fdw |
 | 8 nolo 2024-05-15 22:35:22 +08:00 外部表或者逻辑复制 |
 | 9 privil 2024-05-15 22:43:52 +08:00 dbswitch 试试，我上周刚测试同步空库没啥问题，实际数据量大了不知道 |
 | 10 54yzwddsg 2024-05-15 23:03:48 +08:00 主从模式？ |
 | 11 srlp 2024-05-16 01:34:16 +08:00 via iPhone datax 阿里的，好用 |
 | 12 fangxing204 2024-05-16 01:46:50 +08:00 via Android pgsync |
 | 13 dayeye2006199 2024-05-16 01:51:40 +08:00 via Android Airbyte |
 | 14 ABBOTBREW 2024-05-16 08:53:41 +08:00 HeidiSQL |
 | 15 encro 2024-05-16 09:32:09 +08:00 PostgreSQL 自带 fwd 能满足您要求？ |
 | 16 sujin190 2024-05-16 09:51:44 +08:00 只同步数据的话那分享下项目 https://github.com/snower/syncany-sql 把 SQL 当作脚本执行，内部有自动依据主键增删改同步数据的逻辑，可以用 crontab 来调用 set @use_output_type='UPDATE_DELETE_INSERT'; insert into `pg2`.`adata` select `id`, `name`, `create_time` from `pg1`.`bdata` where `id`>=2; 使用 set @use_output_type 设定更新目标库方式，可选值有 INSERT 、UPDATE_DELETE_INSERT 、UPDATE_INSERT 、DELETE_INSERT ，不设置时和正常 insert into 一样默认 INSERT ，select 的第一个字段自动认为是主键，相同主键执行 update ，否则插入 |
 | 17 yjhatfdu2 2024-05-16 10:20:03 +08:00 数据的话，用数据库原生的 publish 、subscribe 是最简单最优的，但是不能自动同步 DDL ，发生 DDL 后需要先在从库中更新 DDL 再继续订阅 |
 | 18 guxin0123 2024-05-16 15:59:58 +08:00 Navicat 自动运行 试过了没 |
Select Language