mysql 同步数据到 SQLite 和 SQLserver - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hui9000
V2EX    数据库

mysql 同步数据到 SQLite 和 SQLserver

  •  1
     
  •   hui9000 2023-11-28 09:31:57 +08:00 2653 次点击
    这是一个创建于 730 天前的主题,其中的信息可能已经有所发展或是发生改变。

    问一下各位彦祖,有这么一个需求,mysql 的数据定时同步到 SQLite 和 SQLserver 上,表结构一样,目标数据库比较多,有没有稳定的方案;

    第 1 条附言    2023-11-28 10:09:47 +08:00
    可能我描述的不太清楚,数据库里存的东西都比较少,iot 设备,主要是防止断网的情况下,设备也能维持基本使用。
    也并不是数据迁移,是需要定时进行更新;
    在结构设计上也是兼容 SQLite 支持的类型;
    17 条回复    2023-11-29 09:17:44 +08:00
    GlobalNPC
        1
    GlobalNPC  
       2023-11-28 09:38:56 +08:00
    SQLite 支持的字段类型那么少,怎么做到表结构一样呢?
    vczyh
        2
    vczyh  
       2023-11-28 09:39:34 +08:00   1
    Debezium
    WangYouGX
        3
    WangYouGX  
       2023-11-28 09:40:52 +08:00 via Android
    1.骨灰级玩家用 mysqldump 落 sql 文件,然后编辑 sql 文件改成 SQLserver 的 insert 语句
    2.利用 Navicat Peemium 破解版,可以一键迁移……
    aibx01
        4
    aibx01  
       2023-11-28 09:40:57 +08:00
    这个帖子 t/995792 第 13 点
    fgwmlhdkkkw
        5
    fgwmlhdkkkw  
       2023-11-28 09:45:19 +08:00
    MIUIOS
        6
    MIUIOS  
       2023-11-28 09:49:43 +08:00
    阿里开源的 canal , 自带一个 adapter 可以写 SQL 的方式同步 但性能效率非常差,因为代码质量很差, 同时也提供 client ,可以自定义解析过来的 SQL ,
    iyiluo
        7
    iyiluo  
       2023-11-28 09:54:29 +08:00
    同步到 SQLite 比较少见,看表多不多,手搓一个
    chenzw2
        8
    chenzw2  
       2023-11-28 10:12:17 +08:00
    定时同步用阿里的 datax ,实时同步用 canal
    hui9000
        9
    hui9000  
    OP
       2023-11-28 10:12:46 +08:00
    @infun 字段类型按照 SQLite 进行创建 尽量做到兼容
    @WangYouGX @aibx01 @fgwmlhdkkkw @totoro52 不是数据迁移,是需要定时进行数据同步
    @iyiluo 其实主要是业务场景比较特殊,设备需要断网情况下维持基本操作;
    bthulu
        10
    bthulu  
       2023-11-28 10:17:49 +08:00
    直接用阿里的 DTS, 或者自己写一个, 模拟 mysql 从数据库订阅 mysql 的 binlog, 解析 binlog, 生成变更前后字段值, 再转换成 sqlite 和 sqlserver 的语法
    dq19871123
        11
    dq19871123  
       2023-11-28 10:28:15 +08:00
    自己写一个好了
    renothing
        12
    renothing  
       2023-11-28 10:35:16 +08:00
    听你描述感觉更像是程序设计上搞错了姿势。更像是需要做配置同步。iot 的设备运行配置需要从中心不定期同步?
    设计好接口从远端拉取更合适。
    wenxueywx
        13
    wenxueywx  
       2023-11-28 10:57:23 +08:00
    赞同;通过接口拉数据后写入设备的 sqlite
    julyclyde
        14
    julyclyde  
       2023-11-28 11:29:56 +08:00
    对于你这个原始需求,我觉得这个方案可能不正确

    这不是数据库级别复制的问题
    你需要的是语义级复制,就是把“这段数据表达了什么意思”复制出来,而不是把“这段数据”复制出来
    MIUIOS
        15
    MIUIOS  
       2023-11-28 14:58:07 +08:00
    @hui9000 datax 不过你这两个数据库类型很多不同 还不如写个接口定时批量处理就好了 更灵活
    haimianbihdata
        16
    haimianbihdata  
       2023-11-29 01:08:30 +08:00 via Android
    datax 实时就 flink cdc 这些
    howfree
        17
    howfree  
       2023-11-29 09:17:44 +08:00
    试试 flink cdc
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1434 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 16:54 PVG 00:54 LAX 08:54 JFK 11:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86