关于 mysql 冷热数据分离的问题,你们是用开源脚本,还是自己撸代码 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
simple2025
0D
V2EX    MySQL

关于 mysql 冷热数据分离的问题,你们是用开源脚本,还是自己撸代码

  •  
  •   simple2025 2017-06-16 15:18:39 +08:00 5595 次点击
    这是一个创建于 3115 天前的主题,其中的信息可能已经有所发展或是发生改变。
    比如有一个张表,order 表一般查询的是最近 3 个月的记录,但是保留了 1 年的记录。 现在我想把 order 表中创建时间是 3 个月之后的记录,导入到 old_order 表中。 我自己想到的办法是撸代码,一条记录一条记录的复制过去,然后删队原始数据 。 你们一般的做法是什么? 
    12 条回复    2017-06-16 18:03:51 +08:00
    nybux
        1
    nybux  
       2017-06-16 16:40:00 +08:00   1
    不用一条条吧,直接 where 一个时间条件,用 insert into ... select 就可以了
    U7Q5tLAex2FI0o0g
        2
    U7Q5tLAex2FI0o0g  
       2017-06-16 16:44:20 +08:00
    1 楼说的对
    simple2025
        3
    simple2025  
    OP
       2017-06-16 16:52:13 +08:00
    @nybux 但是这个样子会变成手动的对吧,我的想法是变成定时任务那样 ,每天跑一点,省得我每天手动去弄,有可能某天就出错了呢
    nybux
        4
    nybux  
       2017-06-16 16:55:09 +08:00
    写成脚本,然后由 crontab 去定时调用
    jianzhiyao020
        5
    jianzhiyao020  
       2017-06-16 16:55:56 +08:00
    可以这样子,
    按照时间分表,
    新表数据量少,
    建索引量少,
    插入、检索速度快。

    冷热可以这样区分。
    2ME
        6
    2ME  
       2017-06-16 16:57:11 +08:00   1
    同 1 楼 一样可以定时任务 where 条件的时间灵活一点就好了
    yanze0613
        7
    yanze0613  
       2017-06-16 17:17:26 +08:00   1
    insert into ... select,限制每次读取的行数 然后写进 crontab
    bk201
        8
    bk201  
       2017-06-16 17:29:08 +08:00   1
    你还不如 3 个月就换一次表名来得快捷
    U7Q5tLAex2FI0o0g
        9
    div class="sep3"> U7Q5tLAex2FI0o0g  
       2017-06-16 17:31:22 +08:00
    @bk201 #8 这就是你的错了,要换也是“每天”,不是“每 3 个月”
    snail00
        10
    snail00  
       2017-06-16 17:38:49 +08:00   1
    写个存储过程, 然后用 mysql 的事件去定时执行, 我现在就在撸这个.
    simple2025
        11
    simple2025  
    OP
       2017-06-16 17:49:29 +08:00
    @snail00 好吧,写存储过程,我宁愿撸代码
    noNOno
        12
    noNOno  
       2017-06-16 18:03:51 +08:00
    时间字段上建个聚集索引不行么
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2522 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 33ms UTC 15:09 PVG 23:09 LAX 07:09 JFK 10:09
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86