MySQL 5.5 Community Server MySQL 5.6 Community Server Percona Configuration Wizard XtraBackup 搭建主从复制 Great Sites on MySQL Percona MySQL Performance Blog Severalnines 推荐管理工具 Sequel Pro phpMyAdmin 推荐书目 MySQL Cookbook
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目 MariaDB Drizzle 参考文档 http://mysql-python.sourceforge.net/MySQLdb.html 
这是一个创建于 365 天前的主题，其中的信息可能已经有所发展或是发生改变。
表中有个亿级别的数据，需要将表中某个字段做分析聚合插入到另一张新的表中，
请教一下各位大佬，
1. 这种操作通过哪种方式做会相对来说是最佳实践
2. 或者借用哪些工具会好一点
我当前想到的是做个批处理批量更新到另一张表中，
想问问论坛大佬们都还有哪些好点的做法，大厂里面都有哪些最佳实践
请教一下各位大佬，
1. 这种操作通过哪种方式做会相对来说是最佳实践
2. 或者借用哪些工具会好一点
我当前想到的是做个批处理批量更新到另一张表中，
想问问论坛大佬们都还有哪些好点的做法，大厂里面都有哪些最佳实践
 | 1 VampireDemon 2024-12-24 14:27:34 +08:00  1 nifi +doris |
 | 2 woduzibue OP @VampireDemon 感谢大佬，这是要自己再单独部署这两个工具是吧 |
 | 3 heqingpan 2024-12-25 08:43:21 +08:00 via Android 1 按 id>上次已处理的 id order by id limit 1000 ，从前到后批次查询、处理、批次写入（批次大小可以设置 1000 左右）。 如果有必要，单个批次可以加事务。 每个批次间可以加点 sleep 控制处理的 tps 。 每处理 10 万条记录写个日志，以便确认运行状态，成功、失败、异常都加上对应日志。 数据库性能够的话，一天处理个两三亿数据没什么问题。 如果可能分多次跑，记得把已处理的 id 记在某人地方，让下次运行时可以指定对应的值。 |
| 4 VampireDemon 364 天前 1 @woduzibue 对，很便简单上手快，拖拉拽就好了。生态强大。 |
Select Language