mysql批量更新千万数据思路for,mysql大量数据更新采用什么样的方式比较好
时间:2025-03-11 23:43:02
作者:兔宝宝游戏网
浏览:186
mysql批量更新千万数据思路,最近不少朋友在找mysql大量数据更新采用什么样的方式比较好的相关介绍,兔宝宝游戏网给大家详细的介绍一下,希望对大家有帮助。
1、mysql批量更新千万数据思路for:
建缓冲区。比如其他类型的高速缓存(redis等)作为中间缓冲层。
数据的查询,更改首先在这个层处理,处理完再更新到对应的数据库。
注意额外增加锁,或者缓存机制防止缓存击穿,雪崩导致系统崩溃。
2、批量向MySQL导入1000万条数据的优化:
1.用start transaction关闭mysql的自动提交,合理设置插入批量大小,不要一条数据提交一次。
2.修改表的存储引擎InnoDB为MyISAM。(因为InnoDB中存在redo log日志,每次更新表的结果先写入redo log中,等redo log满了之后再写入磁盘而这个过程是会停止其他所有的事务)
3.优化SQL(一条SQL语句插入多条数据)
4.尽量顺序插入(存储引擎底层采用的数据结构是B+tree索引,如果每次插入记录都在索引的最后面,索引的定位效率很高,并且对索引调整较小;如果插入的记录在索引中间,则需要维护B+tree并且索引定位效率会下降,数据量较大时会有频繁的磁盘操作)
总结:以上内容就是针对mysql批量更新千万数据思路for,mysql大量数据更新采用什么样的方式比较好的详细介绍,大家可以参考一下。
标题:mysql批量更新千万数据思路for,mysql大量数据更新采用什么样的方式比较好
链接:http://www.qzj2.com/article/32488.html
版权:文章转载自网络,如有侵权,请联系删除!
资讯推荐
更多
gta5武器秘籍大全(完整版)无限子弹,gta5的武器秘籍有哪些
gta5武器秘籍大全,完整版无限子弹,gta5的武器秘籍有哪些,gta5武器全满代码是:IFWEREARCHMAN。其他秘籍:一、武
2025-03-11
热门手游
更多
热门攻略
更多
-
海龟汤题目和答案全套恐怖高难度,细思极恐的冷门海龟汤 2025-03-11
-
女生手抄上林赋是什么梗的含义(为什么抄上林赋得心上人) 2025-03-11
-
侠盗飞车罪恶都市秘籍大全(完整版),侠盗飞车罪恶都市秘籍有哪些呢 2025-03-11
-
gta5武器秘籍大全(完整版)无限子弹,gta5的武器秘籍有哪些 2025-03-11
-
梦幻西游义绝墨魂笔3x攻略(神器义绝墨魂笔之踪攻略) 2025-03-11
-
公交车里抓着摇曳的手环诗情,清晨时见雾青草沾雨露是什么歌 2025-03-11
热游排行榜
更多