mysql中百万级数据更新的方法有哪些(mysql更新百万条数据)
导语:MySql中百万级数据更新的方法
mysql 批量更新共有以下四种办法
1、.replace into 批量更新 replace into test_tbl (id,dr) values (1,&39;),(2,&39;),...(x,&39;); 例子:replace into book (`Id`,`Author`,`CreatedTime`,`UpdatedTime`) values (1,&39;,&39;,&39;),(2,&39;,&39;,&39;);
2、insert into ...on duplicate key update批量更新 insert into test_tbl (id,dr) values (1,&39;),(2,&39;),...(x,&39;) on duplicate key update dr=values(dr);
例子:insert into book (`Id`,`Author`,`CreatedTime`,`UpdatedTime`) values (1,&39;,&39;,&39;),(2,&39;,&39;,&39;) on duplicate key update Author=values(Author),CreatedTime=values(CreatedTime),UpdatedTime=values(UpdatedTime);
replace into 和 insert into on duplicate key update的不同在于:
replace into 操作本质是对重复的记录先delete 后insert,如果更新的字段不全会将缺失的字段置为缺省值,用这个要悠着点否则不小心清空大量数据可不是闹着玩的。 insert into 则是只update重复记录,不会改变其它字段。
3.创建临时表,先更新临时表,然后从临时表中update
create temporary table tmp(id int(4) primary key,dr varchar(50)); insert into tmp values (0,&39;), (1,&39;),...(m,&39;); update test_tbl, tmp set test_tbl.dr=tmp.dr where test_tbl.id=tmp.id;
注意:这种方法需要用户有temporary 表的create 权限。
4、使用mysql 自带的语句构建批量更新
mysql 实现批量 可以用点小技巧来实现:
UPDATE yoiurtable SET dingdan = CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END WHERE id IN (1,2,3)
这句sql 的意思是,更新dingdan 字段,如果id=1 则dingdan 的值为3,如果id=2 则dingdan 的值为4…… where部分不影响代码的执行,但是会提高sql执行的效率。确保sql语句仅执行需要修改的行数,这里只有3条数据进行更新,而where子句确保只有3行数据执行。
效率比较
总结
sql语句for循环效率其实相当高的,因为它仅仅有一个循环体,只不过最后update语句比较多,量大了就有可能造成sql阻塞。
case when虽然最后只会有一条更新语句,但是xml中的循环体有点多,每一个case when 都要循环一遍list集合,所以大批量拼sql的时候会比较慢,所以效率问题严重。使用的时候建议分批插入。
duplicate key update可以看出来是最快的,但是一般大公司都禁用,公司一般都禁止使用replace into和INSERT INTO … ON DUPLICATE KEY UPDATE,这种sql有可能会造成数据丢失和主从上表的自增id值不一致。而且用这个更新时,记得一定要加上id,而且values()括号里面放的是数据库字段,不是java对象的属性字段。
推荐使用创建临时表的模式批量更新数据,先使用insert into进行分块插入数据更新临时表,完成后再更新目标表数据,可以解决绝大部分大批量数据更新问题。
本文内容由快快网络小璎整理编辑!