我要评论mysql分批插入/更新数据
在我们的日常开发中，经常会使用到批量insert/update的语句来实现相关的业务功能。而如果数据量比较大的话，会导致sql语句更新失败、抛出异常的情况出现。
这个时候我们可以批量执行sql语句，一批一批的执行。
比如说现在有一个需要批量修改商品的方法
我们可以这么改造：
public void batchupdatebyid(list<product> productlist) {
if (collectionutils.isempty(productlist)) {
return;
}
if (productlist.size() > commonutils.batch_number) {
int sizenum = productlist.size();
int startnum = 0;
int endnum = commonutils.batch_number - 1;
while (startnum < endnum) {
productmapper.batchupdatebyid(productlist.sublist(startnum, endnum));
startnum += commonutils.batch_number - 1;
endnum += commonutils.batch_number - 1;
if (endnum > sizenum - 1) {
endnum = sizenum;
}
}
} else {
productmapper.batchupdatebyid(productlist);
}
}上面batch_number的值是50，意味着当修改商品的数量大于50的时候，会以50个数据为一批，分批的执行；而如果修改商品的数量不大于50的时候，就直接一次执行就够了。
上面是我们自己手写的分批代码，而如果每个方法都这么写，也未免太过于繁琐了。
这个时候我们就可以使用guava库中关于集合的partition分组方法来进行简化：
@override
public void batchupdatebyid(list<goodsskubo> list) {
if (collectionutils.isempty(list)) {
return;
}
list<merchantgoodsskudo> merchantgoodsskudos = goodsanotherskuconvertor.instance.goodsskubo2merchantdolist(list);
list<list<merchantgoodsskudo>> groupmerchantgoodsskudos = lists.partition(merchantgoodsskudos, commonutils.batch_number);
groupmerchantgoodsskudos.foreach(goodsskumastermapper::batchupdatebyid);
}由上可以看到，代码简化了很多
（上面的goodsskubo2merchantdolist方法只是将bo转成do，和分组逻辑没有关系）。
而对于批量查询的方法，我们也可以使用partition方法进行分组查询，防止in条件拼接太多的数据导致sql报错的情况出现：
@override
public list<goodsskubo> listbyspuidssimple(list<long> spuids) {
if (collectionutils.isempty(spuids)) {
return collections.emptylist();
}
//去重
spuids = spuids.stream().distinct().collect(collectors.tolist());
list<list<long>> groupspuids = lists.partition(spuids, commonutils.batch_number);
list<merchantgoodsskudo> spuidlist = groupspuids.stream().map(goodsskumastermapper::listbyspuids).flatmap(collection::stream)
.collect(collectors.tolist());
return goodsanotherskuconvertor.instance.merchantgoodsskudo2goodsskubolist(spuidlist);
}总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持代码网。
发表评论