sql临时表优化经验分享_数据库性能提升百倍技巧

发布时间:2019-07-27编辑:脚本学堂
通过优化数据库临时表,快速提升数据库性能的方法,优化的总体思路是拆分sql,将排序操作和查询所有信息的操作分开,需要的朋友参考下。

sql临时表优化经验

【问题现象】
线上mysql/ target=_blank class=infotextkey>mysql数据库爆出一个慢查询,DBA观察发现,查询时服务器IO飙升,IO占用率达到100%, 执行时间长达7s左右。
sql语句
 

复制代码 代码示例:
select distinct g.*, cp.name as cp_name, c.name as category_name, t.name as type_name fromgm_game g left join gm_cp cp on cp.id = g.cp_id and cp.deleted = 0 left join gm_category c on c.id = g.category_id and c.deleted = 0 left join gm_type t on t.id = g.type_id and t.deleted = 0 where g.deleted = 0 order by g.modify_time desc limit 20 ;

【问题分析】
使用explain查看执行计划,结果如下:
sql临时表与数据库性能优化

这条sql语句的问题其实还是比较明显的:
查询了大量数据(包括数据条数、以及g.* ),然后使用临时表order by,但最终又只返回了20条数据。
DBA观察到的IO高,是因为sql语句生成了一个巨大的临时表,内存放不下,于是全部拷贝到磁盘,导致IO飙升。

【优化方案】
优化的总体思路是拆分sql,将排序操作和查询所有信息的操作分开。
第一条语句:查询符合条件的数据,只需要查询g.id即可
 

复制代码 代码示例:
select distinct g.id from gm_game g left join gm_cp cp on cp.id = g.cp_id and cp.deleted = 0 left join gm_category c on c.id = g.category_id and c.deleted = 0 left join gm_type t on t.id = g.type_id and t.deleted = 0 where g.deleted = 0 order by g.modify_time desc limit 20 ;

第二条语句:查询符合条件的详细数据,将第一条sql的结果使用in操作拼接到第二条的sql
 

复制代码 代码示例:
select distinct g.*, cp.name as cp_name,c.name as category_name,t.name as type_name fromgm_game g left join gm_cp cp on cp.id = g.cp_id and cp.deleted = 0 left join gm_category c on c.id = g.category_id and c.deleted = 0 left join gm_type t on t.id = g.type_id and t.deleted = 0 where g.deleted = 0 and g.id in(…………………) order by g.modify_time desc ;

【实测效果】
在sata机器上测试,优化前大约需要50s,优化后第一条0.3s,第二条0.1s,优化后执行速度是原来的100倍以上,io从100%降到不到1%
在ssd机器上测试,优化前大约需要7s,优化后第一条0.3s,第二条0.1s,优化后执行速度是原来的10倍以上,io从100%降到不到1%
可以看出,优化前磁盘io是性能瓶颈,ssd的速度要比sata明显要快,优化后磁盘不再是瓶颈,ssd和sata性能没有差别。

【理论分析】
mysql在执行sql查询时可能会用到临时表,一般情况下,用到临时表就意味着性能较低。

临时表存储

mysql临时表分为“内存临时表”和“磁盘临时表”,其中内存临时表使用mysql的memory存储引擎,磁盘临时表使用mysql的myisam存储引擎;
一般情况下,mysql会先创建内存临时表,但内存临时表超过配置指定的值后,mysql会将内存临时表导出到磁盘临时表;
linux平台上缺省是/tmp目录,/tmp目录小的系统要注意啦。

使用临时表的场景
1)、order by子句和group by子句不同, 例如:ordery by price group by name;

2)、在join查询中,order by或者group by使用了不是第一个表的列 例如:select * from tablea, tableb order by tablea.price group by tableb.name

3)、order by中使用了distinct关键字 ordery by distinct(price)

4)、select语句中指定了sql_small_result关键字 sql_small_result告诉mysql,结果会很小,请直接使用内存临时表,不需要使用索引排序 sql_small_result必须和group by、distinct或distinctrow一起使用 一般情况下,没有必要使用这个选项,让mysql服务器选择即可。