mysql优化指南之配置参数、运行状态篇

发布时间:2020-06-19编辑:脚本学堂
本文介绍下,mysql优化相关的内容,这里主要是通过查看mysql的配置参数以及运行状态来进行优化。有需要的朋友,参考下吧。

 
join_buffer_size                          131072
联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每个连接独享。
max_allowed_packet                      1048576
net_buffer_length                           16384
包消息缓冲区初始化为net_buffer_length字节,但需要时可以增长到max_allowed_packet字节。该值默认很小,以捕获大的(可能是错误的)数据包。
thread_stack                            196608
每个线程的堆栈大小。用crash-me测试检测出的许多限制取决于该值。 默认值足够大,可以满足普通操作。
 

thread_cache_size                        0
query_cache_size                         0
tmp_table_size                          33554432
innodb_thread_concurrency             8
max_connections                         100
max_connect_errors                      10
(获得信息:
shell > mysqladmin  -uroot -ppassword  variables extended-status
shell>mysqladmin -uroot -ppassword  variable status

thread_cache_size

mysql> show status LIKE 'threads%';

---------------------------
 Threads_cached     27  
 Threads_connected  15   
 Threads_created    838610
 Threads_running    3
----------------------------
 

线程缓存。mysqld 在接收连接时会根据需要生成线程。在一个连接变化很快的繁忙服务器上,对线程进行缓存便于以后使用可以加快最初的连接。
此处重要的值是 Threads_created,每次 mysqld 需要创建一个新线程时,这个值都会增加。如果这个数字在连续执行 SHOW STATUS 命令时快速增加,就应该尝试增大线程缓存。
 

query_cache_size
mysql> SHOW VARIABLES LIKE 'have_query_cache';
mysql> show variables like '%query%';
------------------------------------
 ft_query_expansion_limit      20                            
 have_query_cache              YES                           
 long_query_time               10.000000                     
 query_alloc_block_size        8192                          
 query_cache_limit             1048576                       
 query_cache_min_res_unit      4096                          
 query_cache_size              0                             
 query_cache_type              ON                            
 query_cache_wlock_invalidate  OFF                           
 query_prealloc_size           8192                          
 slow_query_log                OFF                           
 slow_query_log_file           /var/run/mysqld/mysqld-slow.log
-------------------------------------
 

have_query_cache              是否有查询缓存
query_cache_limit                指定单个查询能够使用的缓冲区大小,缺省为1M
query_cache_type            变量影响其工作方式。这个变量可以设置为下面的值:
0 或OFF 将阻止缓存或查询缓存结果。
1 或ON 将允许缓存,以SELECT SQL_NO_CACHE 开始的查询语句除外。
2 或DEMAND ,      仅对以SELECT SQL_CACHE 开始的那些查询语句启用缓存。
如果全部使用innodb存储引擎,建议为0,如果使用MyISAM 存储引擎,建议为2
query_cache_min_res_unit  是在4.1版本以后引入的,它指定分配缓冲区空间的最小单位,缺省为4K。检查状态值Qcache_free_blocks,如果该值非常大,则表明缓冲区中碎片很多,这就表明查询结果都比较小,此时需要减小 query_cache_min_res_unit。
query_cache_size   为了存储老的查询结果而分配的内存数量 (以字节指定) 。如果设置它为 0 ,查询缓冲将被禁止(缺省值为 0 )。 根据 命中率(Qcache_hits/(Qcache_hits+Qcache_inserts)*100))进行调整,一般不建议太大,256MB可能已经差不多了,大型的配置型静态数据可适当调大。
 

mysql> SHOW STATUS LIKE 'qcache%';
---------------------------------------
 Qcache_free_blocks       5216     
 Qcache_free_memory       14640664 
 Qcache_hits              2581646882
 Qcache_inserts           360210964
 Qcache_lowmem_prunes     281680433
 Qcache_not_cached        79740667 
 Qcache_queries_in_cache  16927    
 Qcache_total_blocks      47042
-----------------------------------------
 

Qcache_free_blocks  缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH QUERY CACHE 会对缓存中的碎片进行整理,从而得到一个空闲块。
Qcache_free_memory  缓存中的空闲内存。
Qcache_hits  每次查询在缓存中命中时就增大。
Qcache_inserts  每次插入一个查询时就增大。 未命中然后插入。
Qcache_lowmem_prunes  的值非常大,则表明经常出现缓冲不够的情况,同时Qcache_hits的值非常大,则表明查询缓冲使用非常频繁,此时需要增加缓冲大小,Qcache_hits的值不大,则表明你的查询重复率很低,这种情况下使用查询缓冲反而会影响效率,那么可以考虑不用查询缓冲。这个数字最好长时间来看;如果这个数字在不断增长,就表示可能碎片非常严重,或者内存很少。(上面的 free_blocks 和 free_memory 可以告诉您属于哪种情况)。
Qcache_not_cached  不适合进行缓存的查询的数量,通常是由于这些查询不是 SELECT 语句。
Qcache_queries_in_cache  当前缓存的查询(和响应)的数量。
Qcache_total_blocks  缓存中块的数量。
Total number of queries = Qcache_inserts + Qcache_hits + Qcache_not_cached.
查询命中率=Qcache_hits -Qcache_inserts /Qcache_hits
查询插入率=Qcache_inserts / Com_select;
未插入率 = Qcache_not_cached / Com_select;

很多 LAMP 应用程序都严重依赖于数据库,但却会反复执行相同的查询。每次执行查询时,数据库都必须要执行相同的工作 —— 对查询进行分析,确定如何执行查询,从磁盘中加载信息,然后将结果返回给客户机。MySQL 有一个特性称为查询缓存,查询缓存会存储一个 SELECT 查询的文本与被传送到客户端的相应结果。如果之后接收到一个同样的查询,服务器将从查询缓存中检索结果,而不是再次分析和执行这个同样的查询。在很多情况下,这会极大地提高性能。不过,问题是查询缓存在默认情况下是禁用的。

通常,间隔几秒显示这些变量就可以看出区别,这可以帮助确定缓存是否正在有效地使用。运行 FLUSH STATUS 可以重置一些计数器,如果服务器已经运行了一段时间,这会非常有帮助。
使用非常大的查询缓存,期望可以缓存所有东西,这种想法非常诱人。但如果表有变动时,首先要把Query_cache和该表相关的语句全部置为失效,然后在写入更新。
那么如果Query_cache非常大,该表的查询结构又比较多,查询语句失效也慢,一个更新或是Insert就会很慢,这样看到的就是Update或是Insert怎么这么慢了。
所以在数据库写入量或是更新量也比较大的系统,该参数不适合分配过大。而且在高并发,写入量大的系统,建系把该功能禁掉。
作为一条规则,如果 FLUSH QUERY CACHE 占用了很长时间,那就说明缓存太大了。
wait_timeout                            28800
服务器关闭非交互连接之前等待活动的秒数。
在线程启动时,根据全局wait_timeout值或全局interactive_timeout值初始化会话wait_timeout值,取决于客户端类型
connect_timeout                        10
mysqld服务器用Bad handshake响应前等待连接包的秒数。
interactive_timeout                      28800
服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。
 

mysql> SHOW STATUS LIKE "com_select";
-------------------------------
 Com_select     318243
-------------------------------
mysql> SHOW STATUS LIKE "handler_read_rnd_next";
-------------------------------
Handler_read_rnd_next  165959471
-----------------------------------
 

MySQL 也会分配一些内存来读取表。理想情况下,索引提供了足够多的信息,可以只读入所需要的行,但是有时候查询(设计不佳或数据本性使然)需要读取表中大量数据。要理解这种行为,需要知道运行了多少个 SELECT 语句,以及需要读取表中的下一行数据的次数(而不是通过索引直接访问)。
Handler_read_rnd_next / Com_select 得出了表扫描比率 —— 在本例中是 521:1。如果该值超过 4000,就应该查看 read_buffer_size,例如 read_buffer_size = 4M。如果这个数字超过了 8M,就应该与开发人员讨论一下对这些查询进行调优了!
 

mysql> SHOW STATUS LIKE 'created_tmp%';
------------------------
 Created_tmp_disk_tables  30660
 Created_tmp_files        2   
 Created_tmp_tables       32912
---------------------
 

临时表可以在更高级的查询中使用,其中数据在进一步进行处理(例如 GROUP BY 字句)之前,都必须先保存到临时表中;理想情况下,在内存中创建临时表。但是如果临时表变得太大,就需要写入磁盘中。
每次使用临时表都会增大 Created_tmp_tables;基于磁盘的表也会增大 Created_tmp_disk_tables。对于这个比率,并没有什么严格的规则,因为这依赖于所涉及的查询。长时间观察 Created_tmp_disk_tables 会显示所创建的磁盘表的比率,您可以确定设置的效率。 tmp_table_size 和 max_heap_table_size 都可以控制临时表的最大大小,因此请确保在 my.cnf 中对这两个值都进行了设置。

日志相关
 

log-bin=mysql-bin
binlog_format=mixed
 

mysql-bin.000001、mysql-bin.000002等文件是数据库的操作日志,例如UPDATE一个表,或者DELETE一些数据,即使该语句没有匹配的数据,这个命令也会存储到日志文件中,还包括每个语句执行的时间,也会记录进去的。

InnoDB
innodb_buffer_pool_size
  innodb_buffer_pool_size 定义了 InnoDB 存储引擎的表数据和索引数据的最大内存缓冲区大小。和 MyISAM 存储引擎不同, MyISAM 的 key_buffer_size 只能缓存索引键,而 innodb_buffer_pool_size 却可以缓存数据块和索引键。适当的增加这个参数的大小,可以有效的减少 InnoDB 类型的表的磁盘 I/O 。为Innodb加速优化首要参数。默认值8M
这个参数不能动态更改,所以分配需多考虑。分配过大,会使Swap占用过多,致使Mysql的查询特慢。如果你的数据量不大,并且不会暴增,那么可分配是你的数据大小+10%左右做为这个参数的值。例如:数据大小为50M,那么给这个值分配innodb_buffer_pool_size=64M
 

mysql>show variables like 'innodb%';
---------------------
innodb_adaptive_hash_index               ON                   
 innodb_additional_mem_pool_size          2097152              
 innodb_autoextend_increment              8                    
 innodb_autoinc_lock_mode                 1                    
 innodb_buffer_pool_size                  67108864             
 innodb_checksums                         ON                   
 innodb_commit_concurrency                0                    
 innodb_concurrency_tickets               500                  
 innodb_data_file_path                    ibdata1:10M:autoextend
 innodb_data_home_dir                     /var/lib/mysql       
 innodb_doublewrite                       ON                   
 innodb_fast_shutdown                     1                    
 innodb_file_io_threads                   4                    
 innodb_file_per_table                    OFF                  
 innodb_flush_log_at_trx_commit           1                    
 innodb_flush_method                                           
 innodb_force_recovery                    0                    
 innodb_lock_wait_timeout                 50                   
 innodb_locks_unsafe_for_binlog           OFF                  
 innodb_log_buffer_size                   8388608              
 innodb_log_file_size                     16777216             
 innodb_log_files_in_group                2                    
 innodb_log_group_home_dir                /var/lib/mysql       
 innodb_max_dirty_pages_pct               90                   
 innodb_max_purge_lag                     0                    
 innodb_mirrored_log_groups               1                    
 innodb_open_files                        300                  
 innodb_rollback_on_timeout               OFF                  
 innodb_stats_method                      nulls_equal          
 innodb_stats_on_metadata                 ON                   
 innodb_support_xa                        ON                   
 innodb_sync_spin_loops                   20                   
 innodb_table_locks                       ON                   
 innodb_thread_concurrency                8                    
 innodb_thread_sleep_delay                10000                
 innodb_use_legacy_cardinality_algorithm  ON         
----------------------
mysql>show status like 'innodb%';
----------------
 

Innodb_buffer_pool_pages_data     2559       分配出去, 正在被使用页的数量,包括脏页。单位是page
 Innodb_buffer_pool_pages_dirty    0            脏页但没有被flush除去的页面数。单位是page
 Innodb_buffer_pool_pages_flushed  795       已经flush的页面数。单位是page
 Innodb_buffer_pool_pages_free     1473     当前空闲页面数。单位是page
 Innodb_buffer_pool_pages_misc     64         缓存池中当前已经被用作管理用途或hash index而不能用作为普通数据页的数目。单位是page
 Innodb_buffer_pool_pages_total    4096       缓冲区总共的页面数。单位是page
 Innodb_buffer_pool_read_ahead_rnd 8        随机预读的次数
 Innodb_buffer_pool_read_ahead_seq 1        顺序预读的次数
 Innodb_buffer_pool_read_requests  1725871    从缓冲池中读取页的次数
 Innodb_buffer_pool_reads          2108              从磁盘读取页的次数。缓冲池里面没有, 就会从磁盘读取
 Innodb_buffer_pool_wait_free      0                缓冲池等待空闲页的次数,当需要空闲块而系统中没有时,就会等待空闲页面
 Innodb_buffer_pool_write_requests 2296       缓冲池总共发出的写请求次数
 Innodb_data_fsyncs                695              总共完成的fsync次数
 Innodb_data_pending_fsyncs        0            innodb当前等待的fsync次数
 Innodb_data_pending_reads         0           innodb当前等待的读的次数
 Innodb_data_pending_writes        0            innodb当前等待的写的次数
 Innodb_data_read                  44044288          总共读入的字节数
 Innodb_data_reads                 2191              innodb完成的读的次数
 Innodb_data_writes                1296              innodb完成的写的次数
 Innodb_data_written               26440192     总共写出的字节数
 Innodb_dblwr_pages_written        795    
 Innodb_dblwr_writes               90     
 Innodb_log_waits                  0                   因日志缓存太小而必须等待其被写入所造成的等待数。单位是次。
 Innodb_log_write_requests         263    
 Innodb_log_writes                 410    
 Innodb_os_log_fsyncs              500    
 Innodb_os_log_pending_fsyncs      0      
 Innodb_os_log_pending_writes      0      
 Innodb_os_log_written             343552 
 Innodb_page_size                  16384  
 Innodb_pages_created              4      
 Innodb_pages_read                 2555   
 Innodb_pages_written              795    
 Innodb_row_lock_current_waits     0      
 Innodb_row_lock_time              0      
 Innodb_row_lock_time_avg          0      
 Innodb_row_lock_time_max          0      
 Innodb_row_lock_waits             0      
 Innodb_rows_deleted               0      
 Innodb_rows_inserted              352    
 Innodb_rows_read                  818617 
 Innodb_rows_updated               88         
------------------
 命中率=innodb_buffer_pool_read_requests / (innodb_buffer_pool_read_requests + innodb_buffer_pool_read_ahead + innodb_buffer_pool_reads)
innodb_buffer_pool_size: 如果不使用InnoDB存储引擎,可以不用调整这个参数,如果需要使用,在内存允许的情况下,尽可能将所有的InnoDB数据文件存放如内存中,同样将但来说也是“越大越好”。