mysql优化可以考虑的21个方面

在日常朋友间交流中,总会谈论数据库的优化问题,下面为转载的一片文章,优化方面说的还是蛮详细的。

细节东西(table cache, 表设计,索引设计,程序端缓存之类的)先不赘述。

1. 要确保有足够的内存

数据库能够高效的运行,最关建的因素需要内存足够大,能缓存住数据,更新也可以在内存先完成。但不同的业务对内存需要强度不一样,推荐内存要占到数据的15-25%的比例,特别的热的数据,内存基本要达到数据库的80%大小。

2. 需要更多更快的CPU

MySQL 5.6可以利用到64个核,而MySQL每个query只能运行在一个CPU上,所以要求更多的CPU,更快的CPU会更有利于并发。

3. 要选择合适的操作系统

在官方建议估计最推荐的是Solaris, 从实际生产中看CentOS, REHL都是不错的选择,推荐使用CentOS, REHL 版本为6以后的,当然Oracle Linux也是一个不错的选择。虽然从MySQL 5.5后对Windows做了优化,但也不推荐在高并发环境中使用windows.

4. 合理的优化系统的参数

更改文件句柄 ulimit –n 默认1024 太小

进程数限制 ulimit –u 不同版本不一样

禁掉NUMA numctl –interleave=all

修改方法:vim /etc/profile ==> 添加 ulimit -HSn 65535 ,然后 source /etc/profile

5. 选择合适的内存分配算法

默认的内存分配就是c的malloc 现在也出现许多优化的内存分配算法:

jemalloc and tcmalloc

从MySQL 5.5后支持声明内存储方法。

[mysqld_safe]

malloc-lib = tcmalloc

或是直接指到so文件

[mysqld_safe]

malloc-lib=/usr/local/lib/libtcmalloc_minimal.so

6. 使用更快的存储设备ssd或是固态卡

存储介质十分影响MySQL的随机读取,写入更新速度。新一代存储设备固态ssd及固态卡的出现也让MySQL 大放异彩。

7. 选择良好的文件系统推荐XFS, Ext4

如果还在使用ext2,ext3的同学请尽快升级别。推荐XFS,这个也是今后一段时间Linux会支持一个文件系统。

文件系统强烈推荐: XFS

查看方式为: df -Th

8. 优化挂载文件系统的参数

挂载XFS参数:(rw, noatime,nodiratime,nobarrier)

挂载ext4参数:ext4 (rw,noatime,nodiratime,nobarrier,data=ordered)

如果使用SSD或是固态盘需要考虑:

innodb_page_size = 4K

Innodb_flush_neighbors = 0

9. 选择适合的IO调度

正常请下请使用deadline 默认是noop

echo dealine > /sys/block/{DEV-NAME}/queue/scheduler

10. 选择合适的Raid卡

Cache策略请使用带电的Raid,启用WriteBack,对于加速redo log ,binary log, data file都有好处。

11. 禁用Query Cache

Query Cache在Innodb中有点鸡肋,Innodb的数据本身可以在Innodb buffer pool中缓存,Query Cache属于结果集缓存,如果开启Query Cache更新写入都要去检查query cache反而增加了写入的开销。
在MySQL 5.6中Query cache是被禁掉了。

12. 使用Thread Pool

现在一个数据对应5个以上App场景比较,但MySQL有个特性随着连接增多的情况下性能反而下降,所以对于连接超过200的以后场景请考虑使用thread pool. 这是一个伟大的发明。

这个mysql 5.5中提供,但仅是商业版提供,所以建议使用mariadb

13. 合理调整内存

(1). 减少连接的内存分配,连接可以用thread_cache_size缓存,观察不如thread pool给力。数据库在连上分配的内存如下:

max_used_connections * (read_buffer_size +read_rnd_buffer_size +join_buffer_size +sort_buffer_size +binlog_cache_size +thread_stack +2 * net_buffer_length …)

(2). 使较大的buffer pool要把60-80%的内存分给innodb_buffer_pool_size. 这个不要超过数据大小了,另外也不要分配超过80%,不然会利用到swap.

14. 合理选择LOG刷新机制Redo Logs:

– innodb_flush_log_at_trx_commit = 1 // 最安全

– innodb_flush_log_at_trx_commit = 2 //  较好性能

– innodb_flush_log_at_trx_commit = 0 //  最好的情能
binlog :

sync_binlog= 1 需要group commit支持,如果没这个功能可以考虑binlog_sync=0来获得较佳性能。
关于组提交实现的前提条件是:应该是:【 sync_binlog=0,innodb_support_xa=0】,不知道理解对否?大家可以发表想法.

数据文件:innodb_flush_method = O_DIRECT

15. 请使用Innodb表,以利用更多资源,在线alter操作有所提高

目前也支持非中文的full text(mysql 5.6支持), 同时支持Memcache API访问。目前也是MySQL最优秀的一个引擎。如果你还在MyISAM请考虑快速转换。

16. 设置较大的Redo log

以前Percona 5.5和官方MySQL 5.5比拼性能时,胜出的一个Tips就是分配了超过4G的Redo log ,而官方MySQL5.5 redo log不能超过4G. 从 MySQL 5.6后可以超过4G了,通常建Redo log加起来要超过500M。 可以通过观查redo log产生量,分配Redo log大于一小时的量即可。

17. 优化磁盘的IO

innodb_io_capactiy 在sas 15000转的下配置800就可以了,在ssd下面配置2000以上。
在MySQL 5.6:

innodb_lru_scan_depth = innodb_io_capacity / innodb_buffer_pool_instances

innodb_io_capacity_max = min(2000, 2 * innodb_io_capacity)

18. 使用独立表空间

目前来看新的特性都是独立表空间支持:

truncate table 表空间回收,表空间传输,较好的去优化碎片等管理性能的增加,整体上来看使用独立表空间是没用的。

19. 配置合理的并发

innodb_thread_concurrency =并发数

这个参数在Innodb中变化也是最频繁的一个参数。不同的版本,有可能不同的小版本也有变动。一般推荐:

在使用thread pool 的情况下:

innodb_thread_concurrency = 0 就可以了。

如果在没有thread pool的情况下:

5.5 推荐:innodb_thread_concurrency =16 – 32

5.6 推荐:innodb_thread_concurrency = 36

20. 优化事务隔离级别

默认是 Repeatable read

推荐使用Read committed: 这个观点,我也有点不太同意此篇文章所讲的,mysql的默认隔离级别可能会忧于Read committed

binlog格式使用mixed或是Row

较低的隔离级别 = 较好的性能

21. 注重监控。

任何环境离不开监控,如果少了监控,有可能就会陷入盲人摸象。 推荐zabbix+mpm构建监控。

文章转载地址:http://www.mysqlsupport.cn/21ways-optimize-mysql/

 

有关oracle优化入门知识

1.优化的几个方面:
应用
实例配置
操作系统

2.解决优化问题的步骤:
收集信息
分析数据
部分解决[每次只解决一个问题]

3.指标:
最短应答时间:服务时间+等待时间
最少资源使用:

4.告警日志的位置
10g下,在bdump目录的下的alert.log,为文本格式,可直接打开,需定期删除,不然会无线增大
11g下,为自动诊断资料库,在diag/rdbms/目录下,为xml格式,建议使用em[企业管理器]查看

5.后台进程跟踪文件,在bdump目录下:
格式:数据库名字+进程号+线程号.trc

6.用户追踪文件
10g下,在udump目录下,
11g下,在trace目录下
格式:数据库名字+ora+进程号

7.跟踪的分类:

(1).用户自己追踪自己:

  1. sys>grant alter session to scott; # 授予用户权限  
  2. scott>alter session set sql_trace=true; # 开启自己跟踪自己的权限  
  3. scott>select * from emp # 这里可以执行任意DML语句….  
  4. scott>alter sessiom set sql_trace=false; # 关闭跟踪  

查看跟踪文件:
存放位置:/u01/app/oracle/admin/orcl/udump/*
在此目录下,执行LL -t,默认最上面一个就是刚才的文件,也可以使用v$session和v$process两个视图查出进程号
因此文件不易读,需转换成可读的文本:

  1. 格式:  
  2. tkprof 原文件名 新文件名 explain=用户名/密码 sys=no  
  3. 如下:  
  4. tkprof orcl_ora_1928.trc 2.txt explain=scott/tiger sys=no  

现在就可以查看输出文件了

(2).自动追踪:

  1. SYS>@/u01/app/oracle/product/10.2.0/db_1/sqlplus/admin/plustrce; # 自动追踪需要plutrce角色,需要安装  
  2. SYS>grant plustrace to scott; # 将角色授予scott用户  
  3. SCOTT>@/u01/app/oracle/product/10.2.0/db_1/rdbsms/admin/utlxplan; # 安装执行计划表  
  4. demo:  
  5. scott>set autotrace on   # 开启自动追踪,这种是查询时就显示执行计划,比较方便  
  6. scott>select ename,sal from e where empno=7902;  
  7. scott>create index e_empno_ename_sal on e(empno,ename,sal);  
  8. scott>select ename,sal from e where empno=7902;  
  9.   
  10. explain plan   # 手动生成一个执行计划  
  11. scott>explain plan for select ename,sal from e where empno=7902;  
  12. scott>select * from table(dbms_xplan.display);  

8.清空共享池/buffer_cache:

  1. 清空共享池:alter system flush shared_pool    # 字典信息,库信息都被清楚,生产环境下,不要做此操作,影响性能  
  2. 清空buffer_cache:alter system flush buffer_cache # 清空所有缓存的数据信息  

9.dbms_monitor跟踪:

(1).跟踪会话:# 多用于跟踪用户的session_id

  1. SYS>dbms_monitor.SESSION_TRACE_ENABLE(session_id,serial_num,wait,binds);  
  2. SYS>dbms_monitor.SESSION_TRACE_disABLE(session_id,serial_num);  

(2).跟踪服务名:

  1. # 同一用户从不同客户端登陆同一服务  
  2. $sqlplus scott/tiger@orcl  
  3. $sqlplus scott/tiger@orcl  
  4. SYS>exec dbms_monitor.SERV_MOD_ACT_TRACE_ENABLE(service_name=>’orcl’); # 开启追踪,服务名就是网络服务名  
  5. SCOTT_1>select * from emp where empno=7788;  
  6. SCOTT_2>select * from emp where empno=7369;  
  7. SYS>exec dbms_monitor.SERV_MOD_ACT_TRACE_DISABLE(service_name=>’orcl’); # 关闭追踪  
  8. $trcsess output=trace.txt service=orcl * # 将不同终端信息汇总  
  9. $tkprof trace.txt tk.txt explain=scott/tiger sys=no # 转换文件格式为文本格式  
  10. $vi tk.txt # 查看文本信息  

10.以上的一些操作,oracle提供一个b/s架构的企业管理器,方便管理[非常方便]

(1).查询em是否已经安装[默认,安装数据库时,数据库就已经安装] –> 安装了EM,在数据库家目录会有一个和你主机名差不多的目录

  1. SYS>select comp_name,version from dba_registry;  
  2. SYS>select OCCUPANT_NAME,SPACE_USAGE_KBYTES from v$sysaux_occupants;  

(2).创建企业管理器:

  1. a.配置资料库:  
  2. $emca -repos create  
  3. b.配置数据库控制台:  
  4. $emca -config dbcontrol db  
  5. c.开启企业管理器[em]  
  6. $emctl start dbconsole  

(3).删除企业管理器:

  1. a.停止企业管理器[em]  
  2. $emctl stop dbconsole  
  3. b.删除数据库控制台:  
  4. $emca -deconfig dbcontrol db  
  5. c.删除资料库  
  6. $emca -repos drop  

11.statspack:
(1).安装statspack,使用spcreate.sql脚本:

  1. sys>@/u01/oracle/app/oracle/product/10.2.0/db_1/rdbms/admin/spcreate; # 删除使用spdrop.sql  
  2. sys>select OCCUPANT_NAME,SPACE_USAGE_KBYTES from V$SYSAUX_OCCUPANTS;  
  3. sys>exec statspack.snap; # 创建一个snapshot,一般每隔20分钟执行一次  
  4. …  
  5. …  
  6. sys>exec statspack.snap;  
  7. sys>@$ORACLE_HOME/rdbms/admin/spreport # 生成报告,需要至少2个snapshot,才可以生成报告  
  8. # 报告默认存放在用户家目录下  
  9. # 还有一些脚本:  
  10. Automate the collection of statistics with spauto.sql.  
  11. Produce a report by using spreport.sql or sprepsql.sql.  
  12. Purge Statspack data with statspack.purge or sppurge.sql.  
  13. Truncate all Statspack tables with sptrunc.sql.  
  14. Export the Statspack repository with spexp.par.  

12.awr:automatic workload repository ==> 自动负载资料库
# 每小时收集一次,保留7天[放在sysaux下面],后台进程为:mmon
ADDM:自动数据库诊断监控器,自动分析

13.以上这些,oracle的企业管理器都提供了这种操作,非常方便。