数据库崩溃,利用备份和日志进行灾难恢复

在实际的工作中,我们可能经常会遇到数据库宕机,数据丢失的情况,下面,我将演示一个模拟环境

1.数据库正常启动插入数据:

  1. [root@client103 ~]# mysql -uroot -pkongzhong  
  2. mysql> use test;  
  3. mysql> insert into a select * from a;  
  4. #注: 这里不演示建表,默认大家都懂  
  5. # 下面进行一次全备  
  6. [root@client103 ~]#  innobackupex –user=root –password=kongzhong –defaults-file=/etc/my.cnf –port=3306  /tmp/backup/ >/tmp/backup/innoback.log 2>&1  
  7.   
  8. # 再次插入数据  
  9. mysql> insert into a select * from a;  
  10. # 实行增量备份  
  11. [root@client103 ~]#  innobackupex –user=root –password=kongzhong –defaults-file=/etc/my.cnf –port=3306 –incremental –incremental-basedir=/tmp/backup/2014-02-27_13-24-51/  /tmp/backup/  
  12.   
  13. # 再次插入数据  
  14. mysql> insert into a select * from a;  
  15. # 此时大家记录一下现在的总行数(一会还原需要核对数据的)  
  16. # 此时数据库宕机  
  17. #模拟宕机操作为:  
  18. # 1.将数据目录的下的二进制日志,复制到 /tmp/backup,一会需要重演日志(此步非常重要,复制操作默认大家会了)  
  19. # 2.删除数据目录下的所有文件,此时数据库就崩溃了(如果关闭数据库,是关不了,记得杀掉进程,kill -9 ….)  

2.数据库宕机后执行恢复操作

  1. # 全备应用日志  
  2. [root@client103 ~]# innobackupex –apply-log /tmp/backup/2014-02-27_13-24-51/  
  3. # 增备应用日志  
  4. [root@client103 ~]# innobackupex –apply-log /tmp/backup/2014-02-27_13-24-51/ –incremental-dir=/tmp/backup/2014-02-27_13-32-44/  
  5. # 应用完日志,利用全备恢复数据  
  6. [root@client103 ~]# innobackupex –copy-back /tmp/backup/2014-02-27_13-24-51/  
  7. # 修改数据目录权限为mysql:mysql  
  8. [root@client103 ~]# chown mysq:mysql /var/lib/mysql -R  
  9. # 启动数据库  
  10. [root@client103 ~]# /etc/init.d/mysql start  
  11. # 登陆数据库,查看数据行数,发现数值与崩溃前是不一致的,所以需要利用日志恢复  
  12. [root@client103 ~]# mysql -uroot -pkongzhong  
  13. mysql> use test;  
  14. mysql>  select count(*) from a;  
  15. # 查看最后一次增备完成时的日志文件名和pos号(备份时自动记录的)  
  16. [root@client103 ~]# cat /tmp/backup/2014-02-27_13-32-44/xtrabackup_binlog_info   
  17. mysql-103-bin.000005    3694  
  18. # 所以,我们使用二进制执行恢复时,起始点为3694  
  19. # 利用日志恢复  
  20. [root@client103 ~]# mysqlbinlog –start-pos=3694 /tmp/backup/mysql-103-bin.000005  |mysql -uroot -pkongzhong  
  21. # 此时在登陆数据库查看数据是否相符,请自行测试  
  22. mysql> use test;  
  23. mysql>  select count(*) from a;  

线上mysql数据库不停机的环境下,如何添加新的从机 — mysqldump

    在上一篇博文中,提到使用xtrabackup工具来实现热备,这篇我通过mysqldump来实现在线添加从机

一.目前的基本环境:
  主DB:192.168.1.101
  从DB1:192.168.1.102
  从DB2:192.168.1.100(准备在线添加做为从机的mysql数据库)
  数据库版本:mysql 5.1.61(select  version())
  服务器版本:red hat linux 6
        注:目前主从正常(show slave status\G),同步的数据库为 login
               同步的表为innodb引擎的表
        注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
               所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
        1.主DB,线上数据正常写入的同时我实施备份
  1. # 使用mysqldump进行备份,使用–master-data参数:此值有1和2,大家可以自己google以下  
  2. [root@client101 ~]# mysqldump -uroot -pkongzhong –opt –hex-blob –single_transaction -R –default-character-set=utf8 –master-data=2 login>/tmp/login.sql  
  3. # 再开一个端口,插入数据  
  4. mysql> insert into a select * from a;  
  5. # 备份完毕后,我们查看刚才的备份发现,master的日志文件和pos号  
  6. [root@client101 ~]# grep -i  “change master”  /tmp/login.sql  
  7. — CHANGE MASTER TO MASTER_LOG_FILE=’mysql-101-bin.000007′, MASTER_LOG_POS=107;  
  8. # 我刚才在备份的时候也插入数据的,我再看看主上实际的日志文件和pos号  
  9. mysql> show master status;  
  10. +———————-+———-+————–+——————+  
  11. | File                 | Position | Binlog_Do_DB | Binlog_Ignore_DB |  
  12. +———————-+———-+————–+——————+  
  13. | mysql-101-bin.000007 |      532 |              |                  |  
  14. +———————-+———-+————–+——————+  
  15. # 现在我们利用备份还原,利用备份的里的pos号,看能否追上主  

2.备份完成后,将数据传送到需要作为新从机的DB server(192.168.1.100)上用于在上面进行还原

  1. [root@client101 ~]# scp /tmp/login.sql  192.168.1.100:/tmp  

3.从DB2上,使用刚才的备份,并用于恢复

  1. [root@client100 tmp]# mysql -uroot -pkongzhong  login </tmp/login.sql  
  2. # 修改配置文件:/etc/my.cnf  
  3. replicate-wild-do-table=login.%  
  4. innodb_file_per_table=1  
  5. report-host=192.168.1.100  
  6. innodb_lock_wait_timeout=1  
  7. expire_logs_days= 3  
  8. max_binlog_size= 100M  
  9. server-id=100  
  10. # 重新启动数据库  
  11. [root@client103 mysql]# /etc/init.d/mysqld restart  

4.将从DB2的主机指向主DB1

  1. # 备份文件里有备份时的master日志文件和pos号  
  2. [root@client100 ~]# grep -i  “change master”  /tmp/login.sql  
  3. — CHANGE MASTER TO MASTER_LOG_FILE=’mysql-101-bin.000007′, MASTER_LOG_POS=107;  
  4. # 建立主从关系  
  5. mysql> change master to master_host=’192.168.1.101′,  
  6.     -> master_user=’slave’,  
  7.     -> master_password=’slave’,  
  8.     -> master_log_file=’mysql-101-bin.000007′,  
  9.     -> master_log_pos=107;  
  10. # 开启同步  
  11. mysql> start slave;  
  12. # 查看同步状态  
  13. mysql> show slave status\G;  

5.此时如果都为yes,则主从则建立完毕!发现数据已经追上从机了

大家可以自行测试!

 

线上mysql数据库不停机的环境下,如何添加新的从机 — innobackupex

       在工作中,主从环境搭的多了,但是,基本上都是在DB SERVER停机(游戏公司)的情况下搭建的,今天突然被一技术官问,如何在线添加主从,回答的大概思路,但是没有实践过,下面,我就测试一下。各位也可以先想想自己的思路:mysql 5.1版本,二进制日志文件(时间长了,有些二进制日志定期清除了),pos号

       注:在mysql 5.6版本中,已经有基于GTID的主从复制(即:不需要知道日志文件和position号),只需还原最新的备份就可实现,这里只讨论mysql 5.1
一.目前的基本环境:
  主DB:192.168.1.101
  从DB1:192.168.1.102
  从DB2:192.168.1.103(准备在线添加做为从机的mysql数据库)
  数据库版本:mysql 5.1.61(select  version())
  服务器版本:red hat linux 6
        注:目前主从正常(show slave status\G),同步的数据库为 login
               3台DB server的备份软件(xtrbackup)都已经安装完成
               同步的表为innodb引擎的表,不然用xtrabackup还是会锁表
   假设环境为:现在login库下的表a,备份的时候插入数据,最终行为5418272
        注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
               所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
       1.主DB,线上数据正常写入的同时我实施备份
  1. mysql> insert into a select * from a;  
  2. [root@client101 backup]# innobackupex –user=root –password=kongzhong –defaults-file=/etc/my.cnf –port=3306  –database=login /tmp/backup/ >/tmp/backup/innoback.log 2>&1  
  3. # 备份完成后,可以查看备份文件目录下, xtrabackup_binlog_info  此文件会记录主上的日志和position号  
  4. [root@client101 2014-02-22_07-43-36]# cat xtrabackup_binlog_info   

2.将备份文件压缩,并传送到从DB2(192.168.1.103)上,用于在上面进行还原

  1. [root@client101 backup]# tar zcvf login.tar  2014-02-22_07-43-36  
  2. [root@client101 backup]# scp login.tar  192.168.1.103:/tmp/  

3.从DB2上,解压刚才的备份,并用于恢复

  1. [root@client103 tmp]# tar -xf login.tar  
  2. # 应用日志,保证数据一致  
  3. [root@client103 tmp]# innobackupex –apply-log /tmp/2014-02-22_07-43-36/  
  4. # 停mysql  
  5. [root@client103 mysql]# /etc/init.d/mysqld stop  
  6. # mysql数据目录下的所有文件移到/tmp/mysqlbackup/下,不然,恢复有问题  
  7. # [这里建议只复制数据文件,不建议复制(日志,索引,innodb共享表空间,innodb日志文件,慢日志等)]  
  8. [root@client103 mysql]# mv /var/lib/mysql/*  /tmp/mysqlback  
  9. # 恢复数据  
  10. [root@client103 mysql]# innobackupex –copy-back /tmp/2014-02-22_07-43-36/  
  11. # 将原数据库的内容复制mysql数据目录(这里就是我认为这个软件不好的地方,大家也可以给点建议)  
  12. [root@client103 mysqlback]# mv /tmp/mysqlbac k/* /var/lib/mysql/  
  13. # 将数据目录的权限修改为mysql权限  
  14. [root@client103 mysql]# chown mysql. /var/lib/mysql/  
  15. # 启动数据库  
  16. [root@client103 mysql]# /etc/init.d/mysqld start  
  17. # 验证数据的一致性:5418272(主上的行)  
  18. mysql> select count(*) from a;  
  19. +———-+  
  20. count(*) |  
  21. +———-+  
  22. |  5418272 |  
  23. +———-+  

4.将从DB2的主机指向主DB1

  1. # 刚才回复后,会有个文件:xtrabackup_binlog_pos_innodb –> 此文件记录了备份时日志文件和pos号  
  2. [root@client103 mysql]# cat xtrabackup_binlog_pos_innodb  
  3. /var/lib/mysql/mysql-101-bin.000008     2423  
  4. # 建立主从关系  
  5. mysql> change master to master_host=’192.168.1.101′,  
  6.     -> master_user=’slave’,  
  7.     -> master_password=’slave’,  
  8.     -> master_log_file=’mysql-101-bin.000008′,  
  9.     -> master_log_pos=2423;  
  10. # 开启同步  
  11. mysql> start slave;  
  12. # 查看同步状态  
  13. mysql> show slave status\G;  

5.此时如果都为yes,则主从则建立完毕!大家可自行测试

注:

     还有一种方式在线添加主从,即原本的从机只做冗余,可以在从机暂时停止主从,
     然后,在从机上执行备份,看当前从机上,日志执行到哪个文件,哪个位置(master的日志文件和pos号)

mysql命令行基本操作


一、连接MYSQL
格式: mysql -h主机地址 -u用户名 -p用户密码
或者: mysql -u 用户名 -p // 回车后要求输入密码,密码不可见
1、连接到本机上的MYSQL。
首先打开DOS窗口,然后进入目录mysql\bin,再键入命令mysql -u root -p,回车后提示你输密码.注意用户名前可以有空格也可以没有空格,但是如果-p后带有用户密码,那么-p与密码之间必须没有空格,否则让你重新输入密码.例如以下都是合法的登陆:(帐号:root   密码:123)
mysql -u root -p
mysql -uroot -p
mysql -uroot -p123
如果刚安装好MYSQL,超级用户root是没有密码的,故直接回车即可进入到MYSQL中了,MYSQL的提示符是: mysql>
2、连接到远程主机上的MYSQL。假设远程主机的IP为:110.110.110.110,用户名为root,密码为abcd123。则键入以下命令:
mysql -h110.110.110.110 -u root -p 123;(注:u与root之间可以不用加空格,其它也一样)
3、退出MYSQL命令: exit (回车)
二、修改密码。
格式:mysqladmin -u用户名 -p旧密码 password 新密码
1、给root加个密码ab12。首先在DOS下进入目录mysql\bin,然后键入以下命令
mysqladmin -u root -password ab12
注:因为开始时root没有密码,所以-p旧密码一项就可以省略了。
2、再将root的密码改为djg345。
mysqladmin -u root -p ab12 password djg345
(注意:和上面不同,下面的因为是MYSQL环境中的命令,所以后面都带一个分号作为命令结束符)
3、命令行修改root密码:
mysql> UPDATE mysql.user SET password=PASSWORD(’新密码’) WHERE User=’root’;
mysql> FLUSH PRIVILEGES;
4、显示当前的user:
mysql> SELECT USER();
三、增加新用户。
格式:grant select on 数据库.* to 用户名@登录主机 identified by “密码”
1、增加一个用户test1密码为abc,让他可以在任何主机上登录,并对所有数据库有查询、插入、修改、删除的权限。首先用root用户连入
MYSQL,然后键入以下命令:
grant select,insert,update,delete on *.* to test1”%” Identified by “abc”;
但增加的用户是十分危险的,你想如某个人知道test1的密码,那么他就可以在internet上的任何一台电脑上登录你的mysql数据库并对你的数据可以为所欲为了,解决办法见2。
2、增加一个用户test2密码为abc,让他只可以在localhost上登录,并可以对数据库mydb进行查询、插入、修改、删除的操作(localhost指本地主机,即MYSQL数据库所在的那台主机),
这样用户即使用知道test2的密码,他也无法从internet上直接访问数据库,只能通过MYSQL主机上的web页来访问了。
grant select,insert,update,delete on mydb.* to test2@localhost identifiedby “abc”;
如果你不想test2有密码,可以再打一个命令将密码消掉。
grant select,insert,update,delete on mydb.* to test2@localhost identified by “”;
四、操作技巧
1、如果你打命令时,回车后发现忘记加分号,你无须重打一遍命令,只要打个分号回车就可以了。
也就是说你可以把一个完整的命令分成几行来打,完后用分号作结束标志就OK。
2、你可以使用光标上下键调出以前的命令。
五、对数据库的操作
1、显示当前数据库服务器中的数据库列表:
mysql> SHOW DATABASES;
注意:mysql库里面有MYSQL的系统信息,我们改密码和新增用户,实际上就是用这个库进行操作。
2、显示数据库中的数据表:
mysql> USE 库名;
mysql> SHOW TABLES;
3、显示use的数据库名:
mysql> SELECT DATABASE();
4、建立数据库:
mysql> CREATE DATABASE 库名;
5、删除数据库:
mysql> DROP DATABASE 库名;
6、导入.sql文件命令:
mysql> USE 数据库名;
mysql> SOURCE d:/mysql.sql;
也可以在DOS环境下键入以下命令进行导入:
mysql -uroot -proot databasename < databasename.sql
注意:导入前请保证mysql中必须有databasename这个数据库;
六、备份数据库:
注意,mysqldump命令在DOS的 mysql\bin 目录下执行,不能在mysql环境下执行,因此,不能以分号“;”结尾。若已登陆mysql,请运行退出命令mysql> exit
1.导出整个数据库
导出文件默认是存在mysql\bin目录下
mysqldump -u用户名 -p数据库名 > 导出的文件名
mysqldump -uroot -p123456 database_name > outfile_name.sql
2.导出一个表
mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名
mysqldump -u user_name -p database_name table_name > outfile_name.sql
3.导出一个数据库结构
mysqldump -u user_name -p -d –add-drop-table database_name > outfile_name.sql
-d 没有数据 –add-drop-table 在每个create语句之前增加一个drop table
4.带语言参数导出
mysqldump -uroot -p –default-character-set=latin1 –set-charset=gbk –skip-opt database_name > outfile_name.sql
七、将文本数据转到数据库中
1、文本数据应符合的格式:字段数据之间用tab键隔开,null值用\n来代替.例:
3 rose 大连二中 1976-10-10
4 mike 大连一中 1975-12-23
假设你把这两组数据存为school.txt文件,放在c盘根目录下。
2、数据传入命令
mysql> load data local infile “c:\school.txt” into table 表名;
注意:你最好将文件复制到mysql\bin目录下,并且要先用use命令打表所在的库。
八、对表的操作
1、显示数据表的结构:
mysql> DESCRIBE 表名; (DESC 表名)
2、建立数据表:
mysql> USE 库名; //进入数据库
mysql> CREATE TABLE 表名 (字段名 VARCHAR(20), 字段名 CHAR(1));
3、删除数据表:
mysql> DROP TABLE 表名;
4、重命名数据表
alter table t1 rename t2;
5、显示表中的记录:
mysql> SELECT * FROM 表名;
6、往表中插入记录:
mysql> INSERT INTO 表名 VALUES (”hyq”,”M”);
7、更新表中数据:
mysql-> UPDATE 表名 SET 字段名1=’a’,字段名2=’b’ WHERE 字段名3=’c’;
8、将表中记录清空:
mysql> DELETE FROM 表名;
9、用文本方式将数据装入数据表中:
mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt” INTO TABLE 表名;
10、 显示表的定义,还可以看到表的约束,例如外键
mysql> SHOW CREATE TABLE yourtablename   ;
还可以通过 mysqldump 将表的完整定义转储到文件中,当然包括外键定义。
还可以通过下面的指令列出表 T 的外键约束:
mysql> SHOW TABLE STATUS FROM yourdatabasename LIKE ‘T’
外键约束将会在表注释中列出。
存储过程
11、创建存储过程
CREATE PROCEDURE procedureName (in paramentName type, in paramentName type,……)
BEGIN
SQL sentences;
END
12、调用存储过程
mysql> CALL procedureName(paramentList);
例:mysql> CALL addMoney(12, 500);
13、查看特定数据库的存储过程
方法一:mysql> SELECT `name` FROM mysql.proc WHERE db = ‘your_db_name’ AND `type` = ‘PROCEDURE’;
方法二:mysql> show procedure status;
14、删除存储过程
mysql> DROP PROCEDURE procedure_name;
mysql> DROP PROCEDURE IF EXISTS procedure_name;
15、查看指定的存储过程定义
mysql> SHOW CREATE PROCEDURE proc_name;
mysql> SHOW CREATE FUNCTION func_name;
———- 示例一———–
mysql> DELIMITER $$
mysql> USE `db_name`$$   //选择数据库
mysql> DROP PROCEDURE IF EXISTS `addMoney`$$   //如果存在同名存储过程,则删除之
mysql> CREATE DEFINER= `root`@`localhost` PROCEDURE `addMoney`(IN xid INT(5),IN xmoney INT(6))
mysql> BEGIN
mysql> UPDATE USER u SET u.money = u.money + xmoney WHERE u.id = xid;   //分号”;”不会导致语句执行,因为当前的分割符被定义为$$
mysql> END$$   //终止
mysql> DELIMITER ;    //把分割符改回分号”;”
mysql> call addMoney(5,1000); //执行存储过程
———- 示例二———–
mysql> delimiter //
mysql> create procedure proc_name (in parameter integer)
mysql> begin
mysql> if parameter=0 then
mysql> select * from user order by id asc;
mysql> else
mysql> select * from user order by id desc;
mysql> end if;
mysql> end;
mysql> //        //此处“//”为终止符
mysql> delimiter ;
mysql> show warnings;
mysql> call proc_name(1);
mysql> call proc_name(0);
九、修改表的列属性的操作
1、为了改变列a,从INTEGER改为TINYINT NOT NULL(名字一样),
并且改变列b,从CHAR(10)改为CHAR(20),同时重命名它,从b改为c:
mysql> ALTER TABLE t2 MODIFY a TINYINT NOT NULL, CHANGE b c CHAR(20);
2、增加一个新TIMESTAMP列,名为d:
mysql> ALTER TABLE t2 ADD d TIMESTAMP;
3、在列d上增加一个索引,并且使列a为主键:
mysql> ALTER TABLE t2 ADD INDEX (d), ADD PRIMARY KEY (a);
4、删除列c:
mysql> ALTER TABLE t2 DROP COLUMN c;
5、增加一个新的AUTO_INCREMENT整数列,命名为c:
mysql> ALTER TABLE t2 ADD c INT UNSIGNED NOT NULL AUTO_INCREMENT,ADD INDEX (c);
注意,我们索引了c,因为AUTO_INCREMENT柱必须被索引,并且另外我们声明c为NOT NULL,
因为索引了的列不能是NULL
十、一个建库和建表以及插入数据的实例
drop database if exists school; //如果存在SCHOOL则删除
create database school; //建立库SCHOOL
use school; //打开库SCHOOL
create table teacher //建立表TEACHER
(
id int(3) auto_increment not null primary key,
name char(10) not null,
address varchar(50) default ‘深圳’,
year date
); //建表结束
//以下为插入字段
insert into teacher values(”,’allen’,’大连一中’,’1976-10-10′);
insert into teacher values(”,’jack’,’大连二中’,’1975-12-23′);
如果你在mysql提示符键入上面的命令也可以,但不方便调试。
(1)你可以将以上命令原样写入一个文本文件中,假设为school.sql,然后复制到c:\下,并在DOS状态进入目录\mysql\bin,然后键入以下命令:
mysql -uroot -p密码 < c:\school.sql
如果成功,空出一行无任何显示;如有错误,会有提示。(以上命令已经调试,你只要将//的注释去掉即可使用)。
(2)或者进入命令行后使用 mysql> source c:\school.sql; 也可以将school.sql文件导入数据库中。