电玩城打鱼捕鱼-专业24小时上下分

mysql主从数据库备份配置过程,生产环境下的MySQL数据库主从同步总结

六月 13th, 2019  |  电玩城上下分数据库

MySQL的主从同步是一个很成熟的架构,优点为:①在从服务器可以执行查询工作(即我们常说的读功能),降低主服
务器压力;②在从主服务器进行备份,避免备份期间影响主服务器服务;③当主服务器出现问题时,可以切换到从服务器。所以我在项目部署和实施中经常会采用这
种方案;鉴于生产环境下的MySQL的严谨性,我这里推荐采用张宴兄的MySQL源码编译的方法.

mysql主从数据库备份配置过程

环境:
主从服务器上的MySQL数据库版本同为5.1.34
主机IP:192.168.0.1
从机IP:192.168.0.2
一. MySQL主服务器配置
1.编辑配置文件/etc/my.cnf
# 确保有如下行
server-id = 1
log-bin=mysql-bin
binlog-do-db=mysql  #需要备份的数据库名,如果备份多个数据库,重复设置这个选项即可
binlog-ignore-db=mysql  #不需要备份的数据库名,如果备份多个数据库,重复设置这个选项即可
log-slave-updates #这个参数一定要加上,否则不会给更新的记录些到二进制文件里
slave-skip-errors #是跳过错误,继续执行复制操作
2.建立用户
mysql> grant replication slave on *.* to slave@192.168.0.2 identified by ‘111111′;
# grant replication slave on *.* to ‘用户名’@’主机’ identified by ‘密码’;
# 可在Slave上做连接测试: mysql -h 192.168.0.1 -u test -p
3.锁主库表
mysql> FLUSH TABLES WITH READ LOCK;
4.显示主库信息

第④版更新内容如下:

注意:

记录File和Position,从库设置将会用到

mysql> SHOW MASTER STATUS;
+——————+———-+————–+——————+
| File             | Position | Binlog_do_db | Binlog_ignore_db |
+——————+———-+————–+——————+
| mysql-bin.000001 | 106      |              |                  |
+——————+———-+————–+——————+
5.另开一个终端,打包主库
cd /usr/local/mysql  #mysql库目录

一、增加了MySQL5.1.38的编译安装过程,安装过程仍然采用张宴早期安装MySQL的方法,摈弃了用脚本控制的办法;

1.mysql版本一样

tar zcvf var.tar.gz var

二.MySQL从服务器配置
1、传输拿到主库数据包、解包
# cd /usr/local/mysql
# scp 192.168.0.1:/usr/local/mysql/var.tar.gz .
# tar zxvf var.tar.gz
2、查看修改var文件夹权限
# chown -R mysql:mysql var
3.编辑 /etc/my.cnf
server-id=2
log-bin=mysql-bin
master-host=192.168.0.1
master-user=slave
master-password=111111
master-port=3306
replicate-do-db=test  #需要备份的数据库名
replicate-ignore-db=mysql #忽略的数据库
master-connect-retry=60 #如果从服务器发现主服务器断掉,重新连接的时间差(秒)
log-slave-updates #这个参数一定要加上,否则不会给更新的记录些到二进制文件里
slave-skip-errors #是跳过错误,继续执行复制操作
4、验证连接MASTER
# mysql -h192.168.0.1 -uslave -ppassword
mysql> show grants for slave@192.168.0.2;
5、在SLAVE上设置同步

二、从库取主库的方法仍然采用tar获取,未采用MySQLdump的原因是在实际配置中发现,此法失败的机率比较大,故一直用tar取主数据库的完整快照,这里有网友不是太理解,这里重点说明下;

2.master和slave的hostname不能相同

设置连接MASTER MASTER_LOG_FILE为主库的File,MASTER_LOG_POS为主库的Position

mysql> slave stop;
mysql> CHANGE MASTER TO MASTER_HOST=’192.168.0.1′,MASTER_USER=’slave’,MASTER_PASSWORD=’111111′,MASTER_LOG_FILE=’mysql-bin.000001′,MASTER_LOG_POS=106;
6、启动SLAVE服务
mysql> slave start;
7、查看SLAVE状态
mysql> SHOW SLAVE STATUS\G;
其中 Slave_IO_Running 和 Slave_SQL_Running 两列的值都为 “Yes”,表明 Slave 的 I/O 和 SQL 线程都在正常运行。
8、解锁主库表
mysql> UNLOCK TABLES;

三、MySQL主从复制虽然配置比较简单,但同时也是柄刃剑;因为如果在主库上发生误删表现象,从库也会发生;所以主表的单机备份一定要作,推荐同时也作FTP备份;

3.两台服务器的时间同步

到此主从库搭建成功。可以在主库上插入数据测试同步是否正常。

附:一些错误信息的处理,主从服务器上的命令,及状态信息。
在从服务器上使用show slave status\G
Slave_IO_Running,为No,
则说明IO_THREAD没有启动,请执行start slave io_thread
Slave_SQL_Running为No
则复制出错,查看Last_error字段排除错误后执行start slave sql_thread
查看Slave_IO_State字段空 //复制没有启动
Connecting to master//没有连接上master
Waiting for master to send event//已经连上
主服务器上的相关命令:
show master status
show slave hosts
show logs
show binlog events
purge logs to ‘log_name’
purge logs before ‘date’
reset master(老版本flush master)
set sql_log_bin=
从服务器上的相关命令:
slave start
slave stop
SLAVE STOP IO_THREAD //此线程把master段的日志写到本地
SLAVE start IO_THREAD
SLAVE STOP SQL_THREAD //此线程把写到本地的日志应用于数据库
SLAVE start SQL_THREAD
reset slave
SET GLOBAL SQL_SLAVE_SKIP_COUNTER
load data from master
show slave status(SUPER,REPLICATION CLIENT)
CHANGE MASTER TO MASTER_HOST=, MASTER_PORT=,MASTER_USER=, MASTER_PASSWORD= //动态改变master信息
PURGE MASTER [before ‘date’] 删除master端已同步过的日志
6.3.1 Master 同步线程状态
以下列出了master的 Binlog Dump 线程 State 字段中最常见的几种状态。如果在master上没有 Binlog Dump 线程,那么同步就没有在运行。
也就是说,没有slave连接上来。
Sending binlog event to slave
事件是由二进制日志构成,一个事件通常由更新语句加上其他信息。线程读取到一个事件并正发送到slave上。
Finished reading one binlog; switching to next binlog
读取完了一个二进制日志,正切换到下一个。
Has sent all binlog to slave; waiting for binlog to be updated
已经读取完全部未完成更新日志,并且全部都发送到slave了。它处于空闲状态,正等待在master上执行新的更新操作以在二进制日志中产生新
的事件,然后读取它们。
Waiting to finalize termination
当前线程停止了,这个时间很短。
6.3.2 Slave的I/O线程状态
以下列出了slave的I/O线程 State 字段中最常见的几种状态。从MySQL 4.1.1开始,这个状态在执行 SHOW SLAVE STATUS 语句结果的
Slave_IO_State 字段也会出现。这意味着可以只执行 SHOW SLAVE STATUS 语句就能了解到更多的信息。
Connecting to master
该线程证尝试连接到master上。
Checking master version
确定连接到master后出现的一个短暂的状态。
Registering slave on master
确定连接到master后出现的一个短暂的状态。
Requesting binlog dump
确定连接到master后出现的一个短暂的状态。该线程向master发送一个请求,告诉它要请求的二进制文件以及开始位置。
Waiting to reconnect after a failed binlog dump request
如果二进制日志转储(binary log dump)请求失败了(由于连接断开),该线程在休眠时进入这个状态,并定期重连。重连的时间间隔由 —
master-connect-retry 选项来指定。
Reconnecting after a failed binlog dump request
该线程正尝试重连到master。
Waiting for master to send event
已经连接到master,正等待它发送二进制日志。如果master闲置时,这个状态可能会持续较长时间,如果它等待超过 slave_read_timeout 秒
,就会发生超时。这时,它就会考虑断开连接,然后尝试重连。
Queueing master event to the relay log
已经读取到一个事件,正把它拷贝到中继日志中以备SQL线程处理。
Waiting to reconnect after a failed master event read
读日志时发生错误(由于连接断开)。该线程在重连之前休眠 master-connect-retry 秒。
Reconnecting after a failed master event read
正尝试重连到master。当连接确定后,状态就变成 Waiting for master to send event。
Waiting for the slave SQL thread to free enough relay log space
relay_log_space_limit 的值非零,中继日志的大小总和超过这个值了。I/O线程等待SQL线程先处理中继日志然后删除它们以释放足够的空间

Waiting for slave mutex on exit
当前线程停止了,这个时间很短。
6.3.3 Slave的SQL线程状态
以下列出了slave的SQL线程 State 字段中最常见的几种状态:
Reading event from the relay log
从中继日志里读到一个事件以备执行。
Has read all relay log; waiting for the slave I/O thread to update it
已经处理完中继日志中的全部事件了,正等待I/O线程写入更新的日志。
Waiting for slave mutex on exit

四、binlog日志一定要开启,签于生产环境的严谨性,此贴欢迎大家交流探讨,找出其中的bug和错误,以免误导新人;此贴我会持续关注和更新(抚琴煮酒)

4.mysql内网备份,建议关闭iptables

当前线程停止了,这个时间很短。

常见的一些问题:
一.从库SLAVE启动问题
由于一些错误操作导致 CHANGE MASTER 和 SLAVE 服务无法启动,系统报错如下:
*****************************************************************
Could not initialize master info structure; more error messages can be found in the MySQL error log.
*****************************************************************
无法初始化master info结构,MySQL错误日志记录了更详细的错误信息。
解决方法:
1、查看MySQL错误日志,如:同步的上一个Position是多少,很多情况下无法启动服务是由于mysql识别的同步始终停留在上一个Position上。
2、查看master.info和relay-log.info,master.info 记录MASTER相关信息,relay-log.info 记录当前同步日志信息。
3、停止myslq服务,删除master.info和relay-log.info。
4、启动mysql服务。
5、重新CHANGE MASTER,重新启动SLAVE服务。
二.主从不能同步
show slave status;报错:Error xxx dosn’t exist
且show slave status\G:
Slave_SQL_Running: NO
Seconds_Behind_Master: NULL
解决方法:
stop slave;
set global sql_slave_skip_counter =1 ;
start slave;
之后Slave会和Master去同步 主要看:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Seconds_Behind_Master是否为0,0就是已经同步了
2,还需要做的一些优化与监视:
show full processlist; //查看mysql当前同步线程号
skip-name-resolve       //跳过dns名称查询,有助于加快连接及同步的速度
max_connections=1000    //增大Mysql的连接数目,(默认100)
max_connect_errors=100 //增大Mysql的错误连接数目,(默认10)
查看日志一些命令
1,  show master status\G;
在这里主要是看log-bin的文件是否相同。
show slave status\G;
在这里主要是看:
Slave_IO_Running=Yes
Slave_SQL_Running=Yes
如果都是Yes,则说明配置成功.
2,在master上输入show processlist\G;
mysql> SHOW PROCESSLIST\G
*************************** 1. row ***************************
Id: 2
User: root
Host: localhost:32931
db: NULL
Command: Binlog Dump
Time: 94
State: Has sent all binlog to slave; waiting for binlog to
be updated
Info: NULL
如果出现Command: Binlog Dump,则说明配置成功.
stop slave    #停止同步
start slave    #开始同步,从日志终止的位置开始更新。
SET SQL_LOG_BIN=0|1  #主机端运行,需要super权限,用来开停日志,随意开停,会造成主机从机数据不一致,造成错误
SET GLOBAL SQL_SLAVE_SKIP_COUNTER=n  # 客户端运行,用来跳过几个事件,只有当同步进程出现错误而停止的时候才可以执行。
RESET MASTER  #主机端运行,清除所有的日志,这条命令就是原来的FLUSH MASTER
RESET SLAVE   #从机运行,清除日志同步位置标志,并重新生成master.info
虽然重新生成了master.info,但是并不起用,最好,将从机的mysql进程重启一下,
LOAD TABLE tblname FROM MASTER #从机运行,从主机端重读指定的表的数据,每次只能读取一个,受timeout时间限制,需要调整timeout时间。执行这个命令需要同步账号有 reload和super权限。以及对相应的库有select权限。如果表比较大,要增加net_read_timeout 和 net_write_timeout的值
LOAD DATA FROM MASTER  #从机执行,从主机端重新读入所有的数据。执行这个命令需要同步账号有reload和super权限。以及对相应的库有select权限。如果表比较大,要增加net_read_timeout 和 net_write_timeout的值
CHANGE MASTER TO master_def_list  #在线改变一些主机设置,多个用逗号间隔,比如
CHANGE MASTER TO
MASTER_HOST=’master2.mycompany.com’,
MASTER_USER=’replication’,
MASTER_PASSWORD=’bigs3cret’
MASTER_POS_WAIT() #从机运行
SHOW MASTER STATUS #主机运行,看日志导出信息
SHOW SLAVE HOSTS #主机运行,看连入的从机的情况。
SHOW SLAVE STATUS (slave)
SHOW MASTER LOGS (master)
SHOW BINLOG EVENTS [ IN ‘logname’ ] [ FROM pos ] [ LIMIT [offset,] rows ]
PURGE [MASTER] LOGS TO ‘logname’ ; PURGE [MASTER] LOGS BEFORE ‘date’
show binlog events; #查看主库二进制日志文件内容:
注意:
1.主辅库同步主要是通过二进制日志来实现同步的。
2.在启动辅库的时候必须先把数据同步,并删除日志目录下的:master.info文件。因为master.info记录了上次要连接主库的信息,如果不删除,即使my.cnf里进行了修改,也不起作用。因为读取的还是master.info文件里的信息。

数据库目录及其它

5.一定要打开mysql的log-bin

您可能感兴趣的文章:

  • MySQL主从同步、读写分离配置步骤
  • mysql主从数据库不同步的2种解决方法
  • MySQL主从复制的原理及配置方法(比较详细)
  • 解读mysql主从配置及其原理分析(Master-Slave)
  • MYSQL主从不同步延迟原理分析及解决方案
  • linux系统下实现mysql热备份详细步骤(mysql主从复制)
  • Mysql主从复制(master-slave)实际操作案例
  • linux下指定mysql数据库服务器主从同步的配置实例
  • MySQL主从复制配置心跳功能介绍
  • MySQL主从原理及配置详解

my.cnf配置文件     /usr/local/webserver/MySQL/my.cnf

6.主从切换比较危险,不到万不得已不推荐执行

MySQL数据库位置    /usr/local/webserver/MySQL/data/

7.在启动辅库的时候必须先把数据同步,并删除日志目录下的:master.info文件

主数据库:192.168.4.191
从数据库:192.168.4.192
操作系统:RHEL5.4 64位
服务器类型: HP 580G5,双四核XeonE5520,32G内存,6块300GSAS做成RAID10
MySQL5.1.38源码编译过程如下:

环境:centos

/usr/sbin/groupadd MySQL  /usr/sbin/useradd -g MySQL MySQL  unzip MySQL-5.1.38.zip  cd MySQL-5.1.38/  ./configure --prefix=/usr/local/webserver/MySQL/ --enable-assembler --with-extra-charsets=complex --enable-thread-safe-client --with-big-tables --with-readline --with-ssl --with-embedded-server --enable-local-infile --with-plugins=innobase make && make install  chmod +w /usr/local/webserver/MySQL  chown -R MySQL:MySQL /usr/local/webserver/MySQL  cp support-files/my-medium.cnf /usr/local/webserver/MySQL/my.cnf  #这部可依具体环境而定,压力大的化可采用huge.cnf  cd ../ 

数据库目录及其它

①以MySQL用户帐号的身份建立数据表:

my.cnf配置文件  /usr/local/mysql/my.cnf

/usr/local/webserver/MySQL/bin/MySQL_install_db --basedir=/usr/local/webserver/MySQL --datadir=/usr/local/webserver/MySQL/data --user=MySQL 

MySQL数据库位置  /usr/local/mysql/data/

②启动MySQL最后的&表示在后台运行)

主数据库:192.168.4.191

/bin/sh /usr/local/webserver/MySQL/bin/MySQLd_safe --defaults-file=/usr/local/webserver/MySQL/my.cnf & 

从数据库:192.168.4.192

一、设置主库

1.安装略过

1、修改主库my.cnf,主要是设置个不一样的id和logbin

一、设置主库

#vim /usr/local/webserver/MySQL/my.cnf  server-id = 1 log-bin= binlog binlog-do-db=iea 

1.修改my.cnf主要是设置个不一样的id和log-bin

2、启动主库生效

vi my.cnf

#/bin/sh /usr/local/webserver/MySQL/bin/MySQLd_safe --defaults-file=/usr/local/webserver/MySQL/my.cnf & 

expire_logs_day=10 #定时清理binlog

3、登陆主库

log-bin=binlog  #启动二进制日志系统

#/usr/local/webserver/bin/MySQL -u root -p 

#binlog-do-db=game1  #二进制需要同步的数据库名

4、赋予从库权限帐号,允许用户在主库上读取日志

binlog-ignore-db=mysql  # 避免同步mysql用户配置,以免不必要的麻烦

MySQL> grant all privileges on *.* to 'admin'@'%' identified by '12345678';  

log-slave-updates

5、检查创建是否成功

slave-skip-errors #是跳过错误,继续执行复制操作 

select user,host from MySQL.user; 

server-id = 1  #本机数据库ID 标示为主

6、锁主库表

2、启动主库生效,并赋予从库权限帐号,允许用户在主库上读取日志

MySQL> flush tables with read lock;  

GRANT REPLICATION SLAVE ON *.* TO ‘slave’@’%’ IDENTIFIED BY
‘slave.123’;

7、显示主库信息

flush privileges;

记录File和Position,从库设置将会用到

select host,user,password from mysql.user;

MySQL> show master status;  +------------------+----------+--------------+------------------+  | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |  +------------------+----------+--------------+------------------+  | MySQL-bin.000003 1635708   |              |                  |   +------------------+----------+--------------+------------------+  1 row in set (0.00 sec) 

3.锁主库表

8、另开一个终端登陆124,打包主库迁移数据

flush tables with read lock;

# cd /usr/local/webserver/MySQL/  # tar zcvf data124.tar.gz ./data 

4.记录主库信息

二、设置从库

记下file和position,这个界面不要关闭

1、传输拿到主库包、解包

show master status;

登陆从库

5.另开一个终端,准备备份

#cd /usr/local/webserver/MySQL/  #tar zxvf data124.tar.gz  

mysqldump -uroot -p –master-data=1 –databases xxx xxx xxx > all.sql

2、解锁主库表

6.解锁

MySQL> unlock tables;  

unlock tables

3、修改从库my.cnf

7.将备份的数据库scp到从服务器上

# vi my.cnf   # slave  server-id=2 master-host=192.168.4.191  master-user=admin master-password=12345678 

scp *.sql root@192.168.7.192:~/root/mysqlback

4、验证连接主库

二。设置从库

# /usr/local/webserver/MySQL/bin/MySQL -h 192.168.4.191 -u admin -p  

1.修改从库my.cnf

5、在从库上设置同步

vi my.cnf

设置连接MASTER
MASTER_LOG_FILE为主库的File,MASTER_LOG_POS为主库的Position

[mysqld] 

MySQL> slave stop;  MySQL> change master to master_host='192.168.4.191',master_user='admin', master_password='12345678',  master_log_file='binlog.000003', master_log_pos=1635708;  MySQL> slave start; 

port            = 3306

6、启动从库服务

socket          = /tmp/mysql3306.sock

MySQL> slave start; 

user=mysql

7、进行测试

datadir=/home/salve_data/

在主库上的iea表上建立名为yuhongchun的表

pid-file=/home/salve_data/mysql.pid

MySQL> CREATE TABLE `yuhongchun` (  `id` INT( 5 ) UNSIGNED NOT NULL AUTO_INCREMENT ,  `username` VARCHAR( 20 ) NOT NULL ,  `password` CHAR( 32 ) NOT NULL ,  `time` DATETIME NOT NULL ,  `number` FLOAT( 10 ) NOT NULL ,  `content` TEXT NOT NULL ,  PRIMARY KEY ( `id` )   ) ENGINE = MYISAM ; 

log-bin=mysql-bin-1

在从表中马上看到了效果,主从同步成功了;为了更进一步验证在从库上输入show
slave status\G;MySQL> show slave status\G;

binlog_format=mixed

Slave_IO_Running: Yes(网络正常);Slave_SQL_Running:
Yes(表结构正常),进一步验证了以上过程的正确性,截图如下(一定要保证这二项参数为YES)

log-error=/home/salve_data/error-67.log

图片 1

expire_logs_day=10

标签:,

Your Comments

近期评论

    功能


    网站地图xml地图