目录
Mysql主从复制、读写分离
读写分离
主从复制的工作过程
MySQL主从复制的几个同步模式
半同步复制(Semisynchronous replication)
半同步复制
目前较为常见的MySQL读写分离分为以下两种:
注:
搭建Mysql主从复制
一主两从结构图
master 服务器:192.168.239.20 Mysql5.7
slave1 服务器: 192.168.239.30 Mysql5.7
slave2 服务器: 192.168.239.60 Mysql5.7
#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
master 服务器:192.168.239.20
yum install ntp -y #安装ntp服务用来完成时间同步
vim /etc/ntp.conf #修改配置文件
#末行添加以下两行
server 127.127.239.0 #设置本地为时钟源,注意修改网段
fudge 127.127.239.0 stratum 8 #设置时间层级为8
service ntpd start #重启服务
slave1 服务器: 192.168.239.30
slave2 服务器: 192.168.239.60
yum install ntp ntpdate -y #安装ntpdate同步
service ntpd start #开启服务
/usr/sbin/ntpdate 192.168.239.20 #使用 ntpdate同步本地时钟源
crontab -e #编辑计划性任务
*/30 * * * * /usr/sbin/ntpdate 192.168.239.20 #没三十分组同步一次时间
crontab -l #查看计划性任务
systemctl status crond.service #查看服务是否开启
master 服务器:192.168.239.20
vim /etc/my.cnf
log-bin = mysql-bin #添加,主服务器开启二进制日志
binlog_format = MIXED
log-slave-updates = true #添加,允许slave从master复制数据时可以写入到自己的二进制日志
expire_logs_days = 7 #设置二进制日志文件过期时间,默认值为0,表示logs不过期
max_binlog_Size = 500M #设置二进制日志限制大小,如果超出给定值,日志就会发生滚动,默认值是1GB
systemct1 restart mysqld #重启mysql服务
mysql -uroot -p123456
grant replication slave on *.* to 'gb'@'192.168.239.%' identified by '1999612'; #同步权限所有用户所有表指定登录地址网段设置密码为1999612
flush privileges; #刷新权限
show master status; #查看二进制文件
slave1 服务器: 192.168.239.30
slave2 服务器: 192.168.239.60
vim /etc/my.cnf
server-id = 2 #另外一台从服务器id值则不能为1、2
relay-log = relay-log_bin #添加、从服务器开启中继日志文件
relay-log-index = slave-relay-bin.index #添加定义中继日志文件位置与名称一般与二进制文件在同一目录
relay_log_recovery = 1 #选配项建议开启是优化的一部份
systemctl restart mysqld.service
slave1 服务器: 192.168.239.30
slave2 服务器: 192.168.239.60
mysql -u root -p1999612
change master to
-> master_host='192.168.239.20',
-> master_user='gb',
-> master_password='1999612',
-> master_log_file='mysql-bin.000002',
-> master_log_pos=843;
#配置同步,注意master_log_file和master_log_pos的值要与master查询值一致
start slave; #启动同步,如果有报错执行reset alsve;
show slave status\G; #查看slave状态确保io和sql线程都是yes,代表同步正常
Slave_IO_Running: Yes #负责与主机 io通信
Slave_SQL_Running: Yes #负责自己的slave mysql进程
一般Slave_IO_Running:No的可能性
从表验证
master服务器高并发,形成大量事务
网络延迟
主从硬件设备导致cpu主频、内存io、硬盘io
是同步复制、而不是异步复制
从库优化Mysq1参数。比如增大innodb buffer pool size,让更多操作在Mysq1内存中完成,减少磁盘操作。
从库使用高性能主机。包括cpu强悍、内存加天。避免使用虚拟云主机,使用物理主机,这样提升了i/o万面性。
从库使用SSD磁盘
对络优化,避免跨机房实现同步
MysQr默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。
指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响。
介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay
1og中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。
主数据库配置
master 服务器:192.168.239.20
vim /etc/my.cnf
plugin-load=rpl_semi_sync_master=semisync_master.so #加载mysql半同步复制的插件
rpl_semi_sync_master_enabled=on #或者设置为“1”,即开启半同步复制功能
rpl-semi-sync-master-timeout=1000 #超时时间为1000ms,即1s
systemctl restart mysqld.service
从数据库配置
slave1 服务器: 192.168.239.30
vim /etc/my.cnf
plugin-load=rpl_semi_sync_slave=semisync_slave.so
rpl_semi_sync_slave_enabled=on
systemctl restart mysqld.service
主数据库执行
show status like 'rpl_semi_sync_master_status'; #查看半同步复制是否开启
show variables like 'rpl_semi_sync_master_timeout'; #查看超时时间
从数据库执行(此时可能还是OFF状态,需要在下一步重启io线程后,从库半同步状态才会为oN)
show status like 'rpl_semi_sync_slave_status';
重启从数据库上的ro线程
STOP SLAVE IO_THREAD;
TSTART SLAVE IO_THREAD;
在主库查询半同步状态
show status like '%rpl_semi%';
参数说明
Rpl_semi_sync_master_clients #半同步复制客户端的个数
Rpl_semi_sync_master_net_avg_wait_time #平均等待时间(默认毫秒)
Rpl_semi_sync_master_net_wait_time #总共等待时间
Rpl_semi_sync_master_net_waits #等待次数
Rpl_semi_sync_master_no_times #关闭半同步复制的次数
Rpl_semi_sync_master_no_tx #表示没有成功接收slave提交的次数
Rpl_semi_sync_master_status #表示当前是异步模式还是半同步模式,on为半同步
Rpl_semi_sync_master_timefunc_failures #调用时间函数失败的次数
Rpl_semi_sync_master_tx_avg_wait_time #事物的平均传输时间#事物的总共传输时间
Rpl_semi_sync_master_tx_wait_time #事物的总共传输
Rpl_semi_sync_master_tx_waits #事物等待次数
Rpl_semi_sync_master_wait_pos_backtraverse#可以理解为“后来的先到了,而先来的还没有到的次数”
Rpl_semi_sync_master_wait_sessions #当前有多少个session因为slave的回复而造成等待
Rpl_semi_sync_master_yes_tx #成功接受到slave事物回复的次数
注:
在一主多从的架构中,如果要开启半同步复制,并不要求所有的从都是半同步复制。
MySOL 5.7极大的提升了半同步复制的性能。
代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序。
由于使用MysQL Proxy需要写大量的Lua脚本,这些Lua并不是现成的,而是需要自己去写。这对于并不熟悉MySQLProxy内置变量和MysQL Protocol 的人来说是非常困难的。
PrOt Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。
在之前的主从复制上进行配置读写分离
读写分离
master 服务器:192.168.239.20 Mysql5.7
slave1 服务器: 192.168.239.30 Mysql5.7
slave2 服务器: 192.168.239.60 Mysql5.7
amoeba 服务器:192.168.239.50 jdk1.6、amoeba
客户端 服务器:192.168.239.10 mysql
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
amoeba 服务器:192.168.239.50
安装Java环境
因为Amoeba基于是jdk1.5开发的,所以官方推荐使用jdk1.5或1.6|版本,高版本不建议使用。
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin #给权限
./jdk-6u14-linux-×64.bin #运行(安装)
输入yes,最后按enter
vim /etc/profile
#设置环境变量
export JAVA_HOME=/usr/local/jdk1.6.0_14
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH
export AMOEBA HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
source /etc/profile
java -version #查看版本号
安装Amoeba软件
mkdir /usr/local/amoeba
tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba #如显示amoeba startlstop说明安装成功
配置Amoeba读写分离,两个slave 读负载均衡
#先在Master、Slave1、slave2的mysql上开放权限给geng用户访问
grant all on *.* to 'geng'@'192.168.239.%' identified by '1999612';
#再回到amoeba服务器配置amoeba服务:
cd/usr/local/amoeba/conf/
vim amoeba.xml
--30行--
<property name="user">geng</property> #设置登录用户名
-32行--
<property name="password">1999612</property> #设置登录密码
-115行-
<property name="defaultPool">master</property> #设置默认池为master
--117-去掉注释-
<property name="writePool">master</property> #设置写池
<property name="readPool">slaves</property> #设置读池
cp dbServers.xml dbServers.xml.bak
vim dbServers.xml
--23行-注释
<!-- <property name="schema">test</property> -->
--26行--
<property name="user">geng</property> #添加登录用户
--28行-注释
<!-- mysql password -->
--30行-
<property name="password">1999612</property> #添加登录密码
--46行-
<dbServer name="master" parent="abstractServer"> #指定写池名
--49行-
<property name="ipAddress">192.168.239.20</property> #指定写池ip地址
--53行-
<dbServer name="slave1" parent="abstractServer"> #指定读池1名
--56行-
<property name="ipAddress">192.168.239.30</property> #指定读池1ip地址
复制53行到58行粘贴到58行下
--59行-
<dbServer name="slave2" parent="abstractServer"> #指定读池2名
--62行-
<property name="ipAddress">192.168.239.60</property> #指定读池2ip地址
--66行-
<dbServer name="slaves" virtual="true"> #指定读池名
--69行-
<property name="loadbalance">1</property> #指定负载均衡调度算法为轮询
--72行-
<property name="poolNames">slave1,slave2</property> #写上从节点名
cd /usr/local/amoeba/bin/
./amoeba start & #后台启动
netstat -natp | grep java
客户端 服务器:192.168.239.10
yum install -y mariadb mariadb-server #安装mariadb
systemctl restart mariadb.service #开启服务
测试
mysql -u bo -p1999612 -h 192.168.239.50 -P 8066 #登入并查看数据库
show databases;
use yjx;
show tables;
select * from ky18 ;
测试同步
insert into ky18 values (4,'geng',18); 插入数据记录
insert into ky18 values (5,'bo',18);
select * from ky18;
从服务器查看
select * from ky18;
停掉从服务器同步两台都停
stop slave;
此时在客户机插入数据只有主可以看到数据
insert into ky18 values (6,'gb',18);
select * from ky18;
分别在两台从服务器创建不同的数据记录
从1添加
insert into ky18 values (6,'wang',25);
从2添加
insert into ky18 values (7,'xie',26);
客户机查看实现轮询
select * from ky18 ;
此时开启从同步则可以同步gb那条数据记当客户机访问时从服务器添加的数据记录任然还是轮询
start slave;
客户机查看表数据记录
select * from ky18 ;
此时客户机查询实现轮询
手机扫一扫
移动阅读更方便
你可能感兴趣的文章