7

mysql高可用架构mha -利来国际app

陈家睿 2021-11-21
288


mha原理:

     mha的目的在于维持mysql replication中master库的高可用性, 其最大的特点是可以修复多个slave之间的差异日志,最终使所有slave保持数据一致, 然后从中选择一个充当新的master,并将其他slave指向它。 当master出现故障时,可以通过对比slave之前io thread读取主库binlog的position号, 选择最接近的slave作为备选主库(备胎)。 其他的从库可以通过与备选主库对比生成差异的中继日志, 在备选主库上应用从原来master保存的binlog,同时将备选主库提升为master。 最后在其他slave上应用相应的差异中继日志并从新的master开始复制。


整体架构图

manager节点发送心跳信息监测


以下是以前做实验的笔记,可参考。


1.0 主从架构要求

(1)3个以上的节点,1主2从,不能是多实例
(2)多节点ssh互信


1.1 软件结构

# manager : 管理软件
masterha_manger             启动mha 
masterha_check_ssh          检查mha的ssh配置状况 
masterha_check_repl         检查mysql复制状况 
masterha_master_monitor     检测master是否宕机 
masterha_check_status       检测当前mha运行状态 
masterha_master_switch      控制故障转移(自动或者手动)
masterha_conf_host          添加或删除配置的server信息
# node    : 被管理端软件
这些工具通常由mha manager的脚本触发,无需人为操作
save_binary_logs            保存和复制master的二进制日志 
apply_diff_relay_logs       识别差异的中继日志事件并将其差异的事件应用于其他的
purge_relay_logs            清除中继日志(不会阻塞sql线程)


2. mha基础架构规划和实施

2.1 节点准备

192.168.1.10 master
192.168.1.11 slave1
192.168.1.20 slave2 


2.2 准备环境(略。1主2从gtid)

change master to master_host='192.168.1.10', master_user='repl', master_password='123', master_port=3307, master_auto_position=1; start slave ;


2.3 配置关键程序软连接(所有节点)

ln -s  /data/soft/mysql57/bin/mysqlbinlog    /usr/bin/mysqlbinlog
ln -s  /data/soft/mysql57/bin/mysql          /usr/bin/mysql


2.4 配置各节点互信(密钥对)

node01: 
rm -rf /root/.ssh 
ssh-keygen
cd /root/.ssh 
mv id_rsa.pub authorized_keys
scp  -r  /root/.ssh  192.168.1.11:/root 
scp  -r  /root/.ssh  192.168.1.20:/root 


2.5 安装软件

#下载mha软件
mha利来国际app官网:https://code.google.com/archive/p/mysql-master-ha/
github下载地址:https://github.com/yoshinorim/mha4mysql-manager/wiki/downloads
# 说明: 
8.0 的版本: 
1. 密码加密模式 sha2  ---> native 
2. 使用0.58 版本mha软件
# 所有节点安装node软件依赖包
yum install perl-dbd-mysql -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm
# 在主库中创建mha需要的用户
grant all privileges on *.* to [email protected]'192.168.1.%' identified by 'mha';
# manager软件安装(node03)
yum install -y perl-config-tiny epel-release perl-log-dispatch perl-parallel-forkmanager perl-time-hires
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm


2.6 manager配置文件准备(db03)

#创建配置文件目录
 mkdir -p /etc/mha
#创建日志目录
 mkdir -p /var/log/mha/app1
#编辑mha配置文件
cat > /etc/mha/app1.cnf <
[server default]
manager_log=/var/log/mha/app1/manager        
manager_workdir=/var/log/mha/app1            
master_binlog_dir=/data/binlog       
user=mha                                   
password=mha                               
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root                               
[server1]                                   
hostname=192.168.1.10
port=3306                                  
[server2]            
hostname=192.168.1.11
port=3306
[server3]
hostname=192.168.1.20
port=3306
eof


2.7 状态检查

masterha_check_ssh --conf=/etc/mha/app1.cnf masterha_check_repl --conf=/etc/mha/app1.cnf 


2.8 开启mha-manager

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &


2.9 查看mha状态

masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:4719) is running(0:ping_ok), master:192.168.1.11


3. mha failover 过程原理

高可用:
最擅长解决物理损坏
0、启动mha
masterha_manger             启动mha 
1、监控
数据库节点,主要监控主库
masterha_master_monitor     心跳检测、检测master是否宕机 
默认探测4次,每隔ping_interval=2秒,如果主库还没有心跳,任务主库宕机
进入failover过程
2、选主
    #优先级 节点配置candidate_master=1参数,如果备选主,日志量落后master太多
    也不会被选择新主(100m relaylog)。
    可以通过check_repl_delay=0,不检查日志落后情况。
    #日志量最接近主库
    #日志量一样,配置文件顺序  
3、日志补偿
    #情况1:ssh能连上,立即保存缺失部分的日志从从库并恢复
    save_binary_logs  立即保存缺失部分的master的二进制日志到从库/var/tmp目录下,并恢复
    #情况2:ssh不能连上,两个从库进行日志diff差异补偿
    apply_diff_relay_logs  识别差异的中继日志事件并将其差异的事件应用于其他的从库
4、主从切换,所有从库取消和原有主库的复制关系。重新构建主从关系
5、故障库自动被剔除集群(masterrha_conf_host配置信息去掉)
6、mha是一次性高可用,failover后,manager自动退出。

不足的地方有哪些? 0. 应用透明 1. 日志补偿 2. 自动提醒 3. 自愈功能 待开发.... 思路:  mha k8s operator 官方 8.0 mgr 8.0.17 clone plugin


4. 应用透明vip功能

说明: 只能同机房使用,无法跨机房跨网络。
# 添加以下参数:
master_ip_failover_script=/usr/local/bin/master_ip_failover
# 修改脚本内容
上传脚本:
vim  /usr/local/bin/master_ip_failover
my $vip = '192.168.1.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
[[email protected] ~]# dos2unix /usr/local/bin/master_ip_failover 
[[email protected] ~]# chmod  x /usr/local/bin/master_ip_failover 
# 主库上(db01),手工生成第一个vip地址
ifconfig ens33:1 192.168.1.55/24
# 重启mha(db03)
masterha_stop --conf=/etc/mha/app1.cnf
 nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover  < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
# 检测状态:
[[email protected] data]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:6640) is running(0:ping_ok), master:192.168.1.11
# 注意:
keepalive的话 ,需要 candidate_master=1和check_repl_delay=0进行配合。防止vip和主库选择不在一个节点。


5.binlog server

# 参数:
vim /etc/mha/app1.cnf 
[binlog1]
no_master=1
hostname=192.168.1.20
master_binlog_dir=/data/mysql/binlog

# 创建必要目录
mkdir -p /data/mysql/binlog
chown -r mysql.mysql /data/*

# 拉取主库binlog日志
cd /data/mysql/binlog     -----》必须进入到自己创建好的目录
mysqlbinlog  -r --host=192.168.1.10 --user=mha --password=mha --raw  --stop-never mysql-bin.000001 &

#注意:
拉取日志的起点,需要按照目前从库的已经获取到的二进制日志点为起点
需要在主库中查询位置点:
db01 [(none)]>show master status ;

# 重启mha
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &


6. 测试mha failover的功能

1. 主库宕机模拟
node01: pkill mysqld
2. 查看日志
vim /var/log/mha/app1/manager
3. 切换的现象
vip 漂移
binlog宕掉
manager程序宕掉
主从,1主2从
配置文件,自动剔除故障节点
4. 修复过程
4.1 修复1主2从环境
change master to
master_host='192.168.1.11',
master_user='repl',
master_password='123',
master_port=3307,
master_auto_position=1;
start slave ;
4.2 binlog server修复
cd /data/mysql/binlog 
rm -rf *
mysqlbinlog  -r --host=192.168.1.11 --port=3307 --user=mha --password=mha --raw  --stop-never mysql-bin.000001 &
4.3 检查vip
ip  a
4.4 检查配置文件
[server1]
hostname=192.168.1.10
port=3307
4.5 预检查状态
masterha_check_ssh   --conf=/etc/mha/app1.cnf 
masterha_check_repl  --conf=/etc/mha/app1.cnf 
4.6 启动mha manager 
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &






「喜欢文章,快来给作者赞赏墨值吧」
1人已赞赏
【利来手机国际的版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:[email protected]进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

文章被以下合辑收录

评论