Mycat如何实现Mysql集群读写分离


这篇文章给大家分享的是有关Mycat如何实现Mysql集群读写分离的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。MySQL 作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过。在实际的生产环境中,由单台 MySQL 作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面。因此,一般来说都是通过主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy/Amoeba)来提升数据库的并发负载能力进行部署与实施。基本的原理是:主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE)从数据库处理 SELECT 查询操作数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。面对越来越大的访问压力,单台的服务器的性能成为瓶颈,需要分担负载主从只负责各自的写和读,极大程度的缓解 X(写)锁和 S(读)锁争用从库可配置 myisam 引擎,提升查询性能以及节约系统开销增加冗余,提高可用性一般有两种方式实现应用程序层实现,网站的程序实现应用程序层实现指的是在应用程序内部及连接器中实现读写分离应用程序内部实现读写分离,安装既可以使用减少一定部署难度访问压力在一定级别以下,性能很好架构一旦调整,代码要跟着变难以实现高级应用,如自动分库,分表无法适用大型应用场景中间件层实现是指在外部中间件程序实现读写分离常见的中间件程序Cobar:阿里巴巴 B2B 开发的关系型分布式系统,管理将近 3000 个 MySQL 实例。 在阿里经受住了考验,后面由于作者的走开的原因 cobar 没有人维护 了,阿里也开发了 tddl 替代 cobar。MyCAT:社区爱好者在阿里 cobar 基础上进行二次开发,解决了 cobar 当时存在的一些问题,并且加入了许多新的功能在其中。目前 MyCAT 社区活跃度很高,已经有一些公司在使用 MyCAT。总体来说支持度比较高,也会一直维护下去。OneProxy:数据库界大牛,前支付宝数据库团队领导楼总开发,基于 mysql 官方 的 proxy 思想利用 c 进行开发的,OneProxy 是一款商业收费的中间件,楼总舍去了一些功能点,专注在性能和稳定性上。有人测试过说在高并发下很稳定。Vitess:这个中间件是 Youtube 生产在使用的,但是架构很复杂。 与以往中间件不同,使用 Vitess 应用改动比较大,要使用他提供语言的 API 接口,我们可以借鉴他其中的一些设计思想。Kingshard:Kingshard 是前 360Atlas 中间件开发团队的陈菲利用业余时间 用 go 语言开发的,目前参与开发的人员有 3 个左右, 目前来看还不是成熟可以使用的产品,需要在不断完善。Atlas:360 团队基于 mysql proxy 把 lua 用 C 改写。原有版本是支持分表, 目前已经放出了分库分表版本。在网上看到一些朋友经常说在高并发下会经常挂掉,如果大家要使用需要提前做好测试。MaxScale 与 MySQL Route:这两个中间件都算是官方的,MaxScale 是 mariadb (MySQL 原作者维护的一个版本)研发的,目前版本不支持分库分表。MySQL Route 是现在 MySQL 官方 Oracle 公司发布出来的一个中间件。优点:架构设计更灵活可以在程序上实现一些高级控制,如:透明化水平拆分,failover,监控可以依靠技术手段提高 mysql 性能对业务代码的影响小,同时也安全缺点:需要一定的开发运维团队的支持。一个彻底开源的,面向企业应用开发的大数据库集群支持事务、ACID、可以替代 MySQL 的加强版数据库一个可以视为 MySQL 集群的企业级数据库,用来替代昂贵的 Oracle 集群一个融合内存缓存技术、NoSQL 技术、HDFS 大数据的新型 SQL Server结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品一个新颖的数据库中间件产品MyCat 有提供编译好的安装包,支持 Windows、Linux、Mac、Solaris 等系统上安装与运行官方下载主页 http://www.mycat.org.cn/实验架构:192.168.2.2 Mycat CentOS 8.3.2011192.168.2.3 主服务器 CentOS 7.6192.168.2.5 从服务器 CentOS 7.6
运行 Mycat 需要JDK 1.7 或者以上版下载 Mycatwget http://dl.mycat.org.cn/1.6.7.6/20210303094759/Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gztar xf Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz -C /usr/local/sudo useradd -M -N -s /sbin/nologin mycat && echo “123456” | sudo passwd –stdin mycatsudo chown -R mycat. /usr/local/mycat/bin 程序目录,Linux 下运行:./mycat console,首先要 chmod +x *
注:mycat 支持的命令{ console | start | stop | restart | status | dump }
conf 目录下存放配置文件:server.xml 是 Mycat 服务器参数调整和用户授权的配置文件,schema.xml 是逻辑库定义和表以及分片定义的配置文件,rule.xml 是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件,也在这个目录下,配置文件修改,需要重启 Mycat 生效。
lib 目录下主要存放 mycat 依赖的一些 jar 文件。
日志存放在 logs/mycat.log 中,每天一个文件,日志的配置是在 conf/log4j.xml 中,根据自己的需要,可以调整输出级别为 debug,在 debug 级别下,会输出更多的信息,方便排查问题。MyCAT 在 Linux 中部署启动时,首先需要在 Linux 系统的环境变量中配置 MYCAT_HOME,操作方式如下:sudo vim /etc/profile.d/mycat.sh
MYCAT_HOME=/usr/local/mycat PATH=$MYCAT_HOME/bin:$PATH使环境变量生效. /etc/profile.d/mycat.sh启动服务/usr/local/mycat/bin/mycat startcat /usr/local/mycat/logs/wrapper.logvim /usr/local/mycat/conf/server.xml备份原先的配置文件cp /usr/local/mycat/conf/schema.xml{,.bak}编辑 配置文件vim /usr/local/mycat/conf/schema.xml

注意这里的网址,错写会启动失败



show slave status
写服务器

读服务器


强制所有的读操作都在读服务器上运行,只有写入数据时才切换到写服务器注意这里的 mycat 用户都要在 主从数据库 上 192.168.2.3 和 2.5 授权GRANT ALL PRIVILEGES ON *.* TO ‘mycat’@’%’ IDENTIFIED BY ‘123456’;或者指定网段GRANT ALL PRIVILEGES ON *.* TO ‘mycat’@’192.168.2.%’ IDENTIFIED BY ‘123456’;flush privileges;如果报这个错误,服务器运行正常的话,首先检查有没有授权ERROR 1184 (HY000): Invalid DataSource:0  schema:逻辑库,与MySQL中的Database(数据库)对应,一个逻辑库中定义了所包括的Table。
  table:表,即物理数据库中存储的某一张表,与传统数据库不同,这里的表格需要声明其所存储的逻辑数据节点DataNode,这是通过表格的分片规则定义来实现的,table可以定义其所属的“子表(childTable)”,子表的分片依赖于与“父表”的具体分片地址,简单的说,就是属于父表里某一条记录A的子表的所有记录都与A存储在同一个分片上。
分片规则:是一个字段与函数的捆绑定义,根据这个字段的取值来返回所在存储的分片(DataNode)的序号,每个表格可以定义一个分片规则,分片规则可以灵活扩展,默认提供了基于数字的分片规则,字符串的分片规则等。
  dataNode: MyCAT的逻辑数据节点,是存放table的具体物理节点,也称之为分片节点,通过DataSource来关联到后端某个具体数据库上,一般来说,为了高可用性,每个DataNode都设置两个DataSource,一主一从,当主节点宕机,系统自动切换到从节点。
  dataHost:定义某个物理库的访问地址,用于捆绑到dataNode上。MyCAT目前通过配置文件的方式来定义逻辑库和相关配置:
  MYCAT_HOME/conf/schema.xml中定义逻辑库,表、分片节点等内容;
  MYCAT_HOME/conf/rule.xml中定义分片规则;
  MYCAT_HOME/conf/server.xml中定义用户以及系统相关变量,如端口等。注解:
schema 标签用于定义 MyCat 实例中的逻辑库,name:后面就是逻辑库名 MyCat 可以有多个逻辑库,每个逻辑库都有自己的相关配置。可以使用 schema 标签来划分这些不同的逻辑库。
checkSQLschema 这个属性默认就是 false,官方文档的意思就是是否去掉表前面的数据库的名称,”select * from db1.testtable” ,设置为 true 就会去掉 db1。但是如果 db1 的名称不是
schema 的名称,那么也不会被去掉,因此官方建议不要使用这种语法。同时默认设置为 false。
sqlMaxLimit 当该值设置为某个数值时。每条执行的 SQL 语句,如果没有加上 limit 语句,MyCat 也会自动的加上所对应的值。例如设置值为 100,执行”select * from test_table”,则效果为
“selelct * from test_table limit 100”.
dataNode 标签定义了 MyCat 中的数据节点开发云主机域名,也就是我们通常说所的数据分片重新启动服务/usr/local/mycat/bin/mycat restart
Stopping Mycat-server…
Stopped Mycat-server.
Starting Mycat-server…
tail /usr/local/mycat/logs/wrapper.log在2台服务器上分别安装、配置mariadb,具体步骤请参阅:https://blog.csdn.net/gaofei0428/article/details/103829676?spm=1001.2014.3001.5501/etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0

log-bin=/data/mysql/mysql-bin
server-id=1
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
binlog-ignore-db=performance_schema
binlog-ignore-db=test
innodb_flush_log_at_trx_commit=1
binlog-do-db=mydata
replicate-do-db=mydatalower_case_table_names=1 开启大小写匹配注意需要同步的数据库必须事先存在vim /etc/my.cnf  1
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0

log-bin=/data/mysql/mysql-bin
server-id=2
relay-log-index=/data/mysql/slave-relay-bin.index
relay-log=/data/mysql/slave-relay-bin
lower_case_table_names=1read_only=1 开启只读模式,防止数据回写,不会影响 slave 同步复制lower_case_table_names=1 开启大小写匹配重启 从数据库服务后进行以下操作停止从服务器的slave,创建slave数据库用户mysql -uroot -p123456 -e “stop slave”
mysql -uroot -p123456 -e “grant replication slave on *.* to ‘slave’@’%’ identified by ‘123456’”
mysql -uroot -p123456 -e “select user,password from mysql.user”mysql -uroot -p123456 -e “change master to master_host=’192.168.2.3′,master_user=’slave’,master_password=’123456′,master_log_file=’mysql-bin.000002′,master_log_pos=245;”
mysql -uroot -p123456 -e “start slave”
mysql -uroot -p123456 -e “show slave status”在主数据库端 192.168.2.3 添加一些数据,观测从数据库是否同步在从服务器端查看如果同步出错,需要在从服务器 stop slave,然后重新 change master使用 slave 用户登陆测试尝试登陆mysql -uroot -p123456 -h292.168.2.2 -P80668066 为 mycat 运行时的端口号mysql -uroot -p123456 -h292.168.2.2 -P9066 -e “show @@datasource”9066为 mycat 管理端口select * from mydata.mylist;insert into mydata.mylist values(10,’test’);systemctl stop mariadb.service在 192.168.2.2 上尝试写入数据insert into mydata.mylist values(7,’gf’);在 主服务器 192.168.2.3 上查看开启 从服务器 192.168.2.5模拟 主服务器 192.168.2.3 宕机查询正常,尝试写入数据查询正常但是不能写入添加多个库vim cat /usr/local/mycat/conf/server.xml mydata,wordpressvim /usr/local/mycat/conf/schema.xml
添加完重启服务/usr/local/mycat/bin/mycat restarttail /usr/local/mycat/logs/wrpper.log报错处理
Startup failed: Timed out waiting for a signal from the JVM.
JVM did not exit on request, terminated

解决办法
在wrapper.conf中添加
wrapper.startup.timeout=300 //超时时间300秒
wrapper.ping.timeout=120
感谢各位的阅读!关于“Mycat如何实现Mysql集群读写分离”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

相关推荐: mysql关于主键索引的分析

本篇内容介绍了“mysql关于主键索引的分析”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成! 插入部分数据后可以看到idx1和idx2两个索引的大小相同。这说明i…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 06/28 22:09
Next 06/28 22:10

相关推荐