Mysql怎么数据库平滑扩容解决高并发和大数据量问题

本篇内容主要讲解“Mysql怎么数据库平滑扩容解决高并发和大数据量问题”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Mysql怎么数据库平滑扩容解决高并发和大数据量问题”吧!发布公告停止服务离线数据迁移（拆分，重新分配数据）数据校验更改配置恢复服务回滚预案支持读写分离升级公告中断写操作，隔离写数据源（或拦截返回统一提示）数据同步处理数据校验更改配置恢复写操作数据清理回滚预案双写方案可通过canal或mq做实现。增加新库数据迁移：避免增量影响， 先断开主从，再导入（耗时较长）， 同步完成并做校验增量同步：监听Canal，并开启主从同步切换新库修复切换异常数据（canal未同步但已切换至新库的请求）， 通过定制程序读取异常日志做处理为什么不通过MariaDB Galera集群直接扩充新的服务器节点去实现扩容？Galera集群是多主同步，扩充的节点提升的是并发吞吐能力，数据瓶颈问题未解决。
通过路由中间件MyCat，Sharding JDBC等， 直接扩充新的节点是否可性？原数据需要重新分配， 比如取模分片。总结:
这种方案就是水平扩容,提高了并发量,但是实际大数据量的瓶颈没有解决.项目初期，部署了数据库A及其从机A0，B及其从节点B0，为将数据平均分配，在service层，使用uid%2取模分片(可采用sharding JDBC)，将数据分配到对应的数据库。如下图随着用户量的增大，用户产生的数据量最终达到数据库的最佳存储容量，需要进行扩容，否则CRUD操作会变慢，影响服务的响应速度。如何平滑的扩容，保证业务的连续性和高可用，对业务影响最小？先把A0和B0升级为新的主库节点，如此，由2个分库变为4个分库。同时在上层的分片配置，做好映射，规则如下：uid%4=0的和uid%4=2的数据分别分配到A和A0主库中uid%4=1的和uid%4=3的数据分别分配到B和B0主库中由于A和A0库的数据相同，B和B0库的数据相同，此时无需数据迁移，只需调整分片配置即可，可通过配置中心更新，不需要重启。3. 扩容之后旧数据有冗余，需要对冗余数据做清理处理完成后，为保证数据高可用，需要再次为现有主库增加一个从库以下为双主架构进行水平扩容,下图为现在的架构1.两台mysql都可读写，互为主备，默认只使用一台（masterA）负责数据的写入，另一台（masterB）备用；2.masterA是masterB的主库，masterB又是masterA的主库，它们互为主从；3.两台主库之间做高可用,可以采用keepalived等方案（使用VIP对外提供服务）；4.所有提供服务的从服务器与masterB进行主从同步（双主多从）;5.建议采用高可用策略的时候，masterA或masterB均不因宕机恢复后而抢占VIP（非抢占模式）；这样做可以在一定程度上保证主库的高可用,在一台主库down掉之后,可以在极短的时间内切换到另一台主库上（尽可能减少主库宕机对业务造成的影响），减少了主从同步给线上主库带来的压力；但是也有几个不足的地方:1.masterB可能会一直处于空闲状态（可以用它当从库，负责部分查询）；2.主库后面提供服务的从库要等masterB先同步完了数据后才能去masterB上去同步数据，这样可能会造成一定程度的同步延时；4.4.1 MariaDB服务安装 切换阿里云镜像服务（YUM安装过慢可以切换）配置YUM源增加以下内容：执行安装如果之前已经安装， 需要先删除（如果之前没有安装， 可以忽略此步骤）
停止Mariadb服务卸载Mariadb服务删除数据与配置：初始化配置开启用户远程连接权限
将连接用户root开启远程连接权限；进入MySQL服务， 执行以下操作：4.4.2 MariaDB双主同步在Server1增加配置：在/etc/my.cnf中添加以下配置：注意， Server1自增为奇数位：
auto-increment-offset=1 主键自增基数, 从1开始。
auto-increment-increment=2 主键自增偏移量，每次为2。
2. 在Server2增加配置：
修改/etc/my.cnf:Server2自增为偶数位：
auto-increment-offset=2 主键自增基数, 从2开始。
auto-increment-increment=2 主键自增偏移量，每次为2。
配置修改完成后， 重启数据库。
3. 同步授权配置
在Server1创建replica用于主从同步的用户：查询日志文件与偏移量，开启同步时需使用：同样， 在Server2创建replica用于主从同步的用户：查询日志文件与偏移量：配置主从同步信息
在Server1中执行：在Server2中执行：开启双主同步
在Server1和Server2中分别执行：在Server1查询同步信息：在Server2查询同步信息：Slave_IO_Running和Slave_SQL_Running 都是Yes，说明双主同步配置成功。4.4.3 KeepAlived安装与高可用配置在Server1与Server2两台节点安装keepalived：2.关闭防火墙设置主机名称：
Server1节点：hostnamectl set-hostname vip1
Server2节点：hostnamectl set-hostname vip2Server1节点配置
/etc/keepalived/keepalived.conf：创建关闭脚本mariadb.sh
/usr/local/shell/mariadb.sh：pkill keepalived
加入执行权限：chmod a+x mariadb.sh5.Server2节点配置：和Server1的差异项：注意， 两台节点都设为BACKUP如果不想重启后， 争夺备用节点的VIP， 可以设置此项6. 验证高可用
停止主节点MariaDB服务， 验证是否自动切换。4.4.4 搭建应用服务工程ShardingJDBC的集成配置ShardingJDBC数据源的动态切换实现验证应用服务动态扩容配置两个数据源，分别指向Server1和Server2分片只配置一个数据源动态增加另一个数据源动态扩容的验证动态扩容的复原验证（模拟节点异常， 实现复原单节点数据源）采用动态数据源配置实现扩容（扩容实践中改造）注意事项
Sharding JDBC, Mycat, Drds 等产品都是分布式数据库中间件, 相比直接的数据源操作, 会存在一些
限制, Sharding JDBC在使用时, 要注意以下问题:
有限支持子查询
不支持HAVING
不支持OR，UNION 和 UNION ALL
不支持特殊INSERT
每条INSERT语句只能插入一条数据，不支持VALUES后有多行数据的语句
不支持DISTINCT聚合
不支持dual虚拟表查询
不支持SELECT LAST_INSERT_ID(), 不支持自增序列
不支持CASE WHEN扩容部署架构：在Server2节点， 增加VIP
修改/etc/keepalived/keepalived.conf，追加：注意配置项：修改应用服务配置， 增加新的数据源， 指向新设置的VIP： 10.10.20.131通过应用服务接口， 动态扩容调整进入Server1: MariaDB [(none)]> stop slave;进入Server2:MariaDB [(none)]> stop slave;通过应用服务接口验证数据是否解除同步新建两台虚拟机， 分别为Server3和Server4。在Server3和Server4两台节点上安装MariaDB服务参考 MariaDB服务安装配置Server3与Server1，实现新的双主同步Server3节点， 修改/etc/my.cnf:重启Server3数据库创建replica用于主从同步的用户：在Server1节点，进行数据全量备份：查看并记录master status信息：将备份的server1.sql通过scp命令拷贝至Server3节点。scp server1.sql root@10.10.20.127:/usr/local/将数据还原至Server3节点：mysql -uroot -p654321
根据上面的master status信息， 在Server3中执行：开启主从同步：如果出现问题， 复原主从同步信息：检查同步状态信息：配置Server1与Server3节点的同步
查看Server3的日志信息：在Server1节点， 配置同步信息：配置Server4与Server2的双主同步Server4节点， 修改/etc/my.cnf:重启Server4数据库创建replica用于主从同步的用户在Server2节点，进行数据全量备份：查看并记录master status信息：将备份的server2.sql通过scp命令拷贝至Server4节点。scp server2.sql root@10.10.20.128:/usr/local/将数据还原至Server4节点：mysql -uroot -p654321
配置主从同步信息
根据上面的master status信息， 在Server4中执行：开启主从同步：注意， 如果出现问题， 复原主从同步信息：检查同步状态信息：配置Server2与Server4节点的同步
查看Server4的日志信息：在Server2节点， 配置同步信息：确保新增的Server3和Server4节点安装Keepalived服务。修改Server3节点配置注意里面IP配置正确， 修改完成后重启服务。
创建关闭脚本mariadb.sh
/usr/local/shell/mariadb.sh：加入执行权限：3. 修改Server4节点配置重启服务，创建关闭脚本m免费云主机域名ariadb.sh
/usr/local/shell/mariadb.sh：加入执行权限：chmod a+x mariadb.sh4. 修改Server2节点的keepAlived配置:修改完后重启Keepalived服务。通过应用服务动态扩容接口做调整和验证在Server1节点清理数据
根据取模规则， 保留accountNo为偶数的数据在Server2节点清理数据
根据取模规则， 保留accountNo为奇数的数据到此，相信大家对“Mysql怎么数据库平滑扩容解决高并发和大数据量问题”有了更深的了解，不妨来实际操作一番吧！这里是百云主机网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

相关推荐: 怎么使用javascript实现登录框拖拽

本篇内容介绍了“怎么使用javascript实现登录框拖拽”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！效果：代码：注意：mousemove和mouseup应该…