vlambda博客
学习文章列表

第四弹:MySQL分库分表与主从复制

分库分表

简单理解,就是把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。

说到分库分表之前,需要先说说分区的概念

分区:在单机中,将一张表的数据分成N个放置在磁盘内,分区的作用是将一张表分配为多个区块存储到一起。(缺点:数据库内部实现,研发执行不可控。可与分库分表结合使用)

分库: 数据库集群环境,一个库里表太多了,导致了海量数据,系统性能下降,把原本存储于一个库的表拆分存储到多个库上,通常是将表按照功能模块、关系密切程度划分出来,部署到不同库上。少增量数据写入时的锁对查询的影响 由于单表数量下降,常见的查询操作由于减少了需要扫描的记录,使得单表单次查询所需的检索行数变少,减少了磁盘IO,时延变短

分表

垂直拆分: 

按照业务线进行拆分,业务功能的使用频次。把主要的、热门的字段放在一起做为主要表。然后把不常用的,拆分到不同的次要表中;主要表和次要表的关系一般都是一对一的。

水平拆分:

单表的容量不超过500W,否则建议水平拆分。把一个表复制成同样表结构的不同表,然后把数据按照一定的规则划分,分别存储到这些表中,从而保证单表的容量不会太大,提升性能;当然这些结构一样的表,可以放在一个或多个数据库中。

主要方法:MD5 hash方法、按照时间、按照用户ID拆分


分库分表存在的问题:

  • 事务问题

  • 跨库跨表的join问题

  • 额外的数据管理负担和数据运算压力。数据的定位问题和数据的增删改查的重复执行问题,通过应用程序解决,会引起额外的逻辑运算。


主从复制

slave 会从 master 读取 binlog 来进行数据同步

  • master将改变记录到二进制日志(binary log)。这些记录过程叫做二进制日志事件;

  • salve 将 master 的 binary log events 拷贝到它的中继日志(relay log);

  • slave 重做中继日志中的事件,将改变应用到自己的数据库中。

MySQL 复制是异步且是串行化的。

复制的基本原则(一主多从、主主复制) - 每个 slave只有一个 master - 每个 salve只能有一个唯一的服务器 ID - 每个master可以有多个salve

复制的最大问题:延时、主从复制过程中的性能问题。