跟着小刘-学习一波Sharding jdbc

vlambda
2020-06-28

跟着小刘-学习一波Sharding jdbc

sharding jdbc -缘起

前段时间，在工作接手了一个新的项目，我问Boss，这个项目使用的是什么技术，老板轻描淡写的说到，还是那一套 Springboot ，就是用了一下了那个分库分表技术，你端午节，去了解一下这个技术 , Shardingjdbc唉！又要了解新技术，还真是活到老，学到老啊！

天天都有去了解新技术，这东西居然没听过，加上我不喜欢看视频，然后就默默打开官网，看到了上面那幅图

emmmmm ..... 最后切换了中文

跟着小刘-学习一波Sharding jdbc

默默的点开了文档，仔细一看，哦哟！怎么工整的吗？跟着小刘-学习一波Sharding jdbc 于是点进去，就开始学了起来，官网的文章较为抽象，可能没有项目中实际的案例，所以这里，就有小刘，带大家走一遍！

分库分表的出现

首先要了解 ShardingJDBC，就得知道，为什么会出现Sharding JDBC ，这里我们，传统的思路慢慢转变，首先，小刘是一家公司的架构师，有一天，公司最近在做电商项目, 他负责卖家模块的设计和优化，其中涉及了店铺、商品的相关业务，设计如下数据库

跟着小刘-学习一波Sharding jdbc 通过以下SQL能够获取到商品相关的店铺信息、地理区域信息：

 
   
   
 
  
    
    
  SELECT p.*,r.[地理区域名称],s.[店铺名称],s.[信誉]
  
    
    
  FROM [商品信息] p
  
    
    
  LEFT JOIN [地理区域] r ON p.[产地] = r.[地理区域编码]
  
    
    
  LEFT JOIN [店铺信息] s ON p.id = s.[所属店铺]
  
    
    
  WHERE p.id = ?

就是三张表关联，最后拿了个id查，不要慌形成类似以下列表展示：跟着小刘-学习一波Sharding jdbc 随着公司业务快速发展，数据库中的数据量猛增，访问性能也变慢了，优化迫在眉睫。分析一下问题出现在哪儿呢？关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。

方案1：

通过提升服务器硬件能力来提高数据处理能力，比如增加存储容量、CPU等，这种方案成本很高，并且如果瓶颈在MySQL本身那么提高硬件也是有很的。

方案2：

把数据分散在不同的数据库中，使得单一数据库的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的，如下图：将电商数据库拆分为若干独立的数据库，并且对于大表也拆分为若干小表，通过这种数据库拆分的方法来解决数据库的性能问题。

分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成，将数据大表拆分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。

分库分表的方式分库分表包括分库和分表两个部分，在生产中通常包括：垂直分库、水平分库、垂直分表、水平分表四种方式。

垂直分表

下边通过一个商品查询的案例讲解垂直分表：通常在商品列表中是不显示商品详情信息的，如下图：跟着小刘-学习一波Sharding jdbc

用户在浏览商品列表时，只有对某商品感兴趣时才会查看该商品的详细描述。因此，商品信息中商品描述字段访问频次较低，且该字段存储占用空间较大，访问单个数据IO时间较长；商品信息中商品名称、商品图片、商品价格等其他字段数据访问频次较高。

由于这两种数据的特性不一样，因此他考虑将商品信息表拆分如下：

将访问频次低的商品描述信息单独存放在一张表中，访问频次较高的商品基本信息单独放在一张表中。

跟着小刘-学习一波Sharding jdbc 商品列表可采用以下sql：

 
   
   
 
  
    
    
  SELECT p.*,r.[地理区域名称],s.[店铺名称],s.[信誉]
  
    
    
  FROM [商品信息] p
  
    
    
  LEFT JOIN [地理区域] r ON p.[产地] = r.[地理区域编码]
  
    
    
  LEFT JOIN [店铺信息] s ON p.id = s.[所属店铺]
  
    
    
  WHERE...ORDER BY...LIMIT...

需要获取商品描述时，再通过以下sql获取：

 
   
   
 
  
    
    
  SELECT *
  
    
    
  FROM [商品描述]
  
    
    
  WHERE [商品ID] = ?

垂直分表定义：将一个表按照字段分成多表，每个表存储其中一部分字段。

它带来的提升是：

为了避免IO争抢并减少锁表的几率，查看详情的用户与商品信息浏览互不影响
充分发挥热门数据的操作效率，商品信息的操作的高效率不会被商品描述的低效率所拖累。

一般来说，某业务实体中的各个数据项的访问频次是不一样的，部分数据项可能是占用存储空间比较大的BLOB或是TEXT。例如上例中的商品描述。所以，当表数据量很大时，可以将表按字段切开，将热门字段、冷门字段分开放置在不同库中，这些库可以放在不同的存储设备上，避免IO争抢。垂直切分带来的性能提升主要集中在热门数据的操作效率上，而且磁盘争用情况减少。

通常我们按以下原则进行垂直拆分:

把不常用的字段单独放在一张表; 把text，blob等大字段拆分出来放在附表中; 经常组合查询的列放在一张表中;

垂直分库

通过垂直分表性能得到了一定程度的提升，但是还没有达到要求，并且磁盘空间也快不够了，因为数据还是始终限制在一台服务器，库内垂直分表只解决了单一表数据量过大的问题，但没有将表分布到不同的服务器上，因此每个表还是竞争同一个物理机的CPU、内存、网络IO、磁盘。

经过思考，他把原有的SELLERDB(卖家库)，分为了PRODUCTDB(商品库)和STORE_DB(店铺库)，并把这两个库分散到不同服务器，如下图：跟着小刘-学习一波Sharding jdbc 由于商品信息与商品描述业务耦合度较高，因此一起被存放在 PRODUCT_DB(商品库)；而店铺信息相对独立，因此单独被存放在 STORE_DB(店铺库)。

小明进行的这一步优化，就叫垂直分库。

垂直分库是指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放在不同的服务器上，它的核心理念是专库专用。

它带来的提升是：

1 .解决业务层面的耦合，业务清晰2. 能对不同业务的数据进行分级管理、维护、监控、扩展等3. 高并发场景下，垂直分库一定程度的提升IO、数据库连接数、降低单机硬件资源的瓶颈

垂直分库通过将表按业务分类，然后分布在不同数据库，并且可以将这些数据库部署在不同服务器上，从而达到多个服务器共同分摊压力的效果，但是依然没有解决单表数据量过大的问题。

水平分库

经过垂直分库后，数据库性能问题得到一定程度的解决，但是随着业务量的增长，PRODUCTDB(商品库)单库存储数据已经超出预估。粗略估计，目前有8w店铺，每个店铺平均150个不同规格的商品，再算上增长，那商品数量得往1500w+上预估，并且PRODUCTDB(商品库)属于访问非常频繁的资源，单台服务器已经无法支撑。此时该如何优化？

再次分库？但是从业务角度分析，目前情况已经无法再次垂直分库。

尝试水平分库，将店铺ID为单数的和店铺ID为双数的商品信息分别放在两个库中。

跟着小刘-学习一波Sharding jdbc 也就是说，要操作某条数据，先分析这条数据所属的店铺ID。如果店铺ID为双数，将此操作映射至RRODUCTDB1(商品库1)；如果店铺ID为单数，将操作映射至RRODUCTDB2(商品库2)。此操作要访问数据库名称的表达式为RRODUCT_DB[店铺ID%2 + 1] 。

小明进行的这一步优化，就叫水平分库。

水平分库是把同一个表的数据按一定规则拆到不同的数据库中，每个库可以放在不同的服务器上。

它带来的提升是：

1. 解决了单库大数据，高并发的性能瓶颈。2. 提高了系统的稳定性及可用性。

当一个应用难以再细粒度的垂直切分，或切分后数据量行数巨大，存在单库读写、存储性能瓶颈，这时候就需要进行水平分库了，经过水平切分的优化，往往能解决单库存储量及性能瓶颈。但由于同一个表被分配在不同的数据库，需要额外进行数据操作的路由工作，因此大大提升了系统复杂度。

水平分表

按照水平分库的思路对他把PRODUCTDBX(商品库)内的表也可以进行水平拆分，其目的也是为解决单表数据量大的问题，如下图：跟着小刘-学习一波Sharding jdbc 与水平分库的思路类似，不过这次操作的目标是表，商品信息及商品描述被分成了两套表。如果商品ID为双数，将此操作映射至商品信息1表；如果商品ID为单数，将操作映射至商品信息2表。此操作要访问表名称的表达式为商品信息[商品ID%2 + 1] 。

小明进行的这一步优化，就叫水平分表。

水平分表是在同一个数据库内，把同一个表的数据按一定规则拆到多个表中。

它带来的提升是：

1. 优化单一表数据量过大而产生的性能问题2. 避免IO争抢并减少锁表的几率

库内的水平分表，解决了单一表数据量过大的问题，分出来的小表中只包含一部分数据，从而使得单个表的数据量变小，提高检索性能。

小结

垂直分表：可以把一个宽表的字段按访问频次、是否是大字段的原则拆分为多个表，这样既能使业务清晰，还能提升部分性能。拆分后，尽量从业务角度避免联查，否则性能方面将得不偿失。垂直分库：可以把多个表按业务耦合松紧归类，分别存放在不同的库，这些库可以分布在不同服务器，从而使访问压力被多服务器负载，大大提升性能，同时能提高整体架构的业务清晰度，不同的业务库可根据自身情况定制优化方案。但是它需要解决跨库带来的所有复杂问题。

水平分库：可以把一个表的数据(按数据行)分到多个不同的库，每个库只有这个表的部分数据，这些库可以分布在不同服务器，从而使访问压力被多服务器负载，大大提升性能。它不仅需要解决跨库带来的所有复杂问题，还要解决数据路由的问题(数据路由问题后边介绍)。

水平分表：可以把一个表的数据(按数据行)分到多个同一个数据库的多张表中，每个表只有这个表的部分数据，这样做能小幅提升性能，它仅仅作为水平分库的一个补充优化。

一般来说，在系统设计阶段就应该根据业务耦合松紧来确定垂直分库，垂直分表方案，在数据量及访问压力不是特别大的情况，首先考虑缓存、读写分离、索引技术等方案。若数据量极大，且持续增长，再考虑水平分库水平分表方案。

分库分表带来问题

分库分表能有效的缓解了单机和单库带来的性能瓶颈和压力，突破网络IO、硬件资源、连接数的瓶颈，同时也带来了一些问题。

事务一致性问题由于分库分表把数据分布在不同库甚至不同服务器，不可避免会带来分布式事务问题。

跨节点关联查询在没有分库前，我们检索商品时可以通过以下SQL对店铺信息进行关联查询：

在没有分库前，我们检索商品时可以通过以下SQL对店铺信息进行关联查询：

 
   
   
 
  
    
    
  SELECT p.*,r.[地理区域名称],s.[店铺名称],s.[信誉]
  
    
    
  FROM [商品信息] p
  
    
    
  LEFT JOIN [地理区域] r ON p.[产地] = r.[地理区域编码]
  
    
    
  LEFT JOIN [店铺信息] s ON p.id = s.[所属店铺]
  
    
    
  WHERE...ORDER BY...LIMIT...

但垂直分库后[商品信息]和[店铺信息]不在一个数据库，甚至不在一台服务器，无法进行关联查询。

可将原关联查询分为两次查询，第一次查询的结果集中找出关联数据id，然后根据id发起第二次请求得到关联数据，最后将获得到的数据进行拼装。

跨节点分页、排序函数

跨节点多库进行查询时，limit分页、order by排序等问题，就变得比较复杂了。需要先在不同的分片节点中将数据进行排序并返回，然后将不同分片返回的结果集进行汇总和再次排序。

如，进行水平分库后的商品库，按ID倒序排序分页，取第一页：跟着小刘-学习一波Sharding jdbc 以上流程是取第一页的数据，性能影响不大，但由于商品信息的分布在各数据库的数据可能是随机的，如果是取第N页，需要将所有节点前N页数据都取出来合并，再进行整体的排序，操作效率可想而知。所以请求页数越大，系统的性能也会越差。

在使用Max、Min、Sum、Count之类的函数进行计算的时候，与排序分页同理，也需要先在每个分片上执行相应的函数，然后将各个分片的结果集进行汇总和再次计算，最终将结果返回。

主键避重

在分库分表环境中，由于表中数据同时存在不同数据库中，主键值平时使用的自增长将无用武之地，某个分区数据库生成的ID无法保证全局唯一。因此需要单独设计全局主键，以避免跨库主键重复问题。

跟着小刘-学习一波Sharding jdbc 公共表

实际的应用场景中，参数表、数据字典表等都是数据量较小，变动少，而且属于高频联合查询的依赖表。例子中地理区域表也属于此类型。

可以将这类表在每个数据库都保存一份，所有对公共表的更新操作都同时发送到所有分库执行。

由于分库分表之后，数据被分散在不同的数据库、服务器。因此，对数据的操作也就无法通过常规方式完成，并且它还带来了一系列的问题。好在，这些问题不是所有都需要我们在应用层面上解决，市面上有很多中间件可供我们选择，其中Sharding-JDBC使用流行度较高，我们来了解一下它。

Sharding JDBC 介绍

适用于任何基于Java的ORM框架，如: Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
基于任何第三方的数据库连接池，如:DBCP, C3P0, BoneCP, Druid, HikariCP等。
支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

跟着小刘-学习一波Sharding jdbc

上图展示了Sharding-Jdbc的工作方式，使用Sharding-Jdbc前需要人工对数据库进行分库分表，在应用程序中加入 Sharding-Jdbc的Jar包，应用程序通过Sharding-Jdbc操作分库分表后的数据库和数据表，由于Sharding-Jdbc是对 Jdbc驱动的增强，使用Sharding-Jdbc就像使用Jdbc驱动一样，在应用程序中是无需指定具体要操作的分库和分表的。

快速入门

人工创建两张表，torder1和torder2，这两张表是订单表拆分后的表，通过Sharding-Jdbc向订单表插入数据，按照一定的分片规则，主键为偶数的进入torder1，另一部分数据进入torder2，通过Sharding-Jdbc 查询数据，根据 SQL语句的内容从torder1或torder2查询数据。

环境搭建环境说明

操作系统：Win10
数据库：MySQL-5.7.25
JDK：64位 jdk1.8.0_201
应用框架：spring-boot-2.1.3.RELEASE，Mybatis3.5.0
Sharding-JDBC：sharding-jdbc-spring-boot-starter-4.0.0-RC1

创建数据库

创建订单库 order_db

 
   
   
 
  
    
    
  CREATE DATABASE `order_db` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';

在orderdb中创建torder1、torder_2表

 
   
   
 
  
    
    
  DROP TABLE IF EXISTS `t_order_1`;
  
    
    
  CREATE TABLE `t_order_1` (
  
    
    
  `order_id` bigint(20) NOT NULL COMMENT '订单id',
  
    
    
  `price` decimal(10, 2) NOT NULL COMMENT '订单价格',
  
    
    
  `user_id` bigint(20) NOT NULL COMMENT '下单用户id',
  
    
    
  `status` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '订单状态',
  
    
    
  PRIMARY KEY (`order_id`) USING BTREE
  
    
    
  ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
  
    
    
  

  
    
    
  DROP TABLE IF EXISTS `t_order_2`;
  
    
    
  CREATE TABLE `t_order_2` (
  
    
    
  `order_id` bigint(20) NOT NULL COMMENT '订单id',
  
    
    
  `price` decimal(10, 2) NOT NULL COMMENT '订单价格',
  
    
    
  `user_id` bigint(20) NOT NULL COMMENT '下单用户id',
  
    
    
  `status` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '订单状态',
  
    
    
  PRIMARY KEY (`order_id`) USING BTREE
  
    
    
  ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

引入maven依赖

引入 sharding-jdbc和SpringBoot整合的Jar包：

 
   
   
 
  
    
    
  <dependency>
  
    
    
   <groupId>org.mybatis.spring.boot</groupId>
  
    
    
   <artifactId>mybatis-spring-boot-starter</artifactId>
  
    
    
   <version>2.0.0</version>
  
    
    
  </dependency>
  
    
    
  

  
    
    
  <dependency>
  
    
    
   <groupId>org.mybatis</groupId>
  
    
    
   <artifactId>mybatis</artifactId>
  
    
    
   <version>3.4.6</version>
  
    
    
  </dependency>
  
    
    
  

  
    
    
  <dependency>
  
    
    
   <groupId>com.alibaba</groupId>
  
    
    
   <artifactId>druid-spring-boot-starter</artifactId>
  
    
    
   <version>1.1.16</version>
  
    
    
  </dependency>
  
    
    
  

  
    
    
  <dependency>
  
    
    
   <groupId>mysql</groupId>
  
    
    
   <artifactId>mysql-connector-java</artifactId>
  
    
    
   <version>5.1.47</version>
  
    
    
  </dependency>
  
    
    
  

  
    
    
  <dependency>
  
    
    
   <groupId>org.apache.shardingsphere</groupId>
  
    
    
   <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
  
    
    
   <version>4.0.0-RC1</version>
  
    
    
  </dependency>

编写程序

分片规则配置分片规则配置是sharding-jdbc进行对分库分表操作的重要依据，配置内容包括：数据源、主键生成策略、分片策略等。

在 application.properties中配置

 
   
   
 
  
    
    
  spring.main.allow-bean-definition-overriding=true
  
    
    
  mybatis.configuration.map-underscore-to-camel-case=true
  
    
    
  

  
    
    
  #sharding-jdbc分片规则配置
  
    
    
  #数据源
  
    
    
  spring.shardingsphere.datasource.names=m1
  
    
    
  spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource
  
    
    
  spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.jdbc.Driver
  
    
    
  spring.shardingsphere.datasource.m1.url=jdbc:mysql://localhost:3306/order_db?useUnicode=true
  
    
    
  spring.shardingsphere.datasource.m1.username=root
  
    
    
  spring.shardingsphere.datasource.m1.password=123456
  
    
    
  

  
    
    
  # 指定t_order表的数据分布情况，配置数据节点 m1.t_order_1,m1.t_order_2
  
    
    
  spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=m1.t_order_$->{1..2}
  
    
    
  

  
    
    
  # 指定t_order表的主键生成策略为SNOWFLAKE
  
    
    
  spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id
  
    
    
  spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE
  
    
    
  

  
    
    
  # 指定t_order表的分片策略，分片策略包括分片键和分片算法
  
    
    
  spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
  
    
    
  spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order_$->{order_id % 2 + 1}
  
    
    
  

  
    
    
  # 打开sql输出日志
  
    
    
  spring.shardingsphere.props.sql.show=true

首先定义数据源m1，并对m1进行实际的参数配置。
指定torder表的数据分布情况，他分布在m1.torder1，m1.torder_2
指定t_order表的主键生成策略为SNOWFLAKE，SNOWFLAKE是一种分布式自增算法，保证id全局唯一
定义torder分片策略，orderid为偶数的数据落在torder1，为奇数的落在torder2，分表策略的表达式为torder$->{order_id % 2 + 1}

数据操作

 
   
   
 
  
    
    
  package com.spiritmark.demo.dao;
  
    
    
  

  
    
    
  import org.apache.ibatis.annotations.Insert;
  
    
    
  import org.apache.ibatis.annotations.Mapper;
  
    
    
  import org.apache.ibatis.annotations.Param;
  
    
    
  import org.apache.ibatis.annotations.Select;
  
    
    
  import org.springframework.stereotype.Component;
  
    
    
  

  
    
    
  import java.math.BigDecimal;
  
    
    
  import java.util.List;
  
    
    
  import java.util.Map;
  
    
    
  

  
    
    
  /**
  
    
    
   * Created by Administrator.
  
    
    
   */
  
    
    
  @Mapper
  
    
    
  @Component
  
    
    
  public interface OrderDao {
  
    
    
  

  
    
    
   /**
  
    
    
   * 插入订单
  
    
    
   *
  
    
    
   * @param price
  
    
    
   * @param userId
  
    
    
   * @param status
  
    
    
   * @return
  
    
    
   */
  
    
    
   @Insert("insert into t_order(price,user_id,status)values(#{price},#{userId},#{status})")
  
    
    
   int insertOrder(@Param("price") BigDecimal price, @Param("userId") Long userId, @Param("status") String status);
  
    
    
  

  
    
    
   /**
  
    
    
   * 根据id列表查询订单
  
    
    
   *
  
    
    
   * @param orderIds
  
    
    
   * @return
  
    
    
   */
  
    
    
   @Select("<script>" +
  
    
    
   "select" +
  
    
    
   " * " +
  
    
    
   " from t_order t " +
  
    
    
   " where t.order_id in " +
  
    
    
   " <foreach collection='orderIds' open='(' separator=',' close=')' item='id'>" +
  
    
    
   " #{id} " +
  
    
    
   " </foreach>" +
  
    
    
   "</script>")
  
    
    
   List<Map> selectOrderbyIds(@Param("orderIds") List<Long> orderIds);
  
    
    
  }

测试

 
   
   
 
  
    
    
  package com.spiritmark.demo.dao;
  
    
    
  

  
    
    
  import org.junit.jupiter.api.Test;
  
    
    
  import org.springframework.beans.factory.annotation.Autowired;
  
    
    
  import org.springframework.boot.test.context.SpringBootTest;
  
    
    
  

  
    
    
  import java.math.BigDecimal;
  
    
    
  import java.util.ArrayList;
  
    
    
  import java.util.List;
  
    
    
  import java.util.Map;
  
    
    
  

  
    
    
  @SpringBootTest
  
    
    
  public class OrderDaoTest {
  
    
    
   @Autowired
  
    
    
   private OrderDao orderDao;
  
    
    
  

  
    
    
   @Test
  
    
    
   public void testInsertOrder() {
  
    
    
   for (int i = 0; i < 10; i++) {
  
    
    
   orderDao.insertOrder(new BigDecimal((i + 1) * 5), 1L, "WAIT_PAY");
  
    
    
   }
  
    
    
   }
  
    
    
  

  
    
    
   @Test
  
    
    
   public void testSelectOrderbyIds() {
  
    
    
   List<Long> ids = new ArrayList<>();
  
    
    
   ids.add(481164813670547456L);
  
    
    
   ids.add(481164813368557569L);
  
    
    
  

  
    
    
   List<Map> maps = orderDao.selectOrderbyIds(ids);
  
    
    
   System.out.println(maps);
  
    
    
   }
  
    
    
  }

执行testInsertOrder：通过日志可以发现orderid为奇数的被插入到torder2表，为偶数的被插入到torder_1表，达到预期目标。

执行testSelectOrderbyIds：通过日志可以发现，根据传入order_id的奇偶不同，sharding-jdbc分别去不同的表检索数据，达到预期目标

vlambda博客
学习文章列表