ShardingSphere jdbc集成多数据源的实现步骤

ShardingSphere jdbc集成多数据源的实现步骤

目录集成sharding jdbc1. 引入依赖2. 配置分表规则问题集成多数据源1. 引入依赖2. 多数据源配置3. 增加多数据源配置4. 使用总结

最近有个项目的几张表，数量级在千万以上，技术栈是SpringBoot+Mybatis-plus+mysql。如果使用单表，在进行查询操作，非常耗时，经过一番调研，决定使用分表中间件：ShardingSphere。

ShardingSphere今年4月份成为了 Apache 软件基金会的顶级项目，目前支持数据分片、读写分离、多数据副本、数据加密、影子库压测等功能，同时兼容多种数据库，通过可插拔架构，理想情况下，可以做到对业务代码无感知。

ShardingSphere下有两款成熟的产品：sharding jdbc和sharding proxy

sharding jdbc：可理解为增强版的 JDBC 驱动；

sharding proxy：透明化的数据库代理端，可以看做是一个虚拟的数据库服务。

集成sharding jdbc

仅是集成sharding jdbc还是很简单的，为了更好的理解，这里以订单表为例。

1. 引入依赖

4.1.0

org.apache.shardingsphere

sharding-jdbc-spring-boot-starter

${sharding-sphere.version}

2. 配置分表规则

spring:

shardingsphere:

datasource:

names: sharding-order-system

sharding-order-system:

type: com.alibaba.druid.pool.DruidDataSource

driverClassName: com.mysql.jdbc.Driver

url: jdbc:mysql://127.0.0.1:3306/order_system?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true

username: root

password: root

props:

# 日志显示SQL

sql.show: true

sharding:

tables:

# 订单表 分表：20

order:

# 真实表 order_0

actualDataNodes: sharding-order-system.order_$->{0..19}

# 分库策略

databaseStrategy:

none:

# 分表策略

tableStrategy:

inline:

shardingColumn: order_key

# 分片算法行表达式，需符合groovy语法 '& Integer.MAX_VALUE' 位运算使hash值为正数

algorithmExpression: order_$->{(order_key.hashCode() & Integer.MAX_VALUE) % 20}

问题

上面虽然完成了对订单表（order）的分表，但是sharding jdbc对一些语法不支持，官方的文档里说的比较笼统，如下图：

像insert into ... select这些语法是不支持的，**而且对于没有涉及到分表的语句，也有同样的限制。**例如，项目里有个SQL：insert into user_temp select * from user;在集成了sharding jdbc后，即使user表没有配置分表，执行该SQL也会报错。

官方的问答中提到，使用多数据源分别处理分片和不分片的情况，对分表的SQL使用sharding jdbc数据源，对不涉及到分表的SQL，使用普通数据源。

集成多数据源

我们项目中使用到了baomidou团队开源的mybatis-plus，其团队还开源了一个多数据源的组件：dynamic-datasource-spring-boot-starter，集成后，使用@DS注解就可以切换数据源，非常方便。

1. 引入依赖

com.baomidou

dynamic-darHjCluDrztasource-spring-boot-starter

3.1.1

2. 多数据源配置

核心思路是将sharding jdbc数据源，加入到多数据源中。

/**

* 动态数据源配置：

*

* 使用{@link com.baomidou.dynamic.datasource.annotation.DS}注解，切换数据源

*

* @DS(DataSourceConfiguration.SHARDING_DATA_SOURCE_NAME)

*

* @author songyinyin

* @date 2020/7/27 15:19

*/

@Configuration

@AutoConfigureBefore({DynamicDataSourceAutoConfiguration.class,

SpringBootConfiguration.class})

public class DataSourceConfiguration {

/**

* 分表数据源名称

*/

private static final String SHARDING_DATA_SOURCE_NAME = "gits_sharding";

/**

* 动态数据源配置项

*/

@Autowired

private DynamicDataSourceProperties properties;

/**

* shardingjdbc有四种数据源，需要根据业务注入不同的数据源

*

*

1. 未使用分片, 脱敏的名称(默认): shardingDataSource;

*

2. 主从数据源: masterSlaveDataSource;

*

3. 脱敏数据源：encryptDataSource;

*

4. 影子数据源：shadowDataSource

*

*/

@Lazy

@Resource(name = "shardingDataSource")

AbstractDataSourceAdapter shardingDataSource;

@Bean

public DynamicDataSourceProvider dynamicDataSourceProvider() {

Map datasourceMap = properties.getDatasource();

return new AbstractDataSourceProvider() {

@Override

public Map loadDataSources() {

Map dataSourceMap = createDataSourceMap(datasourceMap);

// 将 shardingjdbc 管理的数据源也交给动态数据源管理

dataSourceMap.put(SHARDING_DATA_SOURCE_NAME, shardingDataSource);

return dataSourceMap;

}

};

}

/**

* 将动态数据源设置为首选的

* 当spring存在多个数据源时, 自动注入的是首选的对象

* 设置为主要的数据源之后，就可以支持shardingjdbc原生的配置方式了

*

* @return

*/

@Primary

@Bean

public DataSource dataSource(DynamicDataSourceProvider dynamicDataSourceProvider) {

DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource();

dataSource.setPrimary(properties.getPrimary());

dataSource.setStrict(properties.getStrict());

dataSource.setStrategy(properties.getStrategy());

dataSource.setProvider(dynamicDataSourceProvider);

dataSource.setP6spy(properties.getP6spy());

dataSource.setSeata(properties.getSeata());

return dataSource;

}

}

sharding jdbc有四种数据源：

未使用分片, 脱敏的名称(默认):shardingDataSource;

主从数据源: masterSlaveDataSource;

脱敏数据源：encryptDataSource;

影子数据源：shadowDataSource

需要需要根据不同的场景，注入不同的数据源，本文以分表举例，所以将shardingDataSource放到了多数据源（dataSourceMap）中。

3. 增加多数据源配置

在第2步，我们指定了shardingsphere数据源的名称为：gits_sharding

spring:

datasource:

# 动态数据源配置

dynamic:

datasource:

master:

type: com.alibaba.druid.pool.DruidDataSource

driver-class-name: com.mysql.jdbc.Driver

url: jdbc:mysql://127.0.0.1:3306/gits?useUnicode=true&characterEncoding=utf-8&useSSL=false&rewriteBatchedStatements=true

username: root

password: root

# 指定默认数据源名称

primary: master

# 分表配置

shardingsphere:

datasource:

names: sharding-order-system

sharding-order-system:

type: com.alibaba.druid.pool.DruidDataSource

driverClassName: com.mysql.jdbc.Driver

url: jdbc:mysql://172.20.20.19:3306/order_system?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8&useTimezone=true

username: root

password: root

props:

# 日志显示SQL

sql.show: true

sharding:

tables:

# 订单表 分表：20

order:

# 真实表 order_0

actualDataNodes: sharding-order-system.order_$->{0..19}

# 分库策略

databaseStrategy:

none:

# 分表策略

tableStrategy:

inline:

shardingColumn: order_key

# 分片算法行表达式，需符合groovy语法 '& Integer.MAX_VALUE' 位运算使hash值为正数

algorithmExpression: order_$->{(order_key.hashCode() & Integer.MAX_VALUE) % 20}

这里将默认数据源指定为了普通数据源。

4. 使用

在需要分表的service方法上加上@DS("gits_sharding")，即可切换为sharding jdbc数据源。

@Service

@Slf4j

public class OrderServiceImpl extends OrderService {

@Override

@DS("gits_sharding")

public List getOrderByUser(OrderQueryDTO dto) throws Exception {

// 省略若干业务代码

...

}

}

总结

sharding jdbc虽然是Apache的顶级项目，但也不是对有所SQL兼容，使用多数据源 + sharding jdbc则能跳过很多sharding jdbc的不足。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。