# 《Mycat核心技术》第11章:枚举分片

作者:冰河
星球:http://m6z.cn/6aeFbs (opens new window)
博客:https://binghe.gitcode.host (opens new window)
文章汇总:https://binghe.gitcode.host/md/all/all.html (opens new window)
星球项目地址:https://binghe.gitcode.host/md/zsxq/introduce.html (opens new window)

沉淀,成长,突破,帮助他人,成就自我。

  • 本章难度:★★☆☆☆
  • 本章重点:介绍Mycat枚举分片,掌握Mycat枚举分片的核心原理与算法,能够结合自身实际项目将Mycat枚举分片灵活应用到自身实际项目中。

大家好,我是冰河~~

今天给大家介绍《Mycat核心技术》的第11章:给大家简单介绍下Mycat枚举分片,好了,开始今天的内容。

# 一、简单描述

今天,我们就一起来看下Mycat中的枚举分片,所谓的枚举分片,就是通过在配置文件中配置可能的枚举id,自己配置分片,本规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存,而全国省份区县固定的,具体使用场景可根据自己具体的业务场景确定。

# 二、实现枚举分片

# 2.1 配置rule.xml

在rule.xml添加如下配置:

<!-- 
    mapFile标识配置文件名称
    type默认值为0(0表示Integer,非零表示String)
    默认节点的作用:枚举分片时,如果碰到不识别的枚举值,就让它路由到默认节点    
--> 
<function name="hash-int-customer" class="org.opencloudb.route.function.PartitionByFileMap">
    <property name="mapFile">partition-hash-int.txt</property> 
    <property name="defaultNode">0</property> 
    <property name="type">0</property>
</function>

<tableRule name="tr-hash-int-customer">
     <rule>
         <columns>province</columns>
         <algorithm>hash-int-customer</algorithm>
    </rule>
</tableRule>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# 2.2 创建partition-hash-int.txt文件

内容如下:

10000=0 
10010=1
1
2

# 2.3 配置schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/" >

	<schema name="lyzdb" checkSQLschema="false" sqlMaxLimit="100">
		<!-- global table is auto cloned to all defined data nodes ,so can join 
			with any table whose sharding node is in the same data node -->
		<table name="t_order" primaryKey="id" dataNode="dn1,dn2" rule="tr-hash-int-customer"/>
	</schema>
	<!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743" 
		/> -->
	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost1" database="db2" />
	<!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />
	 <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" /> 
	<dataNode	name="jdbc_dn2" dataHost="jdbchost" database="db2" /> 
	<dataNode name="jdbc_dn3" 	dataHost="jdbchost" database="db3" /> -->
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.209.137:3306" user="root" password="root"></writeHost>
		<!--<writeHost host="hostS1" url="localhost:3316" user="root"-->
			<!--password="123456" />-->
		<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
	</dataHost>
</mycat:schema>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

至此,Mycat的配置工作就完成了,下面我们就一起来测试下Mycat的枚举分片功能。

# 三、测试

# 3.1 建表并且录入数据

mysql> explain CREATE TABLE t_order (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE INT,SN VARCHAR(64),CREATE_TIME DATETIME);
+-----------+--------------------------------------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                                                |
+-----------+--------------------------------------------------------------------------------------------------------------------+
| dn1       | CREATE TABLE t_order (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE INT,SN VARCHAR(64),CREATE_TIME DATETIME) |
| dn2       | CREATE TABLE t_order (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE INT,SN VARCHAR(64),CREATE_TIME DATETIME) |
+-----------+--------------------------------------------------------------------------------------------------------------------+
2 rows in set (0.09 sec)

mysql>
mysql> CREATE TABLE t_order (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE INT,SN VARCHAR(64),CREATE_TIME DATETIME);
Query OK, 0 rows affected (0.19 sec)

mysql> explain INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(1,10000,'beijing_10001_10000',NOW());
+-----------+----------------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                          |
+-----------+----------------------------------------------------------------------------------------------+
| dn1       | INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(1,10000,'beijing_10001_10000',NOW()) |
+-----------+----------------------------------------------------------------------------------------------+
1 row in set (0.07 sec)

mysql> INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(1,10000,'beijing_10001_10000',NOW());
Query OK, 1 row affected (0.11 sec)

mysql> explain INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(2,10010,'tianjin_10010',NOW());
+-----------+----------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                    |
+-----------+----------------------------------------------------------------------------------------+
| dn2       | INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(2,10010,'tianjin_10010',NOW()) |
+-----------+----------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(2,10010,'tianjin_10010',NOW());
Query OK, 1 row affected (0.04 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

Mycat日志如下:

NCREMENT PRIMARY KEY,PROVINCE INT,SN VARCHAR(64),CREATE_TIME DATETIME), route={
   1 -> dn1{CREATE TABLE t_order (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE INT,SN VARCHAR(64),CREATE_TIME DATETIME)}
   2 -> dn2{CREATE TABLE t_order (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE INT,SN VARCHAR(64),CREATE_TIME DATETIME)}
} rrs 
08/10 13:38:09.330  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(1,10000,'beijing_10001_10000',NOW()), route={
   1 -> dn1{INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(1,10000,'beijing_10001_10000',NOW())}
} rrs 
08/10 13:39:45.878  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(2,10010,'tianjin_10010',NOW()), route={
   1 -> dn2{INSERT INTO t_order (ID,PROVINCE,SN,CREATE_TIME) VALUES(2,10010,'tianjin_10010',NOW())}
} rrs 
1
2
3
4
5
6
7
8
9
10

由此可见,创建表的时候,Mycat是将SQL路由到所有的数据节点;录入数据的时候,是根据分片字段将数据路由到指定的数据分片节点;

# 3.2 按照分片字段查询

mysql> explain select * from t_order where PROVINCE=10000;
+-----------+--------------------------------------------------------+
| DATA_NODE | SQL                                                    |
+-----------+--------------------------------------------------------+
| dn1       | SELECT * FROM t_order WHERE PROVINCE = 10000 LIMIT 100 |
+-----------+--------------------------------------------------------+
1 row in set (0.40 sec)
1
2
3
4
5
6
7

Mycat日志如下:

08/10 13:42:02.586  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:76) -SQLRouteCache  miss cache ,key:lyzdb select * from t_order where PROVINCE=10000
08/10 13:42:02.987  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:lyzdb select * from t_order where PROVINCE=10000 value:select * from t_order where PROVINCE=10000, route={
   1 -> dn1{SELECT *
FROM t_order
WHERE PROVINCE = 10000
LIMIT 100}
}
1
2
3
4
5
6
7

由此可见,执行简单的查询,如果指定分片字段ID字段,则走分片查询单个分片节点

# 3.3 按照分片字段范围查询

mysql> explain select * from t_order where PROVINCE >= 10000;
+-----------+---------------------------------------------------------+
| DATA_NODE | SQL                                                     |
+-----------+---------------------------------------------------------+
| dn1       | SELECT * FROM t_order WHERE PROVINCE >= 10000 LIMIT 100 |
| dn2       | SELECT * FROM t_order WHERE PROVINCE >= 10000 LIMIT 100 |
+-----------+---------------------------------------------------------+
2 rows in set (0.00 sec)
1
2
3
4
5
6
7
8

Mycat日志如下:

08/10 13:43:07.238  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:lyzdb select * from t_order where PROVINCE >= 10000 value:select * from t_order where PROVINCE >= 10000, route={
   1 -> dn1{SELECT *
FROM t_order
WHERE PROVINCE >= 10000
LIMIT 100}
   2 -> dn2{SELECT *
FROM t_order
WHERE PROVINCE >= 10000
LIMIT 100}
}
1
2
3
4
5
6
7
8
9
10

由此可见,如果分片字段范围的查询,则走所有节点去检索,哪怕只有一条数据在一个分片上,route路由也是走所有的分片进行检索查询

# 3.4 按照非分片字段查询

mysql> explain select * from t_order where sn = 'tianjin_10010';
+-----------+------------------------------------------------------------+
| DATA_NODE | SQL                                                        |
+-----------+------------------------------------------------------------+
| dn1       | SELECT * FROM t_order WHERE sn = 'tianjin_10010' LIMIT 100 |
| dn2       | SELECT * FROM t_order WHERE sn = 'tianjin_10010' LIMIT 100 |
+-----------+------------------------------------------------------------+
2 rows in set (0.00 sec)
1
2
3
4
5
6
7
8

Mycat日志如下:

08/10 13:45:01.416  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:lyzdb select * from t_order where sn = 'tianjin_10010' value:select * from t_order where sn = 'tianjin_10010', route={
   1 -> dn1{SELECT *
FROM t_order
WHERE sn = 'tianjin_10010'
LIMIT 100}
   2 -> dn2{SELECT *
FROM t_order
WHERE sn = 'tianjin_10010'
LIMIT 100}
}
1
2
3
4
5
6
7
8
9
10

由此可见,如果不走分片字段的查询,即使是单个数据,也要route路由所有的分片,走所有的分片进行查询

好了,今天就到这儿吧,我是冰河,我们下期见~~

# 星球服务

加入星球,你将获得:

1.项目学习:微服务入门必备的SpringCloud Alibaba实战项目、手写RPC项目—所有大厂都需要的项目【含上百个经典面试题】、深度解析Spring6核心技术—只要学习Java就必须深度掌握的框架【含数十个经典思考题】、Seckill秒杀系统项目—进大厂必备高并发、高性能和高可用技能。

2.框架源码:手写RPC项目—所有大厂都需要的项目【含上百个经典面试题】、深度解析Spring6核心技术—只要学习Java就必须深度掌握的框架【含数十个经典思考题】。

3.硬核技术:深入理解高并发系列(全册)、深入理解JVM系列(全册)、深入浅出Java设计模式(全册)、MySQL核心知识(全册)。

4.技术小册:深入理解高并发编程(第1版)、深入理解高并发编程(第2版)、从零开始手写RPC框架、SpringCloud Alibaba实战、冰河的渗透实战笔记、MySQL核心知识手册、Spring IOC核心技术、Nginx核心技术、面经手册等。

5.技术与就业指导:提供相关就业辅导和未来发展指引,冰河从初级程序员不断沉淀,成长,突破,一路成长为互联网资深技术专家,相信我的经历和经验对你有所帮助。

冰河的知识星球是一个简单、干净、纯粹交流技术的星球,不吹水,目前加入享5折优惠,价值远超门票。加入星球的用户,记得添加冰河微信:hacker_binghe,冰河拉你进星球专属VIP交流群。

# 星球重磅福利

跟冰河一起从根本上提升自己的技术能力,架构思维和设计思路,以及突破自身职场瓶颈,冰河特推出重大优惠活动,扫码领券进行星球,直接立减149元,相当于5折, 这已经是星球最大优惠力度!


领券加入星球,跟冰河一起学习《SpringCloud Alibaba实战》、《手撸RPC专栏》和《Spring6核心技术》,更有已经上新的《大规模分布式Seckill秒杀系统》,从零开始介绍原理、设计架构、手撸代码。后续更有硬核中间件项目和业务项目,而这些都是你升职加薪必备的基础技能。

100多元就能学这么多硬核技术、中间件项目和大厂秒杀系统,如果是我,我会买他个终身会员!

# 其他方式加入星球

特别提醒: 苹果用户进圈或续费,请加微信 hacker_binghe 扫二维码,或者去公众号 冰河技术 回复 星球 扫二维码加入星球。

# 星球规划

后续冰河还会在星球更新大规模中间件项目和深度剖析核心技术的专栏,目前已经规划的专栏如下所示。

# 中间件项目

  • 《大规模分布式定时调度中间件项目实战(非Demo)》:全程手撸代码。
  • 《大规模分布式IM(即时通讯)项目实战(非Demo)》:全程手撸代码。
  • 《大规模分布式网关项目实战(非Demo)》:全程手撸代码。
  • 《手写Redis》:全程手撸代码。
  • 《手写JVM》全程手撸代码。

# 超硬核项目

  • 《从零落地秒杀系统项目》:全程手撸代码,在阿里云实现压测(已上新)。
  • 《大规模电商系统商品详情页项目》:全程手撸代码,在阿里云实现压测。
  • 其他待规划的实战项目,小伙伴们也可以提一些自己想学的,想一起手撸的实战项目。。。

既然星球规划了这么多内容,那么肯定就会有小伙伴们提出疑问:这么多内容,能更新完吗?我的回答就是:一个个攻破呗,咱这星球干就干真实中间件项目,剖析硬核技术和项目,不做Demo。初衷就是能够让小伙伴们学到真正的核心技术,不再只是简单的做CRUD开发。所以,每个专栏都会是硬核内容,像《SpringCloud Alibaba实战》、《手撸RPC专栏》和《Spring6核心技术》就是很好的示例。后续的专栏只会比这些更加硬核,杜绝Demo开发。

小伙伴们跟着冰河认真学习,多动手,多思考,多分析,多总结,有问题及时在星球提问,相信在技术层面,都会有所提高。将学到的知识和技术及时运用到实际的工作当中,学以致用。星球中不少小伙伴都成为了公司的核心技术骨干,实现了升职加薪的目标。

# 联系冰河

# 加群交流

本群的宗旨是给大家提供一个良好的技术学习交流平台,所以杜绝一切广告!由于微信群人满 100 之后无法加入,请扫描下方二维码先添加作者 “冰河” 微信(hacker_binghe),备注:星球编号

冰河微信

# 公众号

分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外,还会分享各种面试题和面试技巧。内容在 冰河技术 微信公众号首发,强烈建议大家关注。

公众号:冰河技术

# 视频号

定期分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外,还会分享各种面试题和面试技巧。

视频号:冰河技术

# 星球

加入星球 冰河技术 (opens new window),可以获得本站点所有学习内容的指导与帮助。如果你遇到不能独立解决的问题,也可以添加冰河的微信:hacker_binghe, 我们一起沟通交流。另外,在星球中不只能学到实用的硬核技术,还能学习实战项目

关注 冰河技术 (opens new window)公众号,回复 星球 可以获取入场优惠券。

知识星球:冰河技术