V2AS问路
《SQL与数据库基础》22. 分库分表（二）
阅读原文时间：2023年08月29日阅读：8

目录

本文以 MySQL 为例。以 MyCat 数据库中间件为例，通过 MyCat 来完成分库分表操作。

分库分表（二）

范围分片

根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片。

该分片规则，主要适用于数字类型的字段。

配置：

schema.xml 逻辑表配置：

<table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

schema.xml 数据节点配置：

<dataNode name="dn1" dataHost="dhost1" database="db01" />
<dataNode name="dn2" dataHost="dhost2" database="db01" />
<dataNode name="dn3" dataHost="dhost3" database="db01" />

rule.xml 分片规则配置：

<tableRule name="auto-sharding-long">
    <rule>
        <columns>id</columns>
        <algorithm>rang-long</algorithm>
    </rule>
</tableRule>

<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
    <property name="defaultNode">0</property>
</function>

分片规则配置属性含义：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

mapFile

对应的外部配置文件

type

默认值为0；0 表示Integer，1 表示String

defaultNode

默认节点。默认节点的所用：枚举分片时，如果碰到不识别的枚举值，就让它路由到默认节点；如果没有默认值，碰到不识别的则报错

在 rule.xml 中配置分片规则时，关联了一个映射配置文件 autopartition-long.txt，该配置文

件的配置如下：

# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1
1000M-1500M=2

含义：0 - 500万之间的值，存储在0号数据节点（数据节点的索引从0开始）；500万 - 1000万之间的数据存储在1号数据节点；1000万 - 1500万的数据节点存储在2号节点。

取模分片

对指定的字段值与节点数量进行求模运算，根据运算结果，来决定该数据属于哪一个分片。

该分片规则，主要适用于数字类型的字段。

配置：

schema.xml 逻辑表配置：

<table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long" />

schema.xml 数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml 分片规则配置：

<tableRule name="mod-long">
    <rule>
        <columns>id</columns>
        <algorithm>mod-long</algorithm>
    </rule>
</tableRule>

<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
    <property name="count">3</property>
</function>

分片规则属性说明如下：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

count

数据节点的数量

一致性hash分片

所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来数据的分区位置，有效的解决了分布式数据的拓容问题。

配置：

schema.xml 中逻辑表配置：

<!-- 一致性hash -->
<table name="tb_order" dataNode="dn4,dn5,dn6" rule="sharding-by-murmur" />

schema.xml 中数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml中分片规则配置：

<tableRule name="sharding-by-murmur">
    <rule>
        <columns>id</columns>
        <algorithm>murmur</algorithm>
    </rule>
</tableRule>

<function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
    <property name="seed">0</property><!-- 默认是0 -->
    <property name="count">3</property>
    <property name="virtualBucketTimes">160</property>
</function>

分片规则属性含义：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

seed

创建murmur_hash对象的种子，默认0

count

要分片的数据库节点数量，必须指定，否则没法分片

virtualBucketTimes

一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍；virtualBucketTimes*count就是虚拟结点数量

weightMapFile

节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替

bucketMapPath

用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西

枚举分片

通过在配置文件中配置可能的枚举值，指定数据分布到不同数据节点上，本规则适用于按照省份、性别、状态拆分数据等业务。

配置：

schema.xml 中逻辑表配置：

<!-- 枚举 -->
<table name="tb_user" dataNode="dn4,dn5,dn6" rule="sharding-by-intfile-enumstatus" />

schema.xml 中数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml 中分片规则配置：

<tableRule name="sharding-by-intfile">
    <rule>
        <columns>sharding_id</columns>
        <algorithm>hash-int</algorithm>
    </rule>
</tableRule>

<!-- 自己增加 tableRule -->
<tableRule name="sharding-by-intfile-enumstatus">
    <rule>
        <columns>status</columns>
        <algorithm>hash-int</algorithm>
    </rule>
</tableRule>

<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
    <property name="defaultNode">2</property>
    <property name="mapFile">partition-hash-int.txt</property>
</function>

partition-hash-int.txt，内容如下：

1=0
2=1
3=2

分片规则属性含义：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

mapFile

对应的外部配置文件

type

默认值为0。0 表示 Integer，1 表示 String

defaultNode

默认节点。小于 0 表示不设置默认节点，大于等于 0 代表设置默认节点；默认节点的作用：枚举分片时，如果碰到不识别的枚举值，就让它路由到默认节点；如果没有默认值，碰到不识别的则报错

应用指定算法

运行阶段由应用自主决定路由到那个分片，直接根据字符子串（必须是数字）计算分片号。

配置：

schema.xml 中逻辑表配置：

<!-- 应用指定算法 -->
<table name="tb_app" dataNode="dn4,dn5,dn6" rule="sharding-by-substring" />

schema.xml 中数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml 中分片规则配置：

<tableRule name="sharding-by-substring">
    <rule>
        <columns>id</columns>
        <algorithm>sharding-by-substring</algorithm>
    </rule>
</tableRule>

<function name="sharding-by-substring" class="io.mycat.route.function.PartitionDirectBySubString">
    <property name="startIndex">0</property> <!-- zero-based -->
    <property name="size">2</property>
    <property name="partitionCount">3</property>
    <property name="defaultPartition">0</property>
</function>

分片规则属性含义：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

startIndex

字符子串起始索引

size

字符长度

partitionCount

分区（分片）数量

defaultPartition

默认分片（在分片数量定义时，字符标示的分片编号不在分片数量内时，使用默认分片）

示例说明：

id=05-100000002，在此配置中代表根据id中从 startIndex=0，开始，截取siz=2位数字即05，05就是获取的分区，如果没找到对应的分片，则默认分配到defaultPartition。

固定分片hash算法

该算法类似于十进制的求模运算，但是为二进制的操作，例如，取 id 的二进制低 10 位 与 1111111111 进行位与（&）运算，位与运算最小值为 0000000000，最大值为1111111111，转换为十进制，也就是位于0-1023之间。

特点：

  • 如果是求模，连续的值，分别分配到各个不同的分片；但是此算法可能会将连续的值分配到相同的分片，降低事务处理的难度。
  • 可以均匀分配，也可以非均匀分配。
  • 分片字段必须为数字类型。

配置：

schema.xml 中逻辑表配置：

<!-- 固定分片hash算法 -->
<table name="tb_longhash" dataNode="dn4,dn5,dn6" rule="sharding-by-long-hash" />

schema.xml 中数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml 中分片规则配置：

<tableRule name="sharding-by-long-hash">
    <rule>
        <columns>id</columns>
        <algorithm>sharding-by-long-hash</algorithm>
    </rule>
</tableRule>

<!-- 分片总长度为1024，count与length数组长度必须一致； -->
<function name="sharding-by-long-hash" class="io.mycat.route.function.PartitionByLong">
    <property name="partitionCount">2,1</property>
    <property name="partitionLength">256,512</property>
</function>

分片规则属性含义：

属性

描述

columns

标识将要分片的表字段名

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

partitionCount

分片个数列表

partitionLength

分片范围列表

约束：

1、分片长度：默认最大 2^10，为 1024；

2、count，length的数组长度必须是一致的；

以上分为三个分区：0-255，256-511，512-1023。

示例说明：

字符串hash解析

截取字符串中的指定位置的子字符串，进行hash算法，算出分片。

配置：

schema.xml 中逻辑表配置：

<!-- 字符串hash解析算法 -->
<table name="tb_strhash" dataNode="dn4,dn5" rule="sharding-by-stringhash" />

schema.xml 中数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />

rule.xml 中分片规则配置：

<tableRule name="sharding-by-stringhash">
    <rule>
        <columns>name</columns>
        <algorithm>sharding-by-stringhash</algorithm>
    </rule>
</tableRule>

<function name="sharding-by-stringhash" class="io.mycat.route.function.PartitionByString">
    <property name="partitionLength">512</property> <!-- zero-based -->
    <property name="partitionCount">2</property>
    <property name="hashSlice">0:2</property>
</function>

分片规则属性含义：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

partitionLength

hash求模基数；length*count=1024（出于性能考虑）

partitionCount

分区数

hashSlice

hash运算位，根据子字符串的hash运算；0 代表 str.length()，-1 代表 str.length()-1，大于0只代表数字自身；可以理解为substring(start，end)，start为0则只表示0

示例说明：

按天分片

按照日期及对应的时间周期来分片。

配置：

schema.xml 中逻辑表配置：

<!-- 按天分片 -->
<table name="tb_datepart" dataNode="dn4,dn5,dn6" rule="sharding-by-date" />

schema.xml 中数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml 中分片规则配置：

<tableRule name="sharding-by-date">
    <rule>
        <columns>create_time</columns>
        <algorithm>sharding-by-date</algorithm>
    </rule>
</tableRule>

<function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2022-01-01</property>
    <property name="sEndDate">2022-01-30</property>
    <property name="sPartionDay">10</property>
</function>
<!--
从开始时间开始，每10天为一个分片，到达结束时间之后，
会重复开始分片插入配置表的 dataNode 的分片。
配置表的dateNode分片，必须和分片规则数量一致，
例如 2022-01-01 到 2022-12-31 ，每10天一个分片，一共需要37个分片。
-->

分片规则属性含义：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

dateFormat

日期格式

sBeginDate

开始日期

sEndDate

结束日期。如果配置了结束日期，则代码数据到达了这个日期的分片后，会重复从开始分片插入

sPartionDay

分区天数，默认值 10，从开始日期算起，每个10天一个分区

自然月分片

使用场景为按照月份来分片，每个自然月为一个分片。

配置：

schema.xml 中逻辑表配置：

<!-- 按自然月分片 -->
<table name="tb_monthpart" dataNode="dn4,dn5,dn6" rule="sharding-by-month" />

schema.xml 中数据节点配置：

<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />

rule.xml 中分片规则配置：

<tableRule name="sharding-by-month">
    <rule>
        <columns>create_time</columns>
        <algorithm>partbymonth</algorithm>
    </rule>
</tableRule>

<function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2022-01-01</property>
    <property name="sEndDate">2022-03-31</property>
</function>
<!--
从开始时间开始，一个月为一个分片，到达结束时间之后，会重复开始分片插入。
配置表的 dataNode 分片，必须和分片规则数量一致，
例如 2022-01-01 到 2022-12-31 ，一共需要12个分片。
-->

分片规则属性含义：

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与function的对应关系

class

指定该分片算法对应的类

dateFormat

日期格式

sBeginDate

开始日期

sEndDate

结束日期。如果配置了结束日期，则代码数据到达了这个日期的分片后，会重复从开始分片插入

在MyCat中，当执行一条SQL语句时，MyCat需要进行SQL解析、分片分析、路由分析、读写分离分析等操作，最终经过一系列的分析决定将当前的SQL语句到底路由到那几个（或哪一个）节点数据库；数据库将数据执行完毕后，如果有返回的结果，则将结果返回给MyCat，最终还需要在MyCat中进行结果合并、聚合处理、排序处理、分页处理等操作，最终再将结果返回给客户端。

在MyCat的使用过程中，MyCat官方提供了一个 管理监控平台 MyCat-Web（MyCat-eye）。 Mycat-web 是 Mycat 可视化运维的管理和监控平台，弥补了 Mycat 在监控上的空白。帮 Mycat 分担统计任务和配置管理任务。Mycat-web 引入了 ZooKeeper 作为配置中心，可以管理多个节点。Mycat-web 主要管理和监控 Mycat 的流量、连接、活动线程和内存等，具备 IP 白名单、邮件告警等模块，还可以统计 SQL 并分析慢 SQL 和高频 SQL 等，为优化SQL 提供依据。

Mycat 默认开通2个端口，可以在 server.xml 中进行修改。

  • 8066 数据访问端口，即进行 DML 和 DDL 操作。
  • 9066 数据库管理端口，即 mycat 服务管理控制功能，用于管理 mycat 的整个集群状态。

连接MyCat管理控制台：

mysql -h 192.168.200.210 -p 9066 -uroot -p123456

命令

含义

show @@help

查看Mycat管理工具帮助文档

show @@version

查看Mycat的版本

reload @@config

重新加载Mycat的配置文件

show @@datasource

查看Mycat的数据源信息

show @@datanode

查看MyCat现有的分片节点信息

show @@threadpool

查看Mycat的线程池信息

show @@sql

查看执行的SQL

show @@sql.sum

查看执行的SQL统计

Mycat-web（Mycat-eye）对 mycat-server 提供监控服务，功能不局限于对 mycat-server 使用。通过JDBC连接对Mycat、Mysql监控，监控远程服务器（目前仅限于linux系统）的cpu、内存、网络、磁盘。

Mycat-eye 运行过程中需要依赖 zookeeper，因此需要先安装 zookeeper。

配置：

在 server.xml 开启 MyCat 的实时统计功能：

<property name="useSqlStat">1</property>
<!-- 1为开启实时统计、0为关闭 -->

安装并配置完成后，在浏览器输入

http://地址:端口号/mycat

即可访问。

在 Mycat 监控界面配置服务地址：

配置好之后，可以通过MyCat执行一系列的增删改查的测试，过一段时间之后，打开mycat-eye的管理界面，查看mycat-eye监控到的数据信息。

MyCat-eye功能：性能监控、物理节点、SQL统计、 SQL分析、SQL监控、高频SQL等。

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章

《SQL与数据库基础》21. 分库分表（一）