MyCat基本知识

V2AS问路

MyCat基本知识

阅读原文时间：2023年07月10日阅读：3

一.Mycat基本元素

1.逻辑库，mycat中存在，对应用来说相当于mysql数据库，后端可能对应了多个物理数据库，逻辑库中不保存数据
2.逻辑表，逻辑库中的表，对应用来说相当于mysql的数据表，后端可能对应多个物理数据库中的表，也不保存数据

逻辑表分类

1.分片表，进行了水平切分的表，具有相同表结构但存储在不同数据库中的表，所有分片表的集合才是一张完整的表
2.非分片表，垂直切分的表，一个数据库中就保存了一张完整的表
3.全局表，所有分片数据库中都存在的表，如字典表，数量少，由mycat来进行维护更新
4.ER关系表，mycat独有，子表依赖父表，保证在同一个数据库中

二.安装mycat

1.配置环境变量

export JAVA_HOME=/usr/lib/jdk1.8.0_20
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:/usr/local/mycat/bin
export MYCAT_HOME=/usr/local/mycat
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12/
export PATH=$PATH:$ZOOKEEPER_HOME/bin
2.mycat内存分配大小

#wrapper.conf
wrapper.java.additional.5=-XX:MaxDirectMemorySize=2G
wrapper.java.additional.6=-Dcom.sun.management.jmxremote
3.启动关闭

[root@mycat01 conf]# mycat --help
Usage: /usr/local/mycat/bin/mycat { console | start | stop | restart | status | dump }

三.mycat配置文件

3.1 server.xml

配置系统相关参数，如连接数
配置用户访问权限
配置逻辑库信息
配置SQL防火墙、SQL拦截功能

1.系统参数标签

<system>
<property name="${key}">${value}</property>
</system>

2.系统常用标签含义

    <property name="serverPort">8066</property>
    <!-- mycat服务端口，转发mysql服务的端口 -->
    <property name="managerPort">9066</property>
    <!-- mycat管理端口，转发mysql服务的端口 -->
    <property name="nonePassWordLogin">0</property>
    <!-- 登录mycat是否需要密码验证，0-需要，1不需要 -->
    <property name="bindIp">0.0.0.0</property>
    <!-- mycat监听地址，默认全部监听，可以指定网卡IP -->
    <property name="frontWriteQueueSize">4096</property>
    <!-- 前端应用写队列大小 -->
    <property name="charset">utf8</property>
    <!-- 前端应用，后端DB需要保持一致避免乱码 -->
    <property name="txlsolation">2</property>
    <!-- 与mysql一致，0-读未提交，1-读已提交，2-可重复读，3-顺序读 -->
    <property name="processors">8</property>
    <!-- mycat线程数=CPU核数 -->
    <property name="idleTimeout">1800000</property>
    <!-- 前端应用不访问的超时断开时间，和mysql的idletime一致，单位毫秒，默认30分钟 -->
    <property name="sqlExecuteTimeout">300</property>
    <!-- SQL执行超时时间，单位秒，默认10分钟 -->
    <property name="defaultMaxLimit">100</property>
    <!-- mycat默认返回数据集大小，默认100行 -->
    <property name="maxPacketSize">10485700</property>
    <!-- mycat默认返回包大小，与mysql保持一致 -->

3. mycat访问用户权限参数标签

    <user name="readonly">
    <!-- 逻辑库用户账号 -->
        <property name="password">readonly1</property>
        <!-- 逻辑库用户密码 -->
        <property name="schemas">test</property>
        <!-- 逻辑库用户能访问的逻辑库schema，多个schema用分号隔开
        <property name="schemas">test,db1,db2</property> -->
        <property name="readOnly">true</property>
        <!-- 对逻辑库是否只读 -->
    </user>

1.对单个表特殊授权

<user name="root" defaultAccount="true">
    <property name="password">readonly1</property>
    <property name="schemas">test</property>&lt;privileges check="true"&gt;
&lt;!-- 对需要控制权限的schema包裹权限privileges标签 --&gt;
    &lt;schema name="db01" dml="0110"&gt;
    &lt;!-- 指定整个逻辑库schema的权限，权限分别是insert,update,select,delete，1为真，0为假 --&gt;
        &lt;table name="table1" dml="0000"&gt;&lt;/table&gt;
        &lt;!-- 指定单个逻辑表的权限，这里的权限会覆盖上面的权限是 --&gt;
        &lt;table name="table2" dml="1111"&gt;&lt;/table&gt;
    &lt;/schema&gt;
&lt;/privileges&gt;
</user>

2.密码加密

java -cp /usr/local/mycat/lib/Mycat-server-1.6.5-release.jar io.mycat.util.DecryptUtil 0:root:123456

启用并更改密码为密文，0表示前端加密

1
xasdfasdxSFA23

1.5.1如下

[root@mycat01 lib]# java -cp /usr/local/mycat/lib/Mycat-server-1.5.1-RELEASE.jar org.opencloudb.util.DecryptUtil 0:root:password
a2SY+TZczkA9Fz9+QA3DoY7W7+Vp62782bp/qR1BNN8XjDXfiImfArARJyWdIcm8RMIU29p5FijneWPoHUyZgw==

重启mycat生效

3.2 mycat日志log4j2.xml

1.配置输出日志的格式
2.配置输出日志的级别

%d{yyy-MM-dd HH:mm:ss.SSS} %5p [%t] - %m%n

%d{yyy-MM-dd HH:mm:ss.SSS} 时间格式

%5p 日志输出级别，5代表具体的5个字符级别

%t 日志中纪录线程名称

%m 输出代码中指定的消息

%n 换行符

07/28 15:27:15.985 DEBUG Timer1 -con query sql:show slave status to con:MySQLConnection [id=25, lastTime=1532762835985, user=root, schema=sqltest, old shema=sqltest, borrowed=true, fromSlaveDB=true, threadId=17, charset=utf8, txIsolation=0, autocommit=true, attachment=null, respHandler=null, host=172.16.10.153, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
3.级别分类

ALL Trace Debug Info Warn Error Fatal OFF

3.3 rule.xml规则

水平分表的时候才需要配置
指定分片规则和分片规则对应的分片函数

id hash-mod-4

4

1.常用分片算法

1.简单取模-PartitionByMod，适用于整数类型的列，简单取模存储到后端节点-分片基数，数据分布比较均匀

customer_id mod-long

2
2.hash取模-PartitionByHashMod，适用非整形类型的列，如字符串、日期，经过hash后再进行取模，数据分布可能不均匀

login_name mod-long

2

前面两个算法是利用mycat本身算法分片，后面两算法可以人为控制

3.枚举分片-PartitionByFileMap，根据可能的枚举值指定数据存储的节点位置，需要额外增加mapfile文件，适用按地区来分片业务场景

mapFile记录可能出现的值，及分片值对应的节点索引

login_name filemap-int

partition-hash-int.txt

0

0
4.字符串范围取模-PartitionByPrefixPattern，截取固定长度字符串进行ascii码求和，然后除以求模基数（配置文件指定），确定数据存储节点

login_name filemap-int

128/property> prefix-partition-pattern.txt

2

3.4 schema.xml逻辑库-物理库信息

配置逻辑库及逻辑表信息
配置逻辑表所存储的数据节点
配置数据节点所对应的物理数据库服务器信息

1.定义逻辑库

<schema name="test" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn_test"> </schema>
<!-- 定义逻辑库的名称，可以和物理库不一样，checkSQLschema-判断是否检查发给mycat的sql是否含有库名，sqlMaxLimit-限制前端应用的默认返回行数，如果这里没有配置，将使用server.xml中的参数值，-1表示不限制返回函数 -->

2.定义逻辑表

<table name="customer_login" primaryKey="customer_id" dataNode="logindb01,logindb02" rule="customer_login"/>
<!-- 定义逻辑表的名称，必须和物理表名一致；定义逻辑表主键，和物理表主键一致，可以缓存主键信息，提高查询性能；指定物理表存储的物理节点；物理节点顺序和rule.xml节点顺序必须一致； 指定分片规则，这里的customer_login分配规则名称对应rule.xml的tableRule名称-->

3.定义物理数据库

<dataNode name="dn_test" dataHost="dh_10.151" database="test" />
<!-- 物理节点名称，唯一；mysql集群的名称；集群中物理数据库名称 -->

4.定义mysql集群信息

<dataHost name="dh_10.151" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
<!-- mysql集群的名称，唯一；mycat与后端数据库的最大、初始化连接数； -->
        <heartbeat>show slave status</heartbeat>
        <!-- <heartbeat>select user()</heartbeat> -->
        <!-- can have multi write hosts -->
        <writeHost host="Master_vip" url="172.16.10.151:3306" user="root" password="123456">
                <!-- can have multi read hosts -->
                <readHost host="S1_10.153" url="172.16.10.153:3306" user="root" password="123456" />
                <readHost host="S2_10.154" url="172.16.10.154:3306" user="root" password="123456" />
        </writeHost>
        <!-- <writeHost host="hostM2" url="localhost:3306" user="root" password="123456"/> -->
</dataHost>

# balance
# "0" 不开启读写分离机制，适用只有一个mysql数据库实例，或者读写敏刚应用
# "1" 全部的readhost和stand by writehost参与select语句负载均衡，适用双主双从实例
# "2" 所有的readhost和writehost都参与select语句负载均衡，适用写压力不大的应用场景
# "3" 所有readhost参与select语句的负载均衡，适用一主多从实例架构

# writeType
# "0" 默认值，所有的写请求落在第一个writehost上，当第一个writehost宕机后，才会选择第二个writehost主机
# "1" 随机将write请求分发到writehost主机上，有风险，适用PXC多写集群

# dbType
# 可以用于mongodb，用jdbc驱动

# switchType 写数据库如何进行切换
# "1" 当写主机不可用，自动切换到下一个可用写节点
# "-1" 关闭自动切换写主机功能，适用MHA管理的集群

switchType="-1,1,2,3"
--是否启用主从切换
-1：表示不启用主从切换；
1：为默认值，自动切换；
2：基于主从同步的状态，决定是否切换，与show slave status心跳对应；
3：基于多住galary集群切换，与show status like 'wsrep%'对应；

<heartbeat>show slave status</heartbeat>
--心跳检测语句，一般为select user();
如果是switchType=2，基于主从同步状态决定是否切换，则心跳设为show slave status;
如果是switchType=3，则心跳设为show status like 'wsrep%'；

5.关于balance补充

1.一主一从情况下，为1有可能无法select 从库，读写均落在主库
2.一主情况下，主库宕机，所有从库无法通过mycat连接
3.一主多从，balance设为1，select均在从库
4.一主一从，balance设为3，select在从库通常使用该项
5.一主一从，balance设为2，select会落在从库

手机扫一扫

移动阅读更方便

你可能感兴趣的文章

《SQL与数据库基础》21. 分库分表（一）

《SQL与数据库基础》22. 分库分表（二）

MyCat基本知识

一.Mycat基本元素

逻辑表分类

二.安装mycat

三.mycat配置文件

3.1 server.xml

1.系统参数标签

2.系统常用标签含义

3. mycat访问用户权限参数标签

启用并更改密码为密文，0表示前端加密

1.5.1如下

重启mycat生效

3.2 mycat日志log4j2.xml

%d{yyy-MM-dd HH:mm:ss.SSS} 时间格式

%5p 日志输出级别，5代表具体的5个字符级别

%t 日志中纪录线程名称

%m 输出代码中指定的消息

%n 换行符

3.3 rule.xml规则

1.常用分片算法

3.4 schema.xml逻辑库-物理库信息

1.定义逻辑库

2.定义逻辑表

3.定义物理数据库

4.定义mysql集群信息

5.关于balance补充