Apache Doris官方地址 https://doris.apache.org/
Apache Doris GitHub源码地址 https://github.com/apache/incubator-doris
- Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。
- Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!
StarRocks官网地址 https://www.starrocks.com/zh-CN/index 目前最新版本为2.2.0
StarRocks官网文档地址 https://docs.starrocks.com/zh-cn/main/introduction/StarRocks_intro
这个是StarRocks2021年前规划,现在最新版本已为2.2.0
StarRocks可以满足企业级用户的多种分析需求,包括OLAP多维分析、定制报表、实时数据分析和Ad-hoc数据分析等。具体的业务场景包括:
OLAP多维分析
实时数据分析
高并发查询
统一分析
与其他分析层数仓框架对比,其极速统一架构如下
与Flink生态对接
StarRocks 集群由 FE 和 BE 构成, 可以使用 MySQL 客户端访问 StarRocks 集群。
简称 FE,是 StarRocks 的前端节点,负责管理元数据,管理客户端连接,进行查询规划,查询调度等工作。FE 接收 MySQL 客户端的连接, 解析并执行 SQL 语句。
简称 BE,是 StarRocks 的后端节点,负责数据存储,计算执行,以及 compaction,副本管理等工作。
Broker 是 StarRocks 和 HDFS 对象存储等外部数据对接的中转服务,辅助提供导入导出功能,如需使用 broker load,spark load,备份恢复等功能需要安装启动 Broker。
StarRocksManager 是 StarRocks 企业版提供的管理工具,通过 Manager 可以可视化的进行 StarRocks 集群管理、在线查询、故障查询、监控报警、可视化慢查询分析等功能。
集群节点需要以下环境支持:
通过 cat /proc/cpuinfo |grep avx2
命令查看节点配置,有结果则 cpu 支持 AVX2 指令集。
测试集群建议节点配置:BE 推荐 16 核 64GB 以上,FE 推荐 8 核 16GB 以上。建议 FE,BE 独立部署。
系统参数配置建议:
关闭交换区,消除交换内存到虚拟内存时对性能的扰动。
echo 0 | sudo tee /proc/sys/vm/swappiness
建议使用 Overcommit,把 cat /proc/sys/vm/overcommit_memory 设成 1。
echo 1 | sudo tee /proc/sys/vm/overcommit_memory
服务器IP
服务器角色
192.168.5.52
FE、BE、Broker
192.168.5.53
BE、Broker
192.168.12.28
BE、Broker
# 从官网下载
wget https://www.starrocks.com/zh-CN/download/request-download/22/StarRocks-2.2.0-rc01.tar.gz
# 下载的安装包可直接解压后进行安装部署
tar -xvf StarRocks-2.2.0-rc02.tar.gz
查看FE目录结构
查看BE目录结构
FE 的基本配置
cd StarRocks-2.2.0-rc02/fe
vi conf/fe.conf
meta_dir = ${STARROCKS_HOME}/meta
JAVA_OPTS = "-Xmx8192m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:$STARROCKS_HOME/log/fe.gc.log"
priority_networks = 10.10.10.0/24;192.168.0.0/16
可以根据 FE 内存大小调整-Xmx8192m,为了避免 GC 建议 16G 以上,StarRocks 的元数据都在内存中保存。
# 第二步: 创建元数据目录,需要与 fe.conf 中配置路径保持一致:
mkdir -p meta
# 第三步: 启动 FE 进程:
bin/start_fe.sh --daemon
# 第四步: 确认启动 FE 启动成功。
FE ip:http_port
(默认 8030),打开 StarRocks 的 WebUI, 用户名为 root, 密码为空。访问 StarRocks 的 WebUI,http://192.168.5.52:8030
使用 MySQL 客户端访问 FE,这里默认 root 用户密码为空,端口为 fe/conf/fe.conf 中的 query_port 配置项,默认为 9030,查看 FE 状态是正常
通过SQLyog的第三方MySQL客户端连接和查询结果
BE 的基本配置:BE 的配置文件为 be/conf/be.conf,默认配置即可启动集群,生产环境可参考 BE 参数配置对集群进行详细优化配置。
BE 部署:通过以下命令启动 be 并添加 be 到 StarRocks 集群, 一般至少在三个节点部署 3 个 BE 实例, 每个实例的添加步骤相同。
# 进入be的安装目录
cd StarRocks-2.2.0-rc02/be
# 第一步: 创建数据目录(当前设置为 be.conf 中默认 storage_root_path 配置项路径):
# 创建数据存储目录
mkdir -p storage
# 第二步: 通过 mysql 客户端添加 BE 节点:host 为与 priority_networks 设置相匹配的 IP,port 为 BE 配置文件中的 heartbeat_service_port,默认为 9050。
mysql> ALTER SYSTEM ADD BACKEND "192.168.5.52:9050";
如出现错误,需要删除 BE 节点,可通过以下命令将 BE 节点从集群移除,host 和 port 与添加时一致:具体参考 扩容缩容。
mysql> ALTER SYSTEM decommission BACKEND "host:port";
# 第三步: 启动 BE:
bin/start_be.sh --daemon
# 第四步: 查看 BE 状态, 确认 BE 就绪:
显示isAlive 为 true,则说明 BE 正常接入集群。如果 BE 没有正常接入集群,请查看 log 目录下的 be.WARNING 日志文件确定原因。
如果日志中出现类似"backend ip saved in master does not equal to backend local ip127.0.0.1 vs. 192.168.5.22"的信息,说明 priority_networks 的配置存在问题。此时需要,先用以下命令 drop 掉原来加进去的 be,然后重新以正确的 IP 添加 BE。
mysql> ALTER SYSTEM DROPP BACKEND "192.168.5.22:9050";
由于是初次启动,如果在操作过程中遇到任何意外问题,都可以删除并重新创建 storage 目录,再从头开始操作。
其他两台是相同部署方式,由于192.168.12.28上8040和8060端口已经被占用,所以配置文件的端口信息
启动192.168.12.28的BE,查看
启动192.168.5.52的BE,查看
配置文件为 apache_hdfs_broker/conf/apache_hdfs_broker.conf
注意:Broker 没有也不需要 priority_networks 参数,Broker 的服务默认绑定在 0.0.0.0 上,只需要在 ADD BROKER 时,填写正确可访问的 Broker IP 即可。
如果有特殊的 hdfs 配置,复制线上的 hdfs-site.xml 到 conf 目录下
启动 broker:
cd StarRocks-2.2.0-rc02/apache_hdfs_broker
bin/start_broker.sh --daemon
添加 broker 节点到集群中,查看 broker 状态:
mysql> 查看 broker 状态:
继续部署其他两个broker,三个broker的状态都是正常
# 使用 root 用户建立 example_db 数据库
mysql> create database example_db;
# 通过 `show databases;` 查看数据库信息:
mysql> show databases;
通过官方提供建表脚本创建表
CREATE TABLE IF NOT EXISTS detailDemo (
make_time DATE NOT NULL COMMENT "YYYY-MM-DD",
mache_verson TINYINT COMMENT "range [-128, 127]",
mache_num SMALLINT COMMENT "range [-32768, 32767] ",
de_code INT COMMENT "range [-2147483648, 2147483647]",
saler_id BIGINT COMMENT "range [-2^63 + 1 ~ 2^63 - 1]",
pd_num LARGEINT COMMENT "range [-2^127 + 1 ~ 2^127 - 1]",
pd_type CHAR(20) NOT NULL COMMENT "range char(m),m in (1-255) ",
pd_desc VARCHAR(500) NOT NULL COMMENT "upper limit value 65533 bytes",
us_detail STRING NOT NULL COMMENT "upper limit value 65533 bytes",
relTime DATETIME COMMENT "YYYY-MM-DD HH:MM:SS",
channel FLOAT COMMENT "4 bytes",
income DOUBLE COMMENT "8 bytes",
account DECIMAL(12,4) COMMENT "",
ispass BOOLEAN COMMENT "true/false"
) ENGINE=OLAP
DUPLICATE KEY(make_time, mache_verson)
PARTITION BY RANGE (make_time) (
START ("2022-03-11") END ("2022-03-15") EVERY (INTERVAL 1 day)
)
DISTRIBUTED BY HASH(make_time, mache_verson) BUCKETS 8
PROPERTIES(
"replication_num" = "3",
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-3",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "8"
);
# 命令查看当前库的所有表
mysql> show tables;
# 查看表结构
mysql> desc detailDemo;
# 查看建表语句,在 StarRocks 中字段名不区分大小写,表名区分大小写
mysql> show create table detailDemo;
建表语句说明
排序键
DUPLICATE KEY
指定排序列,以上 demo 中的 make_time, mache_verson
两列为排序列。注意排序列在建表时应定义在其他列之前。排序键详细描述以及不同数据模型的表的设置方法请参考 排序键。字段类型
分区,分桶
PARTITION
关键字用于给表 [创建分区](https://docs.starrocks.com/zh-cn/main/sql-reference/sql-statements/data-definition/CREATE TABLE#Syntax),当前 demo 中使用 make_time
进行范围分区,从 11 日到 15 日每天创建一个分区。StarRocks 支持动态生成分区,PROPERTIES
中的 dynamic_partition
开头的相关属性配置都是为表设置动态分区。详见 动态分区管理。DISTRIBUTED
关键字用于给表 [创建分桶](https://docs.starrocks.com/zh-cn/main/sql-reference/sql-statements/data-definition/CREATE TABLE#Syntax),当前 demo 中使用 make_time, mache_verson
两个字段通过 Hash 算法创建 32 个桶。数据模型
索引
注意:索引创建对表模型和列有要求,详细说明见对应索引介绍章节。
ENGINE 类型
**本人博客网站 **IT小神 www.itxiaoshen.com
手机扫一扫
移动阅读更方便
你可能感兴趣的文章