[BD] Hive

V2AS问路

[BD] Hive

阅读原文时间：2023年07月10日阅读：1

简介

基于HDFS的数据仓库工具

基于HDFS上的数据分析引擎
- 2.x 前：SQL -----> Hive ----> MapReduce
- 2.x 后：推荐执行引擎为 Spark
支持SQL子集

架构

执行方式：CLI、JDBC、HWI（推荐HUE）
Hive元信息：表名、列名、列的类型、分区、桶，存储在MySQL中
读取MySQL得到Hive元信息
数据在HDFS中

安装

嵌入模式
不需要MySQL，使用Hive自带的Derby数据库存储元信息（Derby较小，嵌入到Hive中）
* 只支持一个连接，用于开发和测试
本地模式
- 需要MySQL，Hive和MySQL在一起
- 连接驱动：mysql-connector-java-5.1.43-bin
远程模式
- 需要MySQL，Hive和MySQL不在一起
- 在 hive-site.xml 中写入mysql地址
- mysql中TBLS存储Hive表信息，COLUMNS_2保存列的信息

文件存储

分类

列式存储：每个字段类型相同，数据压缩度高
行式存储：查询快

Hive

TEXTFILE：行存储，默认格式，数据不压缩，磁盘开销大
ORC：列存储，一个ORC文件分为若干Stripe，一个Stripe分为indexData（列索引），rowData（数据），StripFooter（元数据信息），默认压缩方式zlib
PARQUET：列存储，面向分析型业务，以二进制方式存储

性能分析

压缩比：
查询速度

数据模型

内部表：类似MySQL中的表

* 导入数据：load（剪切）　　
- 静默模式：hive -S（不打印日志）
分区表：建立分区，提高效率
- 一个分区对应一个HDFS文件

1 create table emp_part
2 (empno int,
3 ename string,
4 job string,
5 mgr int,
6 hiredate string,
7 sal int,
8 comm int
9 )partitioned by (deptno int)
10 row format delimited fields terminated by ',';

* select * from emp_part where deptno=10;
- 打印执行计划：explain select * from emp_part where deptno=10;
外部表：只定义表结构，数据保存在HDFS的某目录下
桶表：类似Hash分区，对要插入的数据进行hash运算再插入，查询效率提高，插入效率降低
视图：
- 是一个虚表，查询操作和普通表一样，但不存储数据，数据来自底层依赖的基表
- 作用：简化复杂的查询（不提高效率）

执行

执行HQL，HQL是SQL的子集
转换为MapReduce程序执行
使用 sqoop 导入 mysql 的数据，或将Hive的数据导出到mysql

JDBC查询

启动 hive thrift 服务
- hive --server hiveserver2
将hive lib下的jar包下载到本地，添加依赖

JDBCUtils.java

1 package jdbc;
2
3 import java.sql.Connection;
4 import java.sql.DriverManager;
5 import java.sql.ResultSet;
6 import java.sql.SQLException;
7 import java.sql.Statement;
8
9 /*
10 * 工具类：
11 * 1、获取数据库Hive链接
12 * 2、释放资源
13 */
14 public class JDBCUtils {
15
16 //Hive数据库的驱动
17 private static String driver = "org.apache.hive.jdbc.HiveDriver";
18
19 //Hive位置
20 private static String url = "jdbc:hive2://192.168.174.111:7777/default";
21
22 //注册驱动
23 static{
24 try {
25 Class.forName(driver);
26 } catch (ClassNotFoundException e) {
27 e.printStackTrace();
28 throw new ExceptionInInitializerError(e);
29 }
30 }
31
32 //获取链接
33 public static Connection getConnection(){
34 try {
35 return DriverManager.getConnection(url);
36 } catch (SQLException e) {
37 e.printStackTrace();
38 }
39 return null;
40 }
41
42 public static void release(Connection conn,Statement st,ResultSet rs){
43 if(rs != null){
44 try {
45 rs.close();
46 } catch (SQLException e) {
47 e.printStackTrace();
48 }finally{
49 rs = null;
50 }
51 }
52
53 if(st != null){
54 try {
55 st.close();
56 } catch (SQLException e) {
57 e.printStackTrace();
58 }finally{
59 st = null;
60 }
61 }
62
63 if(conn != null){
64 try {
65 conn.close();
66 } catch (SQLException e) {
67 e.printStackTrace();
68 }finally{
69 conn = null;
70 }
71 }
72 }
73 }

TestHive.java

1 package jdbc;
2
3 import java.sql.Connection;
4 import java.sql.ResultSet;
5 import java.sql.Statement;
6
7 public class TestHive {
8
9 public static void main(String[] args) {
10 //查询: select * from emp1;
11 Connection conn = null;
12 Statement st = null;
13 ResultSet rs = null;
14 try{
15 conn = JDBCUtils.getConnection();
16 st = conn.createStatement();
17
18 //执行SQL
19 rs = st.executeQuery("select * from emp1");
20 while(rs.next()){
21 String ename = rs.getString("ename");
22 System.out.println(ename);
23 }
24 }catch(Exception ex){
25 ex.printStackTrace();
26 }finally{
27 //释放资源
28 JDBCUtils.release(conn, st, rs);
29 }
30 }
31 }

自定义函数

UDF：User Define Function，封装业务逻辑，本质是java程序

MyConcatString

1 package demo.udf;
2
3 import org.apache.hadoop.hive.ql.exec.UDF;
4
5 public class MyConcatString extends UDF{
6 public String evaluate(String a,String b) {
7 return a+"**************"+b;
8 }
9 }

CheckSalaryGrade

1 package demo.udf;
2
3 import org.apache.hadoop.hive.ql.exec.UDF;
4
5 public class CheckSalaryGrade extends UDF{
6 public String evaluate(String salary) {
7 int sal = Integer.parseInt(salary);
8 if(sal < 1000) return "Grade A"; 9 else if(sal>=1000 && sal<3000) return "Grade B";
10 else return "Grade C";
11 }
12 }

把package打包为jar包，上传到/root/tmp
部署jar包
- 把jar包加入Hive的Classpath
  - add jar /root/tmp/MyUDF.jar;
- 为自定义函数创建别名
  - create temporary tunction myconcat as 'udf.MyConcatString';
  - create temporary tunction checksal as 'udf.CheckSalaryGrade';