Hive——基本DML语句

DML:Data Manipulation Language(数据操作语言，与关系型数据库相似)

官方手册：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

一、加载数据到hive表中

1、从文件系统加载数据入库

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,
partcol2=val2 …)]

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,
partcol2=val2 …)] [INPUTFORMAT 'inputformat' SERDE 'serde'] (3.0 or later)

说明：

[local]：如果加上表示本地地址，如果没有表示HDFS上的地址。
[overwrite]：如果加上表示覆盖之前的数据，如果没有表示追加之前的数据。
[partition_sepc]：如果加上表示加载进相应的分区。

2、从其他表中装载

INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 …) [IF NOT EXISTS]]
select_statement1 FROM from_statement;
INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 …)] select_statement1
FROM from_statement;

（其中插入的字段要和查询的字段要保持一致）

二、导出hive 表中数据到文件系统

INSERT OVERWRITE [LOCAL] DIRECTORY directory1
[ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
SELECT … FROM …

注意： 输出到HDFS，有些CDH版本不支持;

输出到本地文件系统和HDFS，取决于LOCAL关键字

也可以用linux重定向导出

hive -e "select * from emp limit 5" > file

（数据的导入导出常用sqoop）

三、基本sql

hive>select * from emp;
hive>select * from emp where ename='…';hive>select * from emp where deptno=10;
hive>select * from emp where sal between 800 and 1500;
hive>select * from emp where ename in ('SMITH','WARD');
hive>select count(1),max(sal),min(sal),avg(sal) from emp;//聚合函数 – max、min、count、sum、avg
hive>select deptno,avg(sal) from emp group by deptno;//分组函数 – group by

hive>select ename, sal,
case
when sal > 1 and sal <= 1000 then 'LOWER' when sal > 1000 and sal <= 2000 then 'MIDDLE' when sal > 2000 and sal <= 4000 then 'HIGH'
ELSE 'HIGHEST' end
from emp; //case when

四、export/import https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport

EXPORT TABLE tablename [PARTITION (part_column="value"[, …])]
TO 'export_target_path' [ FOR replication('eventid') ]

IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_column="value"[, …])]]
FROM 'source_path'
[LOCATION 'import_target_path']
Replication usage