phoenix操作HBase
阅读原文时间:2023年07月09日阅读:1

phoenix操作HBase

  Phoenix,由saleforce.com 开源的一个项目,后又捐给了Apache。
  它相当于一个Java 中间件,帮助开发者,像使用jdbc 访问关系型数据库一样,访问NoSql 数据库HBase。
  Apache Phoenix 与其他Hadoop 产品完全集成,如Spark,Hive,Pig,Flume 和MapReduce。

  http://phoenix.apache.org/download.html
  注意:下载Phoenix 的时候,请注意对应的版本,其中4.14 版本可以运行在HBase0.98、1.1、1.2、1.3、1.4 上。  

下载时也可以直接使用:
wget http://mirrors.shu.edu.cn/apache/phoenix/apache-phoenix-4.14.0-HBase-1.2/bin/apache-phoenix-4.14.0-HBase-1.2-bin.tar.gz

tar -zxvf apache-phoenix-4.14.0-HBase-1.2-bin.tar.gz

  查看Phoenix下的所有的文件,将phoenix-4.14.0-HBase-1.2-server.jar 拷贝到所有HBase节点(包括Hmaster以及HregionServer)的lib目录下:

  重启HBase:
  bin/stop-hbase.sh
  bin/start-hbase.sh

进入Phoenix 的安装包,执行:

bin/sqlline.py bigdata1:2181

2.4.1 创建表

在Phoenix 终端下创建us_population 表:

>> CREATE TABLE IF NOT EXISTS us_population (
state CHAR(2) NOT NULL,
city VARCHAR NOT NULL,
population BIGINT
CONSTRAINT my_pk PRIMARY KEY (state, city));

使用!tables 查看创建的表:

>> !tables

2.4.2 编辑并导入数据

在Phoenix 目录下创建一个data 目录,在data 目录下创建:

vi us_population.csv

NY,New York,8143197
CA,Los Angeles,3844829
IL,Chicago,2842518
TX,Houston,2016582
PA,Philadelphia,1463281
AZ,Phoenix,1461575
TX,San Antonio,1256509
CA,San Diego,1255540
TX,Dallas,1213825
CA,San Jose,912332

执行bin/psql.py data/us_population.csv 导入数据。

# 除了导入数据外,还可以使用Phoenix 的语法插入数据:upsert into us_population values('NY','NewYork',8143197);

1.4.3 查询数据

方式一:在data 目录下创建us_population_queries.sql 文件:

SELECT state as "State",count(city) as "City Count",sum(population) as "Population Sum"
FROM us_population
GROUP BY state
ORDER BY sum(population) DESC;

执行bin/psql.py data/us_population_queries.sql 检索数据。

方式二:使用命令行终端

bin/sqlline.py bigdata1:2181

select * from us_populcation;

  http://www.squirrelsql.org/#installation

  拷贝Phoenix Client jar【phoenix-4.14.0-HBase-1.2-client.jar】到Squirrel-sql 的lib 目录;

 设置Phoenix 连接的Driver 信息,其中localhost 为zookeeper 所在的主机地址,填写一个即可。

进入Hbase 命令行终端bin/hbase shell
创建Hbase 表'phoenix':

-- 创建Hbase 表Phoenix,列族info

create 'phoenix','info'

-- 添加数据

put 'phoenix', 'row001','info:name','phoenix'
put 'phoenix', 'row002','info:name','hbase'

映射HBase 表的方式有两种,一直是视图映射,一种是表映射。
两者的区别就是对HBase 的物理表有没有影响;
删除Phoenix 视图映射不会对Hbase 的表造成影响;
删除Phoenix 表映射会将Hbase 的表也删除;
非必要情况下一般创建视图映射。

在Phoenix 下创建视图映射HBase 表:

-- 创建视图关联映射Hbase 表
create view "phoenix" (
pk VARCHAR primary key,
"info"."name" VARCHAR
);

查询创建好的Phoenix 视图:

-- 删除视图后,在hbase shell 终端下查看phoenix 依然存在

drop view "phoenix";

在Phoenix 下创建表映射HBase 表:
-- 创建表关联映射Hbase 表,4.10 以后Phoenix 优化了列映射,COLUMN_ENCODED_BYTES=0 禁用列映射。

create table "phoenix" (
pk VARCHAR primary key,
"info"."name" VARCHAR
) COLUMN_ENCODED_BYTES = 0;

查询数据: