Apache Ranger 编译安装部署

阅读原文时间：2023年07月09日阅读：4

1. 概述

　　Apache Ranger是大数据领域的一个集中式安全管理框架，目的是通过制定策略（policies）实现对Hadoop组件的集中式安全管理。用户可以通过Ranger实现对集群中数据的安全访问。

2. Ranger内部组件

　　Ranger由三个模块组成：Ranger内部组件、依赖组件、扩展性组件。

　　包含的内部组件如下：

Ranger Admin 用户管理策略，提供WebUI和RestFul接口
Ranger UserSync 用于将Unix系统或LDAP用户/组同步到RangerAdmin
Ranger TagSync 同步Atlas中的Tag信息，基于标签的权限管理，当一个用户的请求涉及到多个应用系统中的多个资源的权限时，可以通过只配置这些资源的tag方便快速的授权
Ranger KMS 对hadoop KMS的策略管理和密钥管理

　　注：Apache atlas 是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。　　
JDK8 用于运行RangerAdmin、RangerKMS
Python2.7 用于Ranger自动化安装
Git 用于Ranger编译
Maven3.6 用于Ranger编译
RDMS 用于存储授权策略，存储Ranger用户/组，存储审核日志
Solr(可选) 存储日志
Kerberos(可选) 确保所有请求都被认证

　　HDFS、HBASE、HIVE、YARN、KNOX、STORM、SOLR、KAFKA、NIFI、KYLIN、NIFI-REGISTRY、SQOOP、ATLAS、ELASTICSEARCH、PRESTO、OZONE

3. Ranger编译

　　Ranger官网源码包版本是1.2.0，不提供二进制安装包，故需要maven编译。目前测试使用的版本为：

ranger版本

2.0.0

hadoop版本

2.7.3

hbase版本

hive版本

2.1.0

postgres版本

python版本

2.7

wget http://mirrors.tuna.tsinghua.edu.cn/apache/ranger/1.2.0/apache-ranger-1.2.0.tar.gz

　　编译安装需要使用到maven，下载如下：

wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.tar.gz

　　解压，并添加环境变量，同时修改maven的Java堆内存最大值，避免编译内存溢出

# tar -zxvf apache-maven-3.6.2-bin.tar.gz

vim /etc/bashrc

export MAVEN_HOME=/opt/app/apache-maven-3.6.2
export PATH=$PATH:$MAVEN_HOME/bin

MAVEN_OPTS=-Xmx2048m
export JAVA_HOME MAVEN_HOME MAVEN_OPTS JAVA_BIN PATH CLASSPATH

修改maven源为阿里源或其他源

# pwd
/opt/app/apache-maven-3.6.2/conf

vim settings.xml

nexus-aliyun central Nexus aliyun http://maven.aliyun.com/nexus/content/groups/public

CN OSChina Central http://maven.oschina.net/content/groups/public/ central

alimaven central aliyun maven https://maven.aliyun.com/nexus/content/repositories/central/

jboss-public-repository-group central JBoss Public Repository Group https://repository.jboss.org/nexus/content/groups/public

　　编译ranger依赖git，需要安装git

yum -y install git

　　编译机器上的python必须为python2，不能是python3，否则编译时会报错

yum -y install python2

　　首次编译ranger，需要时间比较长，时间主要用于maven下载相应的依赖包，时间快慢取决于机器网络带宽。

# pwd
/opt/app/apache-ranger-1.2.0

mvn clean compile package assembly:assembly install -DskipTests -Drat.skip=true

编译完成如下：

编译完成后，在当前目录下的target会生成相应的tar包文件，如下：

3.6.1 exec failonerror="true" executable="python

　　问题描述：

[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (generate-version-annotation) on project ranger-util: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part …… @ 4:48 in /data/apache-ranger-1.0.0/ranger-util/target/antrun/build-main.xml
[ERROR] -> [Help 1]
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (generate-version-annotation) on project ranger-util: An Ant BuildException has occured: exec returned: 1
around Ant part …… @ 4:48 in /data/apache-ranger-1.0.0/ranger-util/target/antrun/build-main.xml

如图：

解决方法：这里需要检查是否编译的机器是否安装了git，安装的是否是python2，不能安装python3。

安装git
$ yum -y install git

在shell界面直接运行python，看是python2或python3。python3则需要卸载
$ yum-y remove python3

没有python2则需要安装
$ yum -y install python2

4. Ranger-admin安装部署

　　安装ranger-admin的机器可以不在Hadoop集群内部，可以是随便一台。

4.1.1 检测是否安装python2

# python
Python 2.7.5 (default, Aug 4 2017, 00:39:18)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux2
Type "help", "copyright", "credits" or "license" for more information.

如果没有检测到python2，则执行下面的命令

yum -y install python

4.1.2 rpm安装Mysql 5.7

　具体mysql rpm安装步骤可以百度

# pwd
/opt/app/apache-ranger-2.0.0/target

tar -zxvf ranger-2.0.0-admin.tar.gz

# pwd
/opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-admin

vim install.properties

修改install.properties文件，这里使用的数据库是postgres，不安装solr服务

1）数据库配置
DB_FLAVOR=MYSQL #指明使用数据库类型
SQL_CONNECTOR_JAR=/opt/software/mysql-connector-java-8.0.22/mysql-connector-java-8.0.22.jar #数据库连接驱动
db_root_user=root #数据库root用户名
db_root_password=123456 #数据库主机
db_host=192.168.56.102:3306 #数据库密码

db_ssl_enabled=false
db_ssl_required=false
db_ssl_verifyServerCertificate=false

db_ssl_auth_type=2-way
javax_net_ssl_keyStore=
javax_net_ssl_keyStorePassword=
javax_net_ssl_trustStore=
javax_net_ssl_trustStorePassword=

# 以下三个属性是用于设置ranger数据库的
db_name=ranger #数据库名
db_user=root #管理该数据库用户直接填root账号就行
db_password=123456 #密码

不需要保存，为空，否则生成的数据库密码为'_'

cred_keystore_filename=

2) 审计日志，如果没有安装solr，对应的属性值为空即可
audit_store=

audit_solr_urls=
audit_solr_user=
audit_solr_password=
audit_solr_zookeepers=

3）策略管理配置，配置ip和端口，默认即可
policymgr_external_url=http://192.168.56.102:6080

4) 配置hadoop集群的core-site.xml文件，把core-site.xml文件拷贝到该目录
hadoop_conf=/etc/hadoop/conf

5) 配置unix用户，用root就可以了,因为我用默认的ranger用户好像出错了

unix_user=root
unix_solr_pwd=123456
unix_group=root

6) rangerAdmin、rangerTagSync、rangerUsersync、keyadmin密码配置。默认为空，可以不配，对应的内部组件该属性也要为空
rangerAdmin_password=
rangerTagsync_password=
rangerUsersync_password=
keyadmin_password=

# pwd
/opt/frame-tools/apache-ranger-2.0.0/target/ranger-2.0.0-admin