目录

1. 大数据环境搭建(一)之服务器环境准备
2. 大数据环境搭建(二)之安装Hadoop
3. 大数据环境搭建(三)之安装Zookeeper
4. 大数据环境搭建(四)之安装Hive
5. 大数据环境搭建(五)之安装HBase

集群规划

大数据一共3个集群，hadoop1 是master

主机名

ip

软件

hadoop1

172.16.21.40

Hadoop,HBase,Zk,Hive,Spark

hadoop2

172.16.21.41

Hadoop,HBase,Zk,Spark

hadoop3

172.16.21.42

Hadoop,HBase,Zk,Spark

hadoop4

172.16.21.43

Hadoop,HBase,Zk,Spark

数据库,redis,docker,web服务等

主机名

ip

软件

bigdata

172.16.21.30

docker mysql等

配置网络，可以联网

若需

vi /etc/sysconfig/network-scripts/ifcfg-eth0
DNS1=114.114.114.114
systemctl restart network

更换yum源

cd /etc/yum.repos.d
wget -O epel.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
rm -rf /var/cache/yum
yum makecache

升级系统

若需

cat /etc/redhat-release
yum update

修改主机名

hostnamectl set-hostname hadoop2

关闭防火墙和安全子系统

systemctl status firewalld.service
# 没关闭的使用下面的命令
systemctl stop firewalld.service

SSH免密，所有机器同时操作

chmod 755 ~/.ssh 
ssh-keygen -t rsa
# 每个复制到除本机以外的服务器
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.21.40
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.21.41
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.21.42
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.21.43

错误：

hadoop1: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
解决：
vi /etc/ssh/sshd_config
修改PubkeyAuthentication yes
service sshd restart

集群时间同步

172.16.21.30 为时钟服务器，其余的服务器按照此来同步

vim /etc/ntp.conf
# 对应位置添加
server 127.0.0.1
# 以及
restrict 172.16.0.0
# 启动
systemctl start ntpd
systemctl enable ntpd
# 立即同步时间，注意观察变化
ntpdate ntp1.aliyun.com
# 如果报错，域名解析错误
vi /etc/resolv.conf
# 添加
nameserver 114.114.114.114
# 写入bois
hwclock --systohc
# 查看bois
hwclock  -r
# 添加定时任务
systemctl start crond.service
systemctl enable crond
crontab -e
# 添加信息
59 23 * * *    ntpdate ntp1.aliyun.com
# 查看时间
timedatectl

其余客户端配置chrony

server 172.16.21.30
# 启动
systemctl start chronyd
systemctl enable chronyd
# 查看
chronyc sources -v
# 出现*表示可以。

安装本机的jdk环境

先卸载本机的openjdk

rpm -qa|grep java

发现

java-1.7.0-openjdk-1.7.0.251-2.6.21.0.el7_7.x86_64
java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
java-1.7.0-openjdk-headless-1.7.0.251-2.6.21.0.el7_7.x86_64
java-1.8.0-openjdk-headless-1.8.0.242.b08-0.el7_7.x86_64

除了.noarch都删除

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.242.b08-0.el7_7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.251-2.6.21.0.el7_7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.251-2.6.21.0.el7_7.x86_64

上传jdk18
不支持jdk11！！！不要自己给自己找麻烦。

rpm 安装

cd /opt
rpm -ivh jdk-8u251-linux-x64.rpm

配置环境变量

vim  /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile