1. 准备4台虚拟机
ceph 192.168.66.93 管理osd,mon节点
ceph-node1 192.168.66.94 osd节点
ceph-node2 192.168.66.95 osd节点
jenkins 192.168.66.88 客户端
关闭selinux,firewalld
在ceph上新增一块磁盘
dd if=/dev/zero of=/home/kvm/ceph/ceph1.img bs=1M count=5120
dd if=/dev/zero of=/home/kvm/ceph-node1/ceph-node11.img bs=1M count=5120
dd if=/dev/zero of=/home/kvm/ceph-node2/ceph-node21.img bs=1M count=5120
mkfs.xfs /dev/vdb(格式化新增磁盘)
mkdir /var/local/osd{0,1,2}
[root@ceph ~]# mount /dev/vdb /var/local/osd0/
[root@ceph-node1 ~]# mount /dev/vdb /var/local/osd1/
[root@ceph-node2 ~]# mount /dev/vdb /var/local/osd2/
在虚拟机配置文件添加如下内容
重启虚拟机
fdisk -l查看,如无效先备份虚拟机配置文件,virsh undefine ceph再把配置文件还原virsh define ceph.xml启动虚拟机
5. 添加host文件
生成密钥
ssh-copyid或者将公钥拷贝到节点.ssh/下面的authorized_keys
时间同步
在管理节点ceph上安装ntp服务
yum -y install ntp
systemctl start ntpd
在节点执行ntpdate 192.168.66.93
配置yum源
mkdir /etc/yum.repos.d/yum/
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/yum/
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
priority=1
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS
gpgcheck=0
priority=1
清理缓存更新yum源
yum clean all && yum makecache
####先备份节点和客户端yum源
scp *.repo ceph.repo* root@ceph-node1:/etc/yum.repos.d/
scp *.repo ceph.repo* root@ceph-node2:/etc/yum.repos.d/
scp *.repo ceph.repo* root@jenkins:/etc/yum.repos.d/
在管理节点安装ceph-deploy管理工具
yum -y install ceph-deploy
mkdir /etc/ceph && cd /etc/ceph
ceph-deploy new ceph
vim ceph.conf
osd_pool_default_size = 2 #2个节点
安装ceph
ceph-deploy install ceph ceph-node1 ceph-node2 jenkins
报错一般为网络问题,如换成阿里源或者163源还是无法安装,可手动安装
手工安装epel-release 然后安装yum -y install ceph-release再yum -y install ceph ceph-radosgw
ceph-deploy uninstall {hostname [hostname] …}
10. 在管理节点安装ceph monitor
[root@ceph ceph]ceph-deploy mon create ceph
[root@ceph ceph]ceph-deploy gatherkeys ceph
ceph-deploy mon destroy {host-name [host-name]…}
部署osd服务
创建osd
ceph-deploy osd prepare ceph:/var/local/osd0/ ceph-node1:/var/local/osd1/ ceph-node2:/var/local/osd2/
激活osd
ceph-deploy osd activate ceph:/var/local/osd0/ ceph-node1:/var/local/osd1/ ceph-node2:/var/local/osd2/
激活报错,在报错节点执行chmod 777 /var/local/osd0 或者 chmod 777 /var/local/osd*
查看状态:
ceph-deploy osd list ceph ceph-node1 ceph-node2
用ceph-deploy把配置文件和admin密钥拷贝到所有节点,这样每次执行Ceph命令行时就无需指定monitor地址和ceph.client.admin.keyring了
ceph-deploy admin ceph ceph-node1 ceph-node2
chmod +r /etc/ceph/ceph.client.admin.keyring
ceph health或者ceph -s
12. 部署mds服务
ceph-deploy mds create ceph ceph-node1 ceph-node2
查看状态
ceph mds stat
ceph存储集群搭建完毕
13. 创建ceph文件系统
ceph fs ls
创建存储池
ceph osd pool create cephfs_data 128
ceph fs new 128 cephfs_metadata cephfs_data #cephfs可自定义
关于创建存储池:
确定pg_num取值是强制性的,因为不能自动计算。下面是几个常用的值:
*少于5 个OSD 时可把pg_num设置为128
*OSD 数量在5 到10 个时,可把pg_num设置为512
*OSD 数量在10 到50 个时,可把pg_num设置为4096
*OSD 数量大于50 时,你得理解权衡方法、以及如何自己计算pg_num取值
*自己计算pg_num取值时可借助pgcalc 工具
随着OSD 数量的增加,正确的pg_num取值变得更加重要,因为它显著地影响着集群的行为、以及出错时的数据持久性(即灾难性事件导致数据丢失的概率)。
创建文件系统
ceph fs new 128 cephfs_metadata cephfs_data #cephfs根据上面创建的存储池定义
14. 挂载
cp ceph.client.admin.keyring admin.secret
vim admin.secret
AQDVUpVec7FyIBAAX/wlJBJwpw+adAhRWltPOA==
mount -t ceph 192.168.66.93:6789:/ /mnt -o name=admin,secretfile=/etc/ceph/admin.secret
echo "Hello World" > /mnt/a.txt
umount /mnt
开机自动挂载: vim /etc/fstab
格式:[{ipaddress}:{port}]:/ {mount}/{mountpoint} ceph [name=username,secret=secretkey|secretfile=/path/to/secretfile],[{mount.options}]
192.168.66.93:6789:/ /mnt/ ceph name=admin,secretfile=/etc/ceph/admin.secret,noatime,\_netdev 0 0
用户控件挂载Ceph文件系统
安装ceph-fuse
yum install -y ceph-fuse
ceph-fuse -m 192.168.66.93:6789 /mnt
卸载:umount /mnt
开机自动挂载:192.168.66.93:6789:/ /mnt/mycephfs fuse.ceph ceph.id={user-ID}[,ceph.conf={path/to/conf.conf}],_netdev,defaults 0 0
systemctl start ceph-fuse@/mnt/mycephfs.service systemctl enable ceph-fuse.target systemctl enable ceph-fuse@-mnt-mycephfs.servic
16. 如果群集具有多个FS,则挂载非默认FS:
mount -t ceph :/ /mnt/mycephfs2 -o mds_namespace=mycephfs2
如果有多个监视器,则传递用逗号分隔的地址:
mount.ceph 192.168.0.1,192.168.0.2,192.168.0.3:/ /mnt/mycephfs
清理机器上的ceph相关配置:
停止所有进程:stop ceph-all
卸载所有ceph程序:ceph-deploy uninstall \[{ceph-node}\]
删除ceph相关的安装包:ceph-deploy purge {ceph-node} \[{ceph-data}\]
删除ceph相关的配置:ceph-deploy purgedata {ceph-node} \[{ceph-data}\]
删除key:ceph-deploy forgetkeys
卸载ceph-deploy管理:
yum -y remove ceph-deploy
Ceph各组件介绍
Ceph OSDs:Ceph OSD 守护进程(Ceph OSD)的功能是存储数据,处理数据的复制、恢复、回填、再均衡,并通过检查其他OSD 守护进程的心跳来向Ceph Monitors 提供一些监控信息。当Ceph存储集群设定为有2个副本时,至少需要2个OSD 守护进程,集群才能达到
active+clean状态(Ceph 默认有3个副本,但你可以调整副本数)。
Monitors:Ceph Monitor维护着展示集群状态的各种图表,包括监视器图、OSD 图、归置组(PG )图、和CRUSH 图。Ceph 保存着发生在Monitors 、OSD 和PG上的每一次状态变更的历史信息(称为epoch )。
MDSs:Ceph 元数据服务器(MDS)为Ceph 文件系统存储元数据(也就是说,Ceph 块设备和Ceph 对象存储不使用MDS )。元数据服务器使得POSIX 文件系统的用户们,可以在不对Ceph 存储集群造成负担的前提下,执行诸如ls,find等基本命令
ceph官方文档http://docs.ceph.org.cn/
ceph中文开源社区http://ceph.org.cn/
排错1: 由于上午网络调整导致ceph ip地址变动,查看集群状态为err,如下图
我先百度了一下发现很多类似的,我看了一篇之后,虽是测试环境我也没急于动手,查看三台之后,ceph-node2和ceph,ceph-node1不一样,我就看了一下hosts文件,发现写的hosts没了。
解决:查看下ceph主节点和ceph-node1,发现ceph-node1也没了,同步一样之后再查看ceph -s就正常了
手机扫一扫
移动阅读更方便
你可能感兴趣的文章