网站做排名2015年,外网怎么弄,wordpress 评论500,服务器做的网站 怎么使用目录 一、基于 ceph-deploy 部署 Ceph 集群1、Ceph 生产环境推荐#xff1a;2、Ceph 环境规划3、环境准备1、关闭 selinux 与防火墙2、根据规划设置主机名3、配置 hosts 解析4、安装常用软件和依赖包5、在 admin 管理节点配置 ssh 免密登录所有节点6、为每一个服务器配置时间同… 目录 一、基于 ceph-deploy 部署 Ceph 集群1、Ceph 生产环境推荐2、Ceph 环境规划3、环境准备1、关闭 selinux 与防火墙2、根据规划设置主机名3、配置 hosts 解析4、安装常用软件和依赖包5、在 admin 管理节点配置 ssh 免密登录所有节点6、为每一个服务器配置时间同步7、配置 Ceph yum源8、执行完上面所有的操作之后重启所有主机可选9、为每哥节点主机多设置三张硬盘进行使用10、为每个节点设置vip地址 2、部署 Ceph 集群1、为所有节点都创建一个 Ceph 工作目录后续的工作都在该目录下进行2、在admin节点上安装 ceph-deploy 部署工具3、在管理节点为其它节点安装 Ceph 软件包4、生成初始配置5、在管理节点初始化 mon 节点1、命令执行成功后会在 /etc/ceph 下生成配置文件2、在 node 节点上查看自动开启的 mon 进程3、在管理节点查看 Ceph 集群状态4、查看 mon 集群选举的情况5、扩容 mon 节点 6、部署能够管理 Ceph 集群的节点1、在 mon 节点上查看 7、部署 osd 存储节点1、如果是利旧的硬盘则需要先擦净删除分区表磁盘可选无数据的新硬盘可不做2、添加 osd 节点3、查看 ceph 集群状态4、扩容 osd 节点 8、部署 mgr 节点1、扩容 mgr 节点 9、开启监控模块1、在 ceph-mgr Active节点执行命令开启2、开启 dashboard 模块3、禁用 dashboard 的 ssl 功能4、配置 dashboard 监听的地址和端口5、重启 dashboard6、确认访问 dashboard 的 url7、设置 dashboard 账户以及密码 二、资源池 Pool 管理1、创建一个 Pool 资源池2、查看集群 Pool 信息3、查看资源池副本的数量4、查看 PG 和 PGP 数量5、修改 pg_num 和 pgp_num 的数量为 1286、修改 Pool 副本数量为 27、修改默认副本数为 28、删除 Pool 资源池 一、基于 ceph-deploy 部署 Ceph 集群
1、Ceph 生产环境推荐
1、存储集群全采用万兆网络 2、集群网络cluster-network用于集群内部通讯与公共网络public-network用于外部访问Ceph集群分离 3、mon、mds 与 osd 分离部署在不同主机上测试环境中可以让一台主机节点运行多个组件 4、OSD 使用 SATA 亦可 5、根据容量规划集群 6、至强E5 2620 V3或以上 CPU64GB或更高内存 7、集群主机分散部署避免机柜的电源或者网络故障 字号4
2、Ceph 环境规划
主机名Public网络Cluster网络角色admin192.168.102.10admin管理节点负责集群整体部署、clientnode01192.168.102.20192.168.100.20mon、mgr、osd/dev/sdb、/dev/sdc、/dev/sddnode02192.168.102.30192.168.100.30mon、mgr、osd/dev/sdb、/dev/sdc、/dev/sddnode03192.168.102.40192.168.100.40mon、osd/dev/sdb、/dev/sdc、/dev/sddclient192.168.102.50client
3、环境准备
可选步骤创建 Ceph 的管理用户
useradd cephadm
passwd cephadmvisudo
cephadm ALL(root) NOPASSWD:ALL1、关闭 selinux 与防火墙
systemctl disable --now firewalld
setenforce 0
sed -i s/enforcing/disabled/ /etc/selinux/config2、根据规划设置主机名
给每台服务器设置主机名
hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client3、配置 hosts 解析 4、安装常用软件和依赖包
yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass5、在 admin 管理节点配置 ssh 免密登录所有节点
ssh-keygen -t rsa -P -f ~/.ssh/id_rsa
sshpass -p Dz030617 ssh-copy-id -o StrictHostKeyCheckingno rootadmin
sshpass -p Dz030617 ssh-copy-id -o StrictHostKeyCheckingno rootnode01
sshpass -p Dz030617 ssh-copy-id -o StrictHostKeyCheckingno rootnode02
sshpass -p Dz030617 ssh-copy-id -o StrictHostKeyCheckingno rootnode03vim /etc/ssh/ssh_config 6、为每一个服务器配置时间同步
systemctl enable --now chronyd
timedatectl set-ntp true #开启 NTP
timedatectl set-timezone Asia/Shanghai #设置时区
chronyc -a makestep #强制同步下系统时钟
timedatectl status #查看时间同步状态
chronyc sources -v #查看 ntp 源服务器信息
timedatectl set-local-rtc 0 #将当前的UTC时间写入硬件时钟#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond#关闭无关服务
systemctl disable --now postfix7、配置 Ceph yum源
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificaterpm -ivh ceph-release-1-1.el7.noarch.rpm --force8、执行完上面所有的操作之后重启所有主机可选
sync
reboot9、为每哥节点主机多设置三张硬盘进行使用 添加好硬盘后进行刷新硬盘
echo - - - /sys/class/scsi_host/host0/scan
echo - - - /sys/class/scsi_host/host1/scan
echo - - - /sys/class/scsi_host/host2/scan10、为每个节点设置vip地址 2、部署 Ceph 集群
1、为所有节点都创建一个 Ceph 工作目录后续的工作都在该目录下进行
mkdir -p /etc/ceph2、在admin节点上安装 ceph-deploy 部署工具
cd /etc/ceph
yum install -y ceph-deployceph-deploy --version3、在管理节点为其它节点安装 Ceph 软件包
#也可采用手动安装 Ceph 包方式在其它节点上执行下面的命令将 Ceph 的安装包都部署上
sed -i s#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph# /etc/yum.repos.d/ceph.repoyum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph4、生成初始配置
#在管理节点运行下述命令告诉 ceph-deploy 哪些是 mon 监控节点
cd /etc/ceph
ceph-deploy new --public-network 192.168.102.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03#命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.conf #ceph的配置文件
ceph-deploy-ceph.log #monitor的日志
ceph.mon.keyring #monitor的密钥环文件5、在管理节点初始化 mon 节点
cd /etc/ceph
ceph-deploy mon create node01 node02 node03 #创建 mon 节点由于 monitor 使用 Paxos 算法其高可用集群节点数量要求为大于等于 3 的奇数台ceph-deploy --overwrite-conf mon create-initial #配置初始化 mon 节点并向所有节点同步配置# --overwrite-conf 参数用于表示强制覆盖配置文件ceph-deploy gatherkeys node01 #可选操作向 node01 节点收集所有密钥1、命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.bootstrap-mds.keyring #引导启动 mds 的密钥文件
ceph.bootstrap-mgr.keyring #引导启动 mgr 的密钥文件
ceph.bootstrap-osd.keyring #引导启动 osd 的密钥文件
ceph.bootstrap-rgw.keyring #引导启动 rgw 的密钥文件
ceph.client.admin.keyring #ceph客户端和管理端通信的认证密钥拥有ceph集群的所有权限
ceph.conf
ceph-deploy-ceph.log
ceph.mon.keyring2、在 node 节点上查看自动开启的 mon 进程
#在 node 节点上查看自动开启的 mon 进程
ps aux | grep ceph3、在管理节点查看 Ceph 集群状态
cd /etc/ceph
ceph -s4、查看 mon 集群选举的情况
ceph quorum_status --format json-pretty | grep leader5、扩容 mon 节点
ceph-deploy mon add 节点名称6、部署能够管理 Ceph 集群的节点
#可实现在各个节点执行 ceph 命令管理集群
cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03 #向所有 mon 节点同步配置确保所有 mon 节点上的 ceph.conf 内容必须一致ceph-deploy admin node01 node02 node03 #本质就是把 ceph.client.admin.keyring 集群认证文件拷贝到各个节点1、在 mon 节点上查看
ls /etc/ceph
ceph.client.admin.keyring ceph.conf rbdmap tmpr8tzyccd /etc/ceph
ceph -s7、部署 osd 存储节点
#主机添加完硬盘后不要分区直接使用
lsblk 1、如果是利旧的硬盘则需要先擦净删除分区表磁盘可选无数据的新硬盘可不做
cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb2、添加 osd 节点
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdb3、查看 ceph 集群状态
ceph -sceph osd stat
ceph osd tree
rados dfceph osd status #查看 osd 状态需部署 mgr 后才能执行ceph osd df #查看 osd 容量需部署 mgr 后才能执行4、扩容 osd 节点
cd /etc/ceph
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd添加 OSD 中会涉及到 PG 的迁移由于此时集群并没有数据因此 health 的状态很快就变成 OK如果在生产环境中添加节点则会涉及到大量的数据的迁移。
8、部署 mgr 节点
ceph-mgr守护进程以Active/Standby模式运行可确保在Active节点或其ceph-mgr守护进程故障时其中的一个Standby实例可以在不中断服务的情况下接管其任务。根据官方的架构原则mgr至少要有两个节点来进行工作。
cd /etc/ceph
ceph-deploy mgr create node01 node02ceph -s解决 HEALTH_WARN 问题mons are allowing insecure global_id reclaim问题
禁用不安全模式ceph config set mon auth_allow_insecure_global_id_reclaim false1、扩容 mgr 节点
ceph-deploy mgr create 节点名称9、开启监控模块
1、在 ceph-mgr Active节点执行命令开启
ceph -s | grep mgryum install -y ceph-mgr-dashboardcd /etc/cephceph mgr module ls | grep dashboard2、开启 dashboard 模块
ceph mgr module enable dashboard --force3、禁用 dashboard 的 ssl 功能
ceph config set mgr mgr/dashboard/ssl false4、配置 dashboard 监听的地址和端口
ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 80005、重启 dashboard
ceph mgr module disable dashboard
ceph mgr module enable dashboard --force6、确认访问 dashboard 的 url
ceph mgr services7、设置 dashboard 账户以及密码
echo 12345678 dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt浏览器访问http://192.168.80.11:8000 账号密码为 admin/12345678 二、资源池 Pool 管理
上面我们已经完成了 Ceph 集群的部署但是我们如何向 Ceph 中存储数据呢首先我们需要在 Ceph 中定义一个 Pool 资源池。Pool 是 Ceph 中存储 Object 对象抽象概念。我们可以将其理解为 Ceph 存储上划分的逻辑分区Pool 由多个 PG 组成而 PG 通过 CRUSH 算法映射到不同的 OSD 上同时 Pool 可以设置副本 size 大小默认副本数量为 3。
Ceph 客户端向 monitor 请求集群的状态并向 Pool 中写入数据数据根据 PGs 的数量通过 CRUSH 算法将其映射到不同的 OSD 节点上实现数据的存储。 这里我们可以把 Pool 理解为存储 Object 数据的逻辑单元当然当前集群没有资源池因此需要进行定义。
1、创建一个 Pool 资源池
创建一个 Pool 资源池其名字为 mypoolPGs 数量设置为 64设置 PGs 的同时还需要设置 PGP通常PGs和PGP的值是相同的
PG (Placement Group)pg 是一个虚拟的概念用于存放 objectPGP(Placement Group for Placement purpose)相当于是 pg 存放的一种 osd 排列组合
cd /etc/ceph
ceph osd pool create mypool 64 642、查看集群 Pool 信息
ceph osd pool ls 或 rados lspools
ceph osd lspools3、查看资源池副本的数量
ceph osd pool get mypool size4、查看 PG 和 PGP 数量
ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num5、修改 pg_num 和 pgp_num 的数量为 128
ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num6、修改 Pool 副本数量为 2
ceph osd pool set mypool size 2ceph osd pool get mypool size7、修改默认副本数为 2
到管理节点上进行添加内容
vim ceph.conf
......
osd_pool_default_size 2ceph-deploy --overwrite-conf config push node01 node02 node03操作完成后对所有节点进行重启服务
systemctl restart ceph-mon.target 8、删除 Pool 资源池
1删除存储池命令存在数据丢失的风险Ceph 默认禁止此类操作需要管理员先在 ceph.conf 配置文件中开启支持删除存储池的操作
vim ceph.conf
......
[mon]
mon allow pool delete true2推送 ceph.conf 配置文件给所有 mon 节点
ceph-deploy --overwrite-conf config push node01 node02 node03操作完成后对所有节点进行重启服务
systemctl restart ceph-mon.target 3执行删除 Pool 命令
ceph osd pool rm dz dz --yes-i-really-really-mean-it
