网站结构 seo,怎么建设幸运28网站,网站改版工作方案,工业设备外观设计公司一、前言 DDN-03.11-File Level Redundancy (FLR) Category:FLR 1、功能介绍
在文件级冗余#xff08;File Level Redundancy#xff0c;FLR#xff09;特性出现之前#xff0c;Lustre文件系统数据冗余完全依赖于后端存储设备#xff08;如RAID6#xff09;。 Lustre在L…一、前言 DDN-03.11-File Level Redundancy (FLR) Category:FLR 1、功能介绍
在文件级冗余File Level RedundancyFLR特性出现之前Lustre文件系统数据冗余完全依赖于后端存储设备如RAID6。 Lustre在Lustre 2.11.0版本引入了FLR特性来解决文件冗余问题通过为多个OST的数据指定镜像文件布局来减轻这种依赖以便于在OSS/OST异常情况下文件数据仍然可用通过比较镜像文件可以检查和修复数据的完整性。此外通过多个镜像文件可以提高单个文件并行读取聚合性能。
2、实现方式
目前文件级冗余功能通过延迟写入异步复制方式实现文件写入过程中只有一个主镜像文件会在写入的时候直接更新其他镜像文件则会被标记为失效状态stale之后再通过命令行工具由用户直接运行或通过自动监控工具运行在镜像之间进行数据同步当同步完成后该文件将会再次恢复到镜像状态。 二、部署说明
1、创建镜像文件或目录
通用格式
lfs mirror create创建镜像文件或目录 为保证冗余容错性需保证不同的镜像在不同OST甚至不同OSS或机架。用户需了解集群拓扑结构利用现有的OST池机制分离OST来保证不同级别的故障域硬盘、服务器、机架创建镜像时指定镜像可使用哪些OST池
lfs mirror create --mirror-count|-N[mirror_count] [setstripe_options|[--flagsflags]] ... filename|directory–mirror-count|-N[mirror_count] 用于设置使用setstripe_option所创建的镜像数量该参数可重复多次使用指定不同镜像存在不同布局的存储池上 注mirror_count为可选参数当不指定时默认为1当指定时所设置参数值需紧挨着选项不留空格如-N2表示保留2个镜像文件 setstripe_option 可选参数用于设置镜像的特定布局该参数等同于lfs setstripe命令设置可以为具有特定条带模式的简单布局或复合布局如渐进式文件布局Progressive File Layout(PFL) 当不指定时默认从上一个组件继承条带设置 当这为第一个组件时stripe_count和stripe_size将继续文件系统范围的默认值OSTpool_name将继承父目录设定值 –flagsflags 可选参数用于为创建的镜像设置标记当前只支持prefer标记prefer标记用于提示lustre哪些镜像将用于为I/O提供服务 注该标记将被设置为属于对应镜像的所有组件如需创建镜像时为单个组件设置标识则使用--comp-flags参数 当读取镜像文件时优先选择带有prefer标记的组件提供服务 当写入镜像文件时MDT优先选择带有prefer标记的组件提供服务同时将该镜像组下其他组件标记为失效stale状态 当读写镜像文件时如果所有带有prefer标记的组件不可访问时Lustre将会选择该镜像组下其他组件提供服务
示例说明
创建镜像目录/mnt/lustrefs/mirror2镜像1存放于node91存储池镜像2存放于node92存储池设置条带数量为2设置条带大小为4MB
lfs mirror create -N -c 2 -S 4M -p lustrefs.node91 -N -p lustrefs.node92 /mnt/lustrefs/mirror22、查看镜像文件或目录
通用格式
lfs getstripe查看镜像文件/目录状态信息
lfs getstripe directory|filename示例说明
[rootnode91 ~]# lfs getstripe /mnt/lustrefs/mirror2/file02
/mnt/lustrefs/mirror2/file02lcm_layout_gen: 3lcm_mirror_count: 2lcm_entry_count: 2lcme_id: 65537lcme_mirror_id: 1lcme_flags: initlcme_extent.e_start: 0lcme_extent.e_end: EOFlmm_stripe_count: 2lmm_stripe_size: 4194304lmm_pattern: raid0lmm_layout_gen: 0lmm_stripe_offset: 1lmm_pool: node91lmm_objects:- 0: { l_ost_idx: 1, l_fid: [0x100010000:0x87:0x0] }- 1: { l_ost_idx: 0, l_fid: [0x100000000:0x87:0x0] }lcme_id: 131074lcme_mirror_id: 2lcme_flags: init,stalelcme_extent.e_start: 0lcme_extent.e_end: EOFlmm_stripe_count: 2lmm_stripe_size: 4194304lmm_pattern: raid0lmm_layout_gen: 0lmm_stripe_offset: 3lmm_pool: node92lmm_objects:- 0: { l_ost_idx: 3, l_fid: [0x100030000:0x3a4:0x0] }- 1: { l_ost_idx: 2, l_fid: [0x100020000:0x3c4:0x0] }lcm_mirror_count镜像数量lcme_mirror_id镜像ID镜像唯一数字标识ID从1开始lcme_flags镜像组件标志有效标志有init、stale、prefer三种init表示镜像组件已完成初始化即已分配OST对象stale表示镜像组件没有最新的数据有此标志的镜像组件不会用于读写操作如需要同步到最新的镜像数据需执行lfs mirror resync执行镜像数据同步同步完成后可用于读写操作prefer表示优先使用该镜像组件用于读写操作该标志可在创建镜像时加--flagsprefer参数指定通常是为了加快读写访问速度而设置如镜像组件位于SSD上或者网络距离上离客户端距离更近等
3、扩展镜像文件
通用格式
lfs mirror extend扩展镜像文件 通过该命令可以追加创建由setstripe_options指定布局的镜像文件指定的文件必须为已存在的文件可以为非镜像文件或镜像文件如该文件为非镜像文件通过追加新的镜像文件可以使得该文件转变为镜像文件如单副本文件通过追加创建新的副本使其转变为二副本文件
lfs mirror extend {--mirror-count|-N}[mirror_count] [setstripe_options|-f victim_file] [--no-verify] ... filename–mirror-count|-N[mirror_count] 用于指定使用setstripe_options所创建的镜像数量该参数可重复多次使用指定不同镜像存在不同布局的存储池上 注mirror_count为可选参数当不指定时默认为1当指定时所设置参数值需紧挨着选项不留空格如-N2表示保留2个镜像文件setstripe_option 可选参数用于设置镜像的特定布局该参数等同于lfs setstripe命令设置可以为具有特定条带模式的简单布局或复合布局如渐进式文件布局Progressive File Layout(PFL)当该参数不指定时默认从上一个组件继承条带设置-f victim_file 可选参数该参数与setstripe_option参数不可同时设置当指定victim_file时该命令会从该文件拆除文件布局并作为镜像添加到已有文件当添加完成后对应victim_file会被删除–no-verify 可选参数当指定victim_file时会校验victim_file与已有文件内容是否一致当校验两者文件内容不一致时扩展镜像文件命令会执行失败 注文件很大情况下校验内容通常需要花费较多时间如果可以明确两者文件内容一致时可添加--no-verify跳过校验过程
示例说明
# 存在一个非镜像文件file01
[rootnode91 ~]# lfs getstripe /mnt/lustrefs/testdir/file01
/mnt/lustrefs/testdir/file01
lmm_stripe_count: 1
lmm_stripe_size: 1048576
lmm_pattern: raid0
lmm_layout_gen: 0
lmm_stripe_offset: 1
lmm_pool: node91obdidx objid objid group1 136 0x88 0
# 对file01追加创建新的镜像指定条带大小为4M条带数量为2存放存储池为node92
[rootnode91 ~]# lfs mirror extend -N -S 4M -c 2 -p node92 /mnt/lustrefs/testdir/file01
# 再次查看file01文件属性此时已转变为镜像文件存在两个镜像新增镜像与参数指定设置一致
[rootnode91 ~]# lfs getstripe /mnt/lustrefs/testdir/file01
/mnt/lustrefs/testdir/file01lcm_layout_gen: 2lcm_mirror_count: 2lcm_entry_count: 2lcme_id: 65537lcme_mirror_id: 1lcme_flags: initlcme_extent.e_start: 0lcme_extent.e_end: EOFlmm_stripe_count: 1lmm_stripe_size: 1048576lmm_pattern: raid0lmm_layout_gen: 0lmm_stripe_offset: 1lmm_pool: node91lmm_objects:- 0: { l_ost_idx: 1, l_fid: [0x100010000:0x88:0x0] }lcme_id: 131073lcme_mirror_id: 2lcme_flags: initlcme_extent.e_start: 0lcme_extent.e_end: EOFlmm_stripe_count: 2lmm_stripe_size: 4194304lmm_pattern: raid0lmm_layout_gen: 0lmm_stripe_offset: 2lmm_pool: node92lmm_objects:- 0: { l_ost_idx: 2, l_fid: [0x100020000:0x422:0x0] }- 1: { l_ost_idx: 3, l_fid: [0x100030000:0x3e2:0x0] }4、拆分镜像文件
通用格式
lfs mirror split拆分镜像文件 通过该命令可以从已有镜像文件中拆分出指定镜像可通过mirror id、component id、pool name任一方式指定镜像指定的文件必须为已存在的镜像文件当镜像文件拆分后只剩一个镜像时该文件将转变为非镜像文件
默认情况下拆分出指定ID的镜像会新建一个文件文件命名格式为mirrored_file.mirror~mirror_id当指定--destroy|-d参数时拆分出指定ID的镜像会自动删除不会另存为新文件当指定-f new_file参数时拆分出指定ID的镜像会新建一个文件文件命名格式为new_file
lfs mirror split --mirror-id mirror_id | --component-id|-I comp_id|-p pool [--destroy|-d] [-f new_file] mirrored file–mirror-id mirror_id用于指定需要拆分的镜像ID可通过lfs getstripe命令获取对应lcme_mirror_id参数值-I comp_id用于指定需要拆分的镜像组件ID可通过lfs getstripe命令获取对应lcme_id参数值-p 用于指定需要拆分的镜像存储池名称可通过lfs getstripe命令获取对应lmm_pool参数值-d表示拆分镜像不做保存直接删除-f new_file表示拆分镜像需要保存为新文件文件名称为new_filemirrored file表示需要拆分镜像的原文件路径
示例说明
# 创建有4个镜像的镜像文件file-replica4
lfs mirror create -N2 -p node91 -N2 -p node92 /mnt/lustrefs/file-replica4
# 从镜像文件file-replica4中拆分镜像ID为1的镜像镜像另存为新文件file-replica4.mirror~1
lfs mirror split --mirror-id 1 /mnt/lustrefs/file-replica4
# 从镜像文件file-replica4中拆分组件ID为131074的镜像镜像直接删除
lfs mirror split -I 131074 -d /mnt/lustrefs/file-replica4
# 从镜像文件file-replica4中拆分存储池名称为node92的镜像镜像另存为新文件file-new
lfs mirror split -p node92 -f /mnt/lustrefs/file-new /mnt/lustrefs/file-replica45、同步待同步镜像文件
通用格式
lfs mirror resync同步待同步镜像文件 FLR功能通过延迟写入实现当对进行镜像文件进行写入操作时只有主镜像当不指定prefer参数时通常是镜像ID为1的镜像会写入文件其余镜像标记为init,stale失效状态当文件写入完成后需要手动执行该命令来同步所有镜像数据当所有镜像数据完成同步之后所有镜像均标记为init正常状态
lfs mirror resync [--only mirror_id[,...]] mirrored file [mirrored file2...]–only mirror_id[,…]可选参数当不指定时表示同步所有镜像当指定mirror_id时表示只同步指定ID的镜像当存在多个mirror_id时用逗号,隔开mirrored file必选参数可以指定多个镜像文件进行数据同步操作
示例说明
# 对镜像文件file02执行同步镜像文件操作只同步ID为2的镜像数据
lfs mirror resync --only 2,3 /mnt/lustrefs/replica4/file02
# 对镜像文件file01、file02执行同步镜像文件操作同步所有镜像数据
lfs mirror resync /mnt/lustrefs/replica4/file01 /mnt/lustrefs/replica4/file026、校验已同步镜像文件
通用格式
lfs mirror verify校验已同步镜像文件 当镜像文件完成同步数据操作之后所有镜像都是最新的数据但随着时间流逝可能会出现某一个镜像数据损坏情况故需要定期手动执行该命令校验所有已同步镜像文件所有镜像是否一致 注当校验出现镜像数据不一致时通常需要管理员检查每个镜像文件内容并决定哪一个是正确的随后调用lfs mirror resync命令进行手动修复
lfs mirror verify [--only mirror_id,mirror_id2[,...]] [--verbose|-v] mirrored_file [mirrored_file2 ...]–only mirror_id[,…]可选参数当不指定时默认校验所有镜像数据是否一致当指定多个mirror_id时校验指定镜像之间数据是否一致至少需要指定两个mirror_id使用该参数时不可指定多个镜像文件同时校验–verbose|-v可选参数用于数据不匹配时显示哪些地方出现异常当不指定时只有校验出现异常才会返回错误信息如校验一致则不返回任何信息当指定时可以输出更多信息用于定位可指定多次比如-v、-vv等
7、查找镜像文件
通用格式
lfs find查找镜像文件 lfs find命令用于查找包含指定属性的文件或目录涉及镜像文件相关属性有以下几个参数
lfs find directory|filename [[!] --mirror-count|-N [-]n] [[!] --mirror-state [^]state] [--type|-t filetype][!] --mirror-count|-N [±] 用于表示镜像数量数值前的[-]用于表示范围 -N n表示大于n的范围如-N 2表示查找大于两个镜像的镜像文件 -N -n表示小于n的范围如-N -2表示查找小于两个镜像的镜像文件 -N n表示等于n的范围如-N 2表示查找等于两个镜像的镜像文件 参数前的[!]用于表示否定条件如! -N 2表示查找不等于两个镜像的镜像文件即包括小于两个镜像和大于两个镜像的镜像文件 [!] --mirror-state [^]state 用于表示镜像状态可选参数值有ro、wp、sp只能指定一种状态如果使用^state则仅输出不匹配状态的文件 ro只读状态表示所有镜像均包含了最新的数据即已同步的镜像文件 wp写入状态 sp重新同步状态 –type|-t filetype 用于表示文件类型可选参数有f、d当指定-t f时表示只匹配文件当指定-t d时表示只匹配目录
示例说明
# 只查找镜像数量≥2的镜像文件
lfs find /mnt/lustrefs/ ! -N -2 -t f
# 只查找待同步的镜像文件
lfs find /mnt/lustrefs --mirror-state ^ro
