电子商城网站开发教程,服务主机网络服务,成年人正能量入口,济南网站建设系统介绍服务一、GFS的概念 文件存储分为nfs、lvm、raid 对象存储分为GFS、CEPH、fastDFS#xff08;分布式文件存储#xff09;NAS OSS S3 switch
OSS 属于阿里云 通过URL 链接 S3属于亚马逊通过URL链接
1.1 GFS简介 开源的分布式文件系统#xff0c;由存储服务器、客户端…一、GFS的概念 文件存储分为nfs、lvm、raid 对象存储分为GFS、CEPH、fastDFS分布式文件存储NAS OSS S3 switch
OSS 属于阿里云 通过URL 链接 S3属于亚马逊通过URL链接
1.1 GFS简介 开源的分布式文件系统由存储服务器、客户端以及NFS/Samba存储网关组成无原数据服务器 具有扩展性和高性能高可用性有冗余、容灾全局统一命名空间弹性卷管理基于标准协议通过多和互联网的存储节点进行冗余以确保数据的可用性和一致性
1.2 GFS的组成
① 存储服务器
② 客户端NFS/Samba存储网关 组成
③ 五元数据服务器保存数据的地方
二、GFS特点
2.1扩展性和高可用性 允许通过简单地增加存储节点的方式来提高存储容量和性能(磁盘、计算和I/O资源都可以独立增加)。改善了单点故障和性能瓶颈真正实现了并行化数据访问。GlusterFS采用弹性哈希算法在存储池中可以智能地定位任意数据分片(将数据分片存储在不同节点上)不需要查看索引或者向元数据服务器查询。 GFS可以对文件进行自动复制如镜像或多次复制从而确保数据总是可以访问甚至是在硬件故障的情况下也能正常访问当数据出现不一致时自我修复功能能够把数据恢复到正确的状态数据的修复是以增量的方式在后台执行几乎不会产生性能负载。G可以支持所有的存储因为它没有设计自己的私有数据文件格式而是采用操作系统中主流标准的磁盘文件系统(如EXT3、XFS等)来存储文件因此数据可以使用传统访问磁盘的方式被访问。
2.2 全局统一命名空间 分布式存储中将所有节点的命名空间整合为统一命名空间将整个系统的所有节点的存储容量组成一个大的虛拟存储池供前端主机访问这些节点完成数据读写操作。
2.3 弹性卷管理 逻辑存储池可以在线进行增加和移除不会导致业务中断。逻辑卷可以根据需求在线增长和缩减并可以在多个节点中实现负载均衡。 文件系统配置也可以实时在线进行更改并应用从而可以适应工作负载条件变化或在线性能调优。
2.4 基于一个标准协议 存储服务支持NFS、CIFS、HTTP、FTP、SMB 及Gluster原生协议完全与POSIX标准(可移植操作系统接口)兼容。 现有应用程序不需要做任何修改就可以对Gluster中的数据进行访问也可以使用专用API进行访问。
三、GFS专业术语 Brick块存储服务器实际存储用户数据的服务器 Volume逻辑卷本地文件系统的分区 FUSE用户空间的文件系统类别EXT4”这是一个伪文件系统“用户端的交换模块 VFS虚拟端口内核态的虚拟文件系统用户是提交请求给VFS 然后VFS交给FUSH再交给GFS客户端最后由客户端交给远端的存储 Glusterd服务是运行再存储节点的进程客户端运行的是gluster clientGFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成。 使用GFS会使用到以上的虚拟文件系统
四、GFS工作原理 GlusterFS 的工作流程 1客户端或应用程序通过 GlusterFS 的挂载点访问数据。 2linux系统内核通过 VFS API 收到请求并处理。 3VFS 将数据交给 FUSE 内核文件系统而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。 4GlusterFS client 收到数据后根据配置文件的配置对数据进行处理。 5经过 GlusterFS client 处理后通过网络将数据传递至远端的 GlusterFS Server并且将数据写入到服务器存储设备上。 1.外来一个请求例用户端申请创建一个文件客户端或应用程序通过GFS的挂载点访问数据 2.linux系统内容通过VFSAPI收到请求并处理 3.VFS将数据递交给FUSE内核文件系统fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端 4.GlusterFS client端收到数据后会根据配置文件的配置对数据进行处理 5.再通过网络将数据发送给远端的ClusterFS server并将数据写入到服务器储存设备上 6.server再将数据转交给VFS伪文件系统再由VFS进行转存处理最后交给EXT3
五、GFS卷的类型 七个卷
5.1 分布式卷Distribute volume 文件通过HASH算法分布到所有Brick Server上这种卷是GlusterFS的默认卷;以文件为单位根据HASH算法散列到不同的Brick其实只是扩大了磁盘空间如果有一块磁盘损坏数据也将丢失属于文件级的RAID0不具有容错能力。 在该模式下并没有对文件进行分块处理文件直接存储在某个Server节点上。 由于直接使用本地文件系统进行文件存储所以存取效率并没有提高反而会因为网络通信的原因而有所降低。
分布式卷具有如下特点: 1.文件分布在不同的服务器不具备冗余性。 2.更容易和廉价地扩展卷的大小。 3.单点故障会造成数据丢失。 4.依赖底层的数据保护。 6.2 条带卷Stripe volume 类似RAID0文件被分成数据块并以轮询的方式分布到多个Brick Server上文件存储以数据块为单位支持大文件存储文件越大读取效率越高但是不具备冗余性。
条带卷特点: 数据被分割成更小块分布到块服务器群中的不同条带区。 分布减少了负载且更小的文件加速了存取的速度。 没有数据冗余。 6.3 复制卷Replica volume 将文件同步到多个Brick上使其具备多个文件副本属于文件级RAID 1具有容错能力。因为数据分散在多个Brick中所以读性能得到很大提升但写性能下降。 复制卷具备冗余性即使一个节点损坏也不影响数据的正常使用。但因为要保存副本所以磁盘利用率较低。
复制卷特点: 1.卷中所有的服务器均保存一个完整的副本。 2.卷的副本数量可由客户创建的时候决定但复制数必须等于卷中Brick所包含的存储服务器数。 3.至少由两个块服务器或更多服务器。 4.具备冗余性。
6.4 分布式条带卷Distribute Stripe volume BrickServer数量是条带数(数据块分布的Brick数量)的倍数兼具分布式卷和条带卷的特点。 主要用于大文件访问处理创建一个分布式条带卷最少需要4台服务器。 创建一个名为dis-stripe的分布式条带卷配置分布式的条带卷时卷中Brick所包含的存储服务器数必须是条带数的倍数(2倍)。Brick的数量是4 (Server1:/dir1、Server2:/dir2、Server3:/dir3和Server4:/dir4)条带数为2(stripe 2) 创建卷时存储服务器的数量如果等于条带或复制数那么创建的是条带卷或者复制卷:如果存储服务器的数量是条带或复制数的2倍甚至更多那么将创建的是分布式条带卷或分布式复制卷。
6.5 分布式复制卷Distribute Replica volume Brick Server数量是镜像数(数据副本数量)的倍数兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下。 创建一个名为dis-rep的分布式复制卷配置分布式的复制卷时卷中Brick所包含的存储服务器数必须是复制数的倍数(2倍)。Brick的数量是4 (Server1:/dir1、Server2:/dir2、Server3:/dir3 和Server4:/dir4)复制数为2(replica 2)
6.6 条带复制卷Stripe Replca volume 类似RAID10同时具有条带卷和复制卷的特点。
6.7 分布式条带复制卷Distribute Stripe Replicavolume
三种基本卷的复合卷通常用于类Map Reduce应用。
六、GFS部署
