做网站栏目是什么意思,网站引导页设计,浙江省建设教育考试中心网站,做微商进哪个网站安全吗今天主要是对开发过程#xff0c;以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结。希望对想要自建分布式文件系统的朋友有所帮助。什么是FastDFS这里先简单介绍下分布式文件存储系统。FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要…今天主要是对开发过程以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程做个总结。希望对想要自建分布式文件系统的朋友有所帮助。什么是FastDFS这里先简单介绍下分布式文件存储系统。FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括文件存储文件同步和文件访问以及高容量和负载平衡。主要解决了海量数据存储问题特别适合以中小文件(建议范围4KB file_size 500MB)为载体的在线服务。FastDFS 系统有三个角色跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。 Tracker Server跟踪服务器主要做调度工作起到均衡的作用负责管理所有的 storage server和 group每个 storage 在启动后会连接 Tracker告知自己所属 group 等信息并保持周期性心跳。 Storage Server存储服务器主要提供容量和备份服务以 group 为单位每个 group 内可以有多台 storage server数据互为备份。 Client客户端上传下载数据的服务器也就是我们自己的项目所部署在的服务器。FastDFS开源地址https://github.com/happyfish100FastDFS的单机版安装这里先简单介绍下单机版的安装跟着做你也可以从0还是搭建一个单机版的FastDFS。集群版也是在单机版基础上安装的。第一步 安装相关工具如果已经安装和wget可以跳过这一步yum -y install vim wget unzip-y不经过询问直接同意所有操作vimlinux上面一个比较好用的文本编辑软件wgetlinux上文件下载工具第二步 安装相关依赖yum install -y gcc-c perl第三步 安装libfastcommon大家可以直接到github上面先找到ibfastcommon。这里为了大家方便查找。我已经把把链接给大家整理好了libfastcommon这里大家可以先下载到本地然后再传至服务器上面。这里我使用的是FinalShell。具体操作就不在这里详细说了。这里目录为/root/fastdfs/下载下来的是zip格式压缩包然后我们解压zipunzip libfastcommon-master.zip进入到刚刚解压的文件里面cd libfastcommon-master/进行编译安装./make.sh ./make.sh installshell./make.sh ./make.sh install#### 第五步 修改配置文件切换到配置文件目录下shellcd /etc/fdfs/查看所有配置文件使用ls命令就行了去除所有的.sample后缀cp client.conf.sample client.confcp storage.conf.sample storage.confcp storage_ids.conf.sample storage_ids.confcp tracker.conf.sample tracker.conf我们再次使用ls命令查看可以看到我们已经去除了所有的.sample后缀下一步创建文件夹分别创建clientstoragetracker文件夹mkdir -p /home/software/fastfdfs/data/clientmkdir -p /home/software/fastfdfs/data/storagemkdir -p /home/software/fastfdfs/data/trackerclient.config配置下面我们开始配置文件修改首先修改的是clietn.conf,使用vim编辑器进行文件的编辑vim client.conf使用 :set number 显示行数修改第11行确定日志文件的存储路径这里用我们刚刚创建client文件夹路径base_path /home/software/fastdfs/data/client修改第22 行tracker的地址与端口根据实际情况进行修改我的是192.168.1.14。这里貌似有两个tracker_server,毕竟是单机版部署因此我这里注释了一个tracker_server 192.168.1.14:22122修改号之后记得保存修改storage.conf修改下面我们修改storage.conf。同上是用vim进行修改首先我们修改下11行的分组设置group_name group1接下来修改49行的基础路径这里也用上面我们已经创建的路径base_path /home/software/fastdfs/data/storage修改第129行的storage路径。store_path0 /home/software/fastdfs/data/storage注意这里提示下存储路径的顺序很重要不要弄乱了基础路径应该独立于存储路径即尽量让这两个路径不一样。这里我设置了一样修改第145行 配置tracker的IP地址与端口。至于如何填写这个地址上面配置client.conf的时候我们就已经说过了。tracker_server 192.168.1.14:22122tracker.conf 配置现在修改tracker.conf文件修改第23行修改tracker的基础路径。这个路径的文件夹我们刚刚在上面已经创建过了base_path /home/software/fastdfs/data/tracker修改第57行 归属组设置store_group group1第六步 启动tracker 与storage启动trackerfdfs_trackerd /etc/fdfs/tracker.conf start启动storagefdfs_storaged /etc/fdfs/storage.conf start测试是否启动成功我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg如上图所示表示上传成功。第七步 安装nginx访问图片这里由于服务器已经安装了nginx因此需要在现有的nginx的版本基础上安装新的fastdfs的模块。安装方法可能略有不同首先查看下nginx的版本nginx -V这里需要注意一下如果你服务器上没有安装过nginx则需要先安装nginx的依赖然后再进行安装yum -y install gcc-c zlib-devel pcre-devel如下图所示因此我们需要下载对应版本的源码wget http://nginx.org/download/nginx-1.16.1.tar.gz解压安装包tar zxvf nginx-1.14.0.tar.gz下载nginx的fastdfs模块这里我已经帮大家把这个项目github地址整理好了。astdfs-nginx-module这这里我们可以先下载到自己电脑上再上传服务器。进行解压unzip fastdfs-nginx-module-master.zip这里由于我们已经安装了nginx因此需要备份之前的nginx防止出现问题进行还原mv /usr/sbin/nginx /usr/sbin/nginx.backcp -rf /etc/nginx/ /etc/nginx.back切换到nginx压缩包的解压目录里面去cd nginx-1.16.1进行配置检测并且添加模块./configure --prefix/etc/nginx/ --sbin-path/usr/sbin/nginx --add-module/root/fastdfs/fastdfs-nginx-module-master/src/--prefix : nginx的安装目录--add-module解压后模块所在目录记得要加上src执行如下命令进行nginx的重新编译,如果之前已经安装了nginx则不能执行install否则会覆盖之前的配置文件,也可以在安装后再把之前的配置覆盖过来。make make install拷贝编译后的nginx到原来的安装目录cp objs/nginx /usr/sbin/nginx重启nginxsystemctl restart nginx//第二种方式nginx -s reload//第一次安装,直接输入nginxnginx切换至fastdfs的解压包里面去cd /root/fastfdfs/fastdfs-master进行文件的复制cp conf/http.conf /etc/fdfs/cp conf/mime.types /etc/fdfs/切换至fastdfs-nginx-module的解压目录下面cd /root/fastdfs/fastdfs-nginx-module-master进行配置文件的复制cp src/mod_fastdfs.conf /etc/fdfs/mod_fastdfs.conf配置修改/etc/fdfs下面的mod_fastdfs.conf配置文件vim /etc/fdfs/mod_fastdfs.conf修改 40行更改tracker的ip地址与端口tracker_server192.168.1.14:22122修改48行的group_name修改53行 url地址中是否包含组名如果链接中包含group则需要设置为trueurl_have_group_name true修改62行 storage所在目录store_path0/home/software/fastdfs/data/storage保存修改。nginx修改这里注意每个笨的配置文件存储的方式不同此步骤可能有所不同。进行nginx配置文件的修改我们可以切换到nginx的安装目录下面。也可以直接输入如下命令注意这里我的nginx版本为1.16.1配置文件为conf.d下面的所有的*.conf文件。因此我的输入命令如下vim /etc/nginx/conf.d/default.conf 进行nginx.conf的修改如下图所示 server { listen 8888; server_name 192.168.1.93; location ~/group([0-9])/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; } }多个group的配置当配置多个组且mod_fastdfs.conf 里面指定了url_have_group_name true 时配置方式:location ~ /group([0-9]) /M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module;}比如:在group1上的 nginx 的nginx.conf 配置是location /group1/M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module;}比如:在group2上的 nginx 的nginx.conf 配置是location /group2/M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module;}查看nginx的配置文件是否有效nginx -t显示 is ok没有任何问题现在启动nginx。这里我配置为开机自动启动systemctl restart nginx// 第二种方式nginx -s reload依照上面的方式我们重新上传一张图片。并进行访问测试是否启动成功我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg上传成功访问下面的地址路径说明group1表示这张图片被保存在了哪个组当中M00代表磁盘目录如果电脑只有一个磁盘那就只有M00 如果有多个磁盘那就M01、M02...等等。00/00代表磁盘上的两级目录每级目录下是从00到FF共256个文件夹两级就是256*256个。wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存储到storage上的test.jpeg被重命名的名字这样做的目的是为了防止图片名字重复。我们到单机版的数据目录下查看一下是否有我们刚才上传的图片发现是有的返回的图片信息中明确说明了存储在了group1下面。FastDFS集群版的安装这里集群版的安装是在单机版的基础上安装的。机器准备安装步骤软件准备在所有服务器上创建如下目录用来存储需要安装的软件包mkdir -p ~/fastdfs/在tracker1上下载所需要的软件安装包并放在如下目录下~/fastdfs/查看如下所示进入对应的文件夹并拷贝对应的文件到其他几台服务器上scp ./* root192.168.1.15:~/fastdfs/scp ./* root192.168.1.16:~/fastdfs/scp ./* root192.168.1.93:~/fastdfs/scp ./* root192.168.1.197:~/fastdfs/在storage服务器及tracker服务器都创建如下的文件夹用来存放fastdfs的数据及日志文件mkdir -p /home/software/fastfdfs/clientmkdir -p /home/software/fastfdfs/storagemkdir -p /home/software/fastfdfs/tracker在所有服务器上执行·如下命令安装相关工具yum -y install vim wget unzip在所有sotrage及tracker服务器上执行如下命令安装相关依赖yum install -y gcc-c perl安装这些操作需要在所有storage及tracker服务器上都进行操作storage及tracker服务器安装libfastcommon在需要安装fastdfs的storage及tracker服务器上安装libfastcommon这里我们进入安装文件目录~/fastdfs/执行如下命令解压并编译安装unzip libfastcommon-master.zipcd libfastcommon-master/./make.sh ./make.sh install出现如下图所示则表示安装成功storage及tracker服务器安装fastdfs在需要安装fastdfs的storage及tracker服务器上安装fastdfs这里我们进入安装文件目录~/fastdfs/执行如下命令解压并编译安装unzip fastdfs-master.zipcd fastdfs-master/./make.sh ./make.sh installcp conf/http.conf /etc/fdfs/cp conf/mime.types /etc/fdfs/进行文件的复制cp conf/http.conf /etc/fdfs/cp conf/mime.types /etc/fdfs/修改配置文件切换到配置文件目录并执行如下命令去除所有的.sample后缀cd /etc/fdfs/cp client.conf.sample client.confcp storage.conf.sample storage.confcp storage_ids.conf.sample storage_ids.confcp tracker.conf.sample tracker.conf修改client.config配置需要测试的时候才需要配置此client.conf配置vim client.conf修改内容如下11 base_path /home/software/fastdfs/client22 tracker_server 192.168.1.14:22122vim修改storage.conf 修改内容如下11 group_name group149 base_path /home/software/fastdfs/storage129 /home/software/fastdfs/data/storage145 tracker_server 192.168.1.14:22122vim修改tracker.conf配置这里只有tracker服务器才需要配置此配置及 14跟16修改内容如下23 base_path /home/software/fastdfs/tracker57 store_group group1安装nginx只有sotrage服务器及vip服务器需要安装nginx用来提供文件的访问在安装nginx前需要安装相关的依赖并下载对应的源码执行如下命令。此文件也保存到文件安装目录yum -y install gcc-c zlib-devel pcre-develwget http://nginx.org/download/nginx-1.16.1.tar.gztar zxvf nginx-1.14.0.tar.gz解压nginx的fastdfs模块,并进入到文件夹下进行配置文件的复制nginx的fastdfs模块在所有storage服务器上进行安装unzip fastdfs-nginx-module-master.zipcd ~/fastdfs/fastdfs-nginx-module-mastercp src/mod_fastdfs.conf /etc/fdfs/进入到nginx源码目录进行配置检测并添加对应的fastdfs模块。然后进行nginx的安装./configure --prefix/etc/nginx/ --sbin-path/usr/sbin/nginx --add-module/root/fastdfs/fastdfs-nginx-module-master/src/make make install#如有需要可以拷贝nginx到sbin目录cp objs/nginx /usr/sbin/nginxmod_fastdfs.conf配置vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件40 tracker_server192.168.1.14:2212248 group_namegroup153 url_have_group_name true62 store_path0/home/software/fastdfs/storagenginx配置修改只有sotrage服务器及vip服务器需要安装group1的服务器需要新增如下server配置root路径为storage的data路径 server { listen 8888; server_name 192.168.1.93; location /group1/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/storage/data; ngx_fastdfs_module; } }group2的服务器上新增如下server配置root路径为storage的data路径 server { listen 8888; server_name 192.168.1.93; location /group2/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/storage/data; ngx_fastdfs_module; } }vip服务器的nginx配置如下#设置 group1 的服务器upstream fdfs_group1 { server 192.168.1.14:8888 weight1 max_fails2 fail_timeout30s; server 192.168.1.15:8888 weight1 max_fails2 fail_timeout30s;}#设置 group2 的服务器upstream fdfs_group2 { server 192.168.1.16:8888 weight1 max_fails2 fail_timeout30s; server 192.168.1.93:8888 weight1 max_fails2 fail_timeout30s;}server { listen 80; server_name 192.168.1.197; #charset koi8-r; #access_log /var/log/nginx/host.access.log main;#设置默认路径 location / { root html; index index.html index.htm; }#设置 group 的负载均衡参数 location /group1/M00 { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_pass http://fdfs_group1; } location /group2/M00 { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_pass http://fdfs_group2; }}查看nginx的配置文件是否有效nginx -t显示 is ok没有任何问题现在启动nginx。这里我配置为开机自动启动# 服务形式的nginx重启方式systemctl restart nginx//第二种方式nginx -s reload//第一次安装,直接输入nginxnginx依照上面的方式我们重新上传一张图片。并进行访问测试是否启动成功我们尝试上传文件。我的root文件夹下有一张图片fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg上传成功访问下面的地址asp.net core操作FastDFS这里的微服务是基于abp vnext的。只是在应用层进行相关的服务开发。这里需要说明下这里我是使用工厂模式根据配置来创建对应的文件操作提供者进而对对应的文件服务器上的文件进行操作的。这里我只摘录FastDFS相关的代码供大家参考。第一步 安装对应的nuget包这里我用的是更新时间相对比较近下载量相对比较多的作者的nuget包Install-Package FastDFSNetCore -Version 1.2.5第二步编写一个FastDFSProvider具体的代码如下所示 /// /// 功能介绍:FastDFS提供者 /// 作者:lzhu /// 创建日期:2020/4/23 19:54:35 /// public class FastDFSProvider : IStorageProvider, ITransientDependency { /// /// 提供程序名称 /// public string ProviderName FastDFS; //配置 private readonly FastDFSConfig _fastDFSConfig; /// /// 构造函数 /// /// 注入配置数据 public FastDFSProvider(FastDFSConfig fastDFSConfig) { _fastDFSConfig fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig)); string[] trackers fastDFSConfig.Trackers.Split(,, StringSplitOptions.RemoveEmptyEntries); var trackerIPs new List(); foreach (var onetracker in trackers) { trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port)); } ConnectionManager.Initialize(trackerIPs); } /// /// 通过文件名删除对应的文件 /// /// 对象名称 /// 分组名称 /// 是否成功 public async Task DeleteObjectByNameAsync(string objectName, string groupName ) { RestoreFileName(objectName, out string fileName, out groupName); await FastDFSClient.RemoveFileAsync(groupName, fileName); return true; } /// /// 获取网关连接 /// /// 网关连接 public Task GetGateWayUrl() Task.FromResult(_fastDFSConfig.GateWayUrl); /// /// 获取对象二进制数组 /// /// 组名称 /// 对象名称 /// 对象的二进制数组 public async Task GetObjectByteAsync(string objectName, string groupName ) { RestoreFileName(objectName, out string fileName, out groupName); var storageNode await GetStorageNodeAsync(groupName); return await FastDFSClient.DownloadFileAsync(storageNode, fileName); } /// /// 获取对象流 /// /// 组名称 /// 对象名称 /// 对象流 public async Task GetObjectStreamAsync(string objectName, string groupName ) { RestoreFileName(objectName, out string fileName, out groupName); var storageNode await GetStorageNodeAsync(groupName); FDFSFileInfo fileInfo await FastDFSClient.GetFileInfoAsync(storageNode, fileName); Stream stream new MemoryStream(); int limit 1024 * 100;//每次获取100KB的数据 //如果文件大小大于100KB 分次写入 if (fileInfo.FileSize limit) { long offset 0; long len limit; while (len 0) { byte[] buffer await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len); stream.Write(buffer, 0, int.Parse(len.ToString())); stream.Flush(); offset len; len (fileInfo.FileSize - offset) limit ? limit : (fileInfo.FileSize - offset); } } else { //如果文件大小小小于100KB 直接写入文件 byte[] buffer await FastDFSClient.DownloadFileAsync(storageNode, fileName); stream.Write(buffer, 0, buffer.Length); stream.Flush(); } stream.Seek(0, SeekOrigin.Begin); return stream; } /// /// 存储文件 /// /// 对象 /// 对象名 /// 分组 /// public async Task StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName ) { var storageNode await GetStorageNodeAsync(); var filePath await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName)); return storageNode.GroupName / filePath; } /// /// 存储文件 /// /// 文件流 /// 对象名 /// 分组 /// 文件路径 public async Task StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName ) { var storageNode await GetStorageNodeAsync(); var filePath await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName)); return storageNode.GroupName / filePath; } }第三步 在分布式配置中心中进行配置这里的分布式配置中心中进行FastDFS的配置如下ObjectStorage: { StoreType: FastDFS, FastDFS: { Trackers: 192.168.1.14,192.168.1.16, Port: 22122, GateWayUrl: http://192.168.1.197 } }第四步 文件提供者工厂方法中加入FastDFS的处理工厂方法根据上面配置中的StoreType从而知道对应的存储是往FastDFS集群进行存储的进而再加载对应的FastDFS的配置然后创建上面的FastDFSProvider。主要代码摘录如下 case RondsDFS: { var rondsDFSSection _configuration.GetSection(ObjectStorage:RondsDFS); if (rondsDFSSection null) throw new ArgumentNullException(RondsDFS is not configured![OObjectStorage:RondsDFS]); StorageProvider _serviceProvider.GetRequiredService(); break; }总结今天首先给大家讲解了如何搭建FastDFS单机版及集群版然后讲解了如何通过asp.net core对FastDFS进行操作。当然由于我的文件系统对应多个文件存储程序因此这里只是把FastDFS作为其中一个提供者进行处理。大伙可以只参考其中的操作方法即可。本来想录个视频的毕竟安装过程稍显复杂奈何机器不允许Pass了
