苏州网站建设方案外包,重庆网站排名优化,教育网站平台建设,哪个网站找到做箱包厂外发的淘宝分布式文件存储系统( 三 ) -TFS
目录 :
文件重新映射的接口介绍文件映射 mmap_file.cpp的实现进行测试
文件重新映射 (增加 或者 减少 文件映射区域的大小)
mremap() 函数的原型如下
#include sys/mman.h
void *mremap( void * old_address , size_…淘宝分布式文件存储系统( 三 ) -TFS
目录 :
文件重新映射的接口介绍文件映射 mmap_file.cpp的实现进行测试
文件重新映射 (增加 或者 减少 文件映射区域的大小)
mremap() 函数的原型如下
#include sys/mman.h
void *mremap( void * old_address , size_t old_size , size_t new_size , int flags );
参数说明
old_address指向原映射区域的起始地址。old_size原映射区域的大小以字节为单位。new_size新映射区域的大小以字节为单位。flags标志参数用于指定映射操作的行为。常用的标志是 MREMAP_MAYMOVE表示允许系统将映射区域移动到新的位置。
返回值 :
成功时返回新映射区域的起始地址。失败时返回 MAP_FAILED并设置 errno 错误码来指示具体错误。 注意 : 在使用 mremap() 函数前需要通过 mmap() 函数创建原始的内存映射区域并确保该内存映射区域是有效的。另外mremap() 函数只能用于修改已存在的内存映射区域无法在不同的文件描述符之间创建新的映射。
文件映射 mmap_file.cpp的实现 :
#includemmap_file.h
#includestdio.hint static Debug1 ; namespace qiniu
{namespace largefile{//构造函数MMapFile::MMapFile():size_(0),fd_(-1),data_(NULL){}MMapFile::MMapFile(const int fd):size_(0),fd_(fd),data_(NULL){}MMapFile::MMapFile(const MMapOption mmp_option, const int fd):size_(0),fd_(fd),data_(0){mmap_file_option_.max_mmap_size_mmp_option.max_mmap_size_;mmap_file_option_.frist_mmap_size_mmp_option.frist_mmap_size_;mmap_file_option_.pri_mmap_size_mmp_option.pri_mmap_size_;}//析构函数MMapFile::~MMapFile(){if(data_){ //映射内容不为空,说明映射成功if(Debug) printf(file information size : %d ,fd : %d , data : %p\n,size_,fd_,data_);msync(data_, size_, MS_SYNC); //当我们的数据发生改变,同步信号,更新完成后一起返回//解除文件映射munmap(data_ , size_ );size_0;fd_-1;data_NULL;mmap_file_option_.max_mmap_size_0;mmap_file_option_.frist_mmap_size_0;mmap_file_option_.pri_mmap_size_0;}}//同步文件 bool MMapFile::sync_file() {if(data_!NULL size_0){ //如果data_为空,或者 映射的大小0 ,则说明没有映射if( msync(data_ , size_ , MS_SYNC)0){ //同步失败fprintf( stderr, file sync falied %s \n, strerror(errno));return false;}return true;}return false;}//文件映射 bool MMapFile::map_file(const bool write) {int flagsPROT_READ;if(write){flags | PROT_WRITE; //同时设置为可读}if(fd_ 0){ return false ;}if(size_ mmap_file_option_.max_mmap_size_){ //如果初始化的大小,比我们设定的最大的映射大小还要大size_mmap_file_option_.max_mmap_size_; }if(size_ mmap_file_option_.frist_mmap_size_){ //如果size_ 的大小,小于我们第一次分配的大小size_mmap_file_option_.frist_mmap_size_ ;}if(!ensure_flie_size(size_)){ //调整大小fprintf(stderr , ensure_flie_size falied: %d\n, size_);return false;}data_mmap(NULL, size_ , flags, MAP_SHARED , fd_ , 0); //文件映射if( MAP_FAILEDdata_ ){ //内存映射失败,返回 MAP_FAILEDfprintf(stderr, file failed :%s\n,strerror(errno));fd_-1;data_NULL;size_0;return false;}if(Debug){printf(file map succeed : size_ : %d ,fd : %d , data : %p\n,size_,fd_,data_);}return true;}//获取映射内存的首地址 void* MMapFile::get_data()const{return data_; //返回映射内存的起始地址}//获取映射内存的大小 int32_t MMapFile::get_size()const{return size_; //返回映射内存的大小}bool MMapFile::munmap_file() {if(munmap(data_ , size_)-1){ //解除文件映射失败fprintf(stderr , remove file map falied :%s \n,strerror(errno));return false;}return true;}//解除映射 bool MMapFile::ensure_flie_size(const int32_t size){struct stat s; //存放文件状态(这个是系统提供的)if(fstat(fd_ , s) 0 ){ //获取文件状态fprintf(stderr , fstat falied :%s \n,strerror(errno));return false;}if(s.st_sizesize){ //设置文件大小int resftruncate(fd_ , size); //对大小进行调整 if(res0){ //在 linux系统中,大多数情况返回值0 表示失败fprintf(stderr , resize failed :%s \n,strerror(errno));return false;}}return true;}/*重新执行映射 (追加减少内存)mremap()*///重新映射bool MMapFile::remap_file() { //防御性编程if(data_NULL || size_0 || fd_ 0){//判断是否存在映射区域fprintf(stderr, not map file\n);return false;}if(size_mmap_file_option_.max_mmap_size_){//当前映射区域的大小,已经达到我们设置的最大值fprintf(stderr,size is already max\n);return false;}int32_t new_sizesize_mmap_file_option_.pri_mmap_size_; //新的映射区域的大小if(new_sizemmap_file_option_.max_mmap_size_){//如果新的大小大于我们的最大值new_sizemmap_file_option_.max_mmap_size_;}//调整文件大小if(!ensure_flie_size(new_size)){ //调整大小fprintf(stderr , ensure_flie_size falied: %d\n, size_);return false;}if(Debug) printf(file map succeed : %d ,fd : %d , data : %p\n,size_,fd_,data_);//最后进行重新映射void *new_datamremap(data_ , size_ , size_ mmap_file_option_.pri_mmap_size_,MREMAP_MAYMOVE);//调整映射区域if(new_dataMAP_FAILED){fprintf(stderr , remap_file failed :%s \n,strerror(errno));return false;}//赋值data_new_data;size_new_size;return true;}}
}补充 这里呢,给大家分享一些方法,当我们在写一些大型项目的时候,我们一般会将标准化的头文件,函数调用需要的头文件,放到一个 .h的文件中,我这里演示的也是这样操作的 :
#ifndef _COMMON_H_
#define _COMMON_H_#includeiostream
#includefcntl.h
#includesys/stat.h
#includestring
#includesys/types.h
#includestdint.h
#include errno.h
#includestring.h
#includestdio.h
#include error.h
#includesys/mman.h#endif /*_COMMON_H_*/ //这样注释起来更加清晰 , 因为我们可能不止包含一个技巧提示 如果不知道,我们所写的函数需要什么头文件 ,可以这样操作 man APi
演示 : man mmap
对代码的可行性进行测试 :
提示: 整个测试我们需要综合我的上一篇内容, 结合 mmap_file.h 头文件一起 .
#includemmap_file.h
#includecommon.husing namespace std;
using namespace qiniu;static const mode_t OPEN_MODE0644; //文件的权限
const static largefile::MMapOption mmp_option{10240000,4096 ,4096}; //设置内存映射参数int open_file(string file_name, int open_flags)
{ //OPEN_MODE 如果文件不存在则创建int fdopen( file_name.c_str(), open_flags, OPEN_MODE); //成功返回值一定0if( fd0 ){return -errno;}return fd;
}int main(){const char* file_name./mapfile_test.txt;//打开一个文件,获取文件的句柄int fdopen_file(file_name , O_RDWR | O_CREAT | O_LARGEFILE );if( fd 0 ){ //返回的文件句柄不合法fprintf(stderr , open file failed : %s error desc : %s\n,file_name , strerror(-fd));return -1;}printf(%d\n,fd);largefile::MMapFile *map_filenew largefile::MMapFile(mmp_option,fd);bool is_mmapmap_file-map_file(true); //文件映射到内存//printf(文件映射的起始地址: %p\n, map_file-get_data());//printf(映射内存的大小 : %d\n, map_file-get_size());printf( is_mmap: %d\n,is_mmap);if(is_mmap){memset(map_file-get_data(),8,map_file-get_size()); //将映射的内存全部置为8map_file-sync_file(); //同步文件//解除映射map_file-munmap_file();}else{fprintf(stderr,map file failed \n);}close(fd); return 0;
}
测试结果:
size: 文件映射到内存的大小。
data: 文件映射到内存的起始地址。
fd: 文件的句柄。 对测试结果进行说明
测试程序成功将文件映射到内存然后将文件映射到内存的起始地址、映射的大小、文件的句柄打印了出来。当我们对文件mapfile_test.txt进行查看的时候文件的内容全是8说明映射内存的改变会同时导致我们源文件的改变(t同步的当然我们也可以对其进行设置文件只是共享映射内存改变不会影响到我们的源文件)。文件映射大概就是这样 , 后续我会给大家介绍 文件映射操作的实战,还会讲一些大神级别的写法 .
最后给大家分享一个liunx函数帮助文档: 函数帮助文档 *提取码: * 0307
