云南省住房与城乡建设厅网站,国外做机器的好的网站,卦神岭做网站,网剧推广一次5元前言
文件上传是一个老生常谈的话题了#xff0c;在文件相对比较小的情况下#xff0c;可以直接把文件转化为字节流上传到服务器#xff0c;但在文件比较大的情况下#xff0c;用普通的方式进行上传#xff0c;这可不是一个好的办法#xff0c;毕竟很少有人会忍受#…前言
文件上传是一个老生常谈的话题了在文件相对比较小的情况下可以直接把文件转化为字节流上传到服务器但在文件比较大的情况下用普通的方式进行上传这可不是一个好的办法毕竟很少有人会忍受当文件上传到一半中断后继续上传却只能重头开始上传这种让人不爽的体验。 那有没有比较好的上传体验呢答案有的就是下边要介绍的几种上传方式 秒传
1、什么是秒传
通俗的说你把要上传的东西上传服务器会先做MD5校验如果服务器上有一样的东西它就直接给你个新地址其实你下载的都是服务器上的同一个文件想要不秒传其实只要让MD5改变就是对文件本身做一下修改改名字不行例如一个文本文件你多加几个字MD5就变了就不会秒传了。
2、本文实现的秒传核心逻辑
a、利用redis的set方法存放文件上传状态其中key为文件上传的md5value为是否上传完成的标志位
b、当标志位true为上传已经完成此时如果有相同文件上传则进入秒传逻辑。如果标志位为false则说明还没上传完成此时需要在调用set的方法保存块号文件记录的路径其中key为上传文件md5加一个固定前缀value为块号文件记录路径
分片上传
1.什么是分片上传
分片上传就是将所要上传的文件按照一定的大小将整个文件分隔成多个数据块我们称之为Part来进行分别上传上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。
2.分片上传的场景
大文件上传网络环境环境不好存在需要重传风险的场景
断点续传
1、什么是断点续传
断点续传是在下载或上传时将下载或上传任务一个文件或一个压缩包人为的划分为几个部分每一个部分采用一个线程进行上传或下载如果碰到网络故障可以从已经上传或下载的部分开始继续上传或者下载未完成的部分而没有必要从头开始上传或者下载。本文的断点续传主要是针对断点上传场景。
2、应用场景
断点续传可以看成是分片上传的一个衍生因此可以使用分片上传的场景都可以使用断点续传。
3、实现断点续传的核心逻辑
在分片上传的过程中如果因为系统崩溃或者网络中断等异常因素导致上传中断这时候客户端需要记录上传的进度。在之后支持再次上传时可以继续从上次上传中断的地方进行继续上传。
为了避免客户端在上传之后的进度数据被删除而导致重新开始从头上传的问题服务端也可以提供相应的接口便于客户端对已经上传的分片数据进行查询从而使客户端知道已经上传的分片数据从而从下一个分片数据开始继续上传。
4、实现流程步骤
a、方案一常规步骤
将需要上传的文件按照一定的分割规则分割成相同大小的数据块初始化一个分片上传任务返回本次分片上传唯一标识按照一定的策略串行或并行发送各个分片数据块发送完成后服务端根据判断数据上传是否完整如果完整则进行数据块合成得到原始文件。
b、方案二、本文实现的步骤
前端客户端需要根据固定大小对文件进行分片请求后端服务端时要带上分片序号和大小服务端创建conf文件用来记录分块位置conf文件长度为总分片数每上传一个分块即向conf文件中写入一个127那么没上传的位置就是默认的0已上传的就是Byte.MAX_VALUE 127这步是实现断点续传和秒传的核心步骤服务器按照请求数据中给的分片序号和每片分块大小分片大小是固定且一样的算出开始位置与读取到的文件片段数据写入文件。
5、分片上传/断点上传代码实现
a、前端采用百度提供的webuploader的插件进行分片。因本文主要介绍服务端代码实现webuploader如何进行分片具体实现可以查看如下链接:
http://fex.baidu.com/webuploader/getting-started.html
b、后端用两种方式实现文件写入一种是用RandomAccessFile如果对RandomAccessFile不熟悉的朋友可以查看如下链接:
https://blog.csdn.net/dimudan2015/article/details/81910690
另一种是使用MappedByteBuffer对MappedByteBuffer不熟悉的朋友可以查看如下链接进行了解:
https://www.jianshu.com/p/f90866dcbffc
后端进行写入操作的核心代码
a、RandomAccessFile实现方式
UploadMode(modeUploadModeEnum.RANDOM_ACCESS)
Slf4j
publicclassRandomAccessUploadStrategyextendsSliceUploadTemplate{AutowiredprivateFilePathUtilfilePathUtil;Value(${upload.chunkSize})privatelongdefaultChunkSize;Overridepublicbooleanupload(FileUploadRequestDTOparam){RandomAccessFileaccessTmpFilenull;try{StringuploadDirPathfilePathUtil.getPath(param);FiletmpFilesuper.createTmpFile(param);accessTmpFilenewRandomAccessFile(tmpFile,rw);//这个必须与前端设定的值一致longchunkSizeObjects.isNull(param.getChunkSize())?defaultChunkSize\*1024\*1024:param.getChunkSize();longoffsetchunkSize\*param.getChunk();//定位到该分片的偏移量accessTmpFile.seek(offset);//写入该分片数据accessTmpFile.write(param.getFile().getBytes());booleanisOksuper.checkAndSetUploadProgress(param,uploadDirPath);returnisOk;}catch(IOExceptione){log.error(e.getMessage(),e);}finally{FileUtil.close(accessTmpFile);}returnfalse;}}b、MappedByteBuffer实现方式
UploadMode(modeUploadModeEnum.MAPPED_BYTEBUFFER)
Slf4j
publicclassMappedByteBufferUploadStrategyextendsSliceUploadTemplate{AutowiredprivateFilePathUtilfilePathUtil;Value(${upload.chunkSize})privatelongdefaultChunkSize;Overridepublicbooleanupload(FileUploadRequestDTOparam){RandomAccessFiletempRafnull;FileChannelfileChannelnull;MappedByteBuffermappedByteBuffernull;try{StringuploadDirPathfilePathUtil.getPath(param);FiletmpFilesuper.createTmpFile(param);tempRafnewRandomAccessFile(tmpFile,rw);fileChanneltempRaf.getChannel();longchunkSizeObjects.isNull(param.getChunkSize())?defaultChunkSize\*1024\*1024:param.getChunkSize();//写入该分片数据longoffsetchunkSize\*param.getChunk();byte\[\]fileDataparam.getFile().getBytes();mappedByteBufferfileChannel.map(FileChannel.MapMode.READ_WRITE,offset,fileData.length);mappedByteBuffer.put(fileData);booleanisOksuper.checkAndSetUploadProgress(param,uploadDirPath);returnisOk;}catch(IOExceptione){log.error(e.getMessage(),e);}finally{FileUtil.freedMappedByteBuffer(mappedByteBuffer);FileUtil.close(fileChannel);FileUtil.close(tempRaf);}returnfalse;}}c、文件操作核心模板类代码
Slf4j
publicabstractclassSliceUploadTemplateimplementsSliceUploadStrategy{publicabstractbooleanupload(FileUploadRequestDTOparam);protectedFilecreateTmpFile(FileUploadRequestDTOparam){FilePathUtilfilePathUtilSpringContextHolder.getBean(FilePathUtil.class);param.setPath(FileUtil.withoutHeadAndTailDiagonal(param.getPath()));StringfileNameparam.getFile().getOriginalFilename();StringuploadDirPathfilePathUtil.getPath(param);StringtempFileNamefileName_tmp;FiletmpDirnewFile(uploadDirPath);FiletmpFilenewFile(uploadDirPath,tempFileName);if(!tmpDir.exists()){tmpDir.mkdirs();}returntmpFile;}OverridepublicFileUploadDTOsliceUpload(FileUploadRequestDTOparam){booleanisOkthis.upload(param);if(isOk){FiletmpFilethis.createTmpFile(param);FileUploadDTOfileUploadDTOthis.saveAndFileUploadDTO(param.getFile().getOriginalFilename(),tmpFile);returnfileUploadDTO;}Stringmd5FileMD5Util.getFileMD5(param.getFile());Map\Integer,String\mapnewHashMap\\();map.put(param.getChunk(),md5);returnFileUploadDTO.builder().chunkMd5Info(map).build();}/**
*检查并修改文件上传进度
*/publicbooleancheckAndSetUploadProgress(FileUploadRequestDTOparam,StringuploadDirPath){StringfileNameparam.getFile().getOriginalFilename();FileconfFilenewFile(uploadDirPath,fileName.conf);byteisComplete0;RandomAccessFileaccessConfFilenull;try{accessConfFilenewRandomAccessFile(confFile,rw);//把该分段标记为true表示完成System.out.println(setpartparam.getChunk()complete);//创建conf文件文件长度为总分片数每上传一个分块即向conf文件中写入一个127那么没上传的位置就是默认0,已上传的就是Byte.MAX_VALUE127accessConfFile.setLength(param.getChunks());accessConfFile.seek(param.getChunk());accessConfFile.write(Byte.MAX_VALUE);//completeList检查是否全部完成,如果数组里是否全部都是127(全部分片都成功上传)byte\[\]completeListFileUtils.readFileToByteArray(confFile);isCompleteByte.MAX_VALUE;for(inti0;i\completeList.length\\isCompleteByte.MAX_VALUE;i){//与运算,如果有部分没有完成则isComplete不是Byte.MAX_VALUEisComplete(byte)(isComplete\completeList\[i\]);System.out.println(checkparticomplete?:completeList\[i\]);}}catch(IOExceptione){log.error(e.getMessage(),e);}finally{FileUtil.close(accessConfFile);}booleanisOksetUploadProgress2Redis(param,uploadDirPath,fileName,confFile,isComplete);returnisOk;}/**
*把上传进度信息存进redis
*/privatebooleansetUploadProgress2Redis(FileUploadRequestDTOparam,StringuploadDirPath,StringfileName,FileconfFile,byteisComplete){RedisUtilredisUtilSpringContextHolder.getBean(RedisUtil.class);if(isCompleteByte.MAX_VALUE){redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS,param.getMd5(),true);redisUtil.del(FileConstant.FILE_MD5_KEYparam.getMd5());confFile.delete();returntrue;}else{if(!redisUtil.hHasKey(FileConstant.FILE_UPLOAD_STATUS,param.getMd5())){redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS,param.getMd5(),false);redisUtil.set(FileConstant.FILE_MD5_KEYparam.getMd5(),uploadDirPathFileConstant.FILE_SEPARATORCHARfileName.conf);}returnfalse;}}/**
*保存文件操作
*/publicFileUploadDTOsaveAndFileUploadDTO(StringfileName,FiletmpFile){FileUploadDTOfileUploadDTOnull;try{fileUploadDTOrenameFile(tmpFile,fileName);if(fileUploadDTO.isUploadComplete()){System.out.println(uploadcomplete!!fileUploadDTO.isUploadComplete()namefileName);//TODO保存文件信息到数据库}}catch(Exceptione){log.error(e.getMessage(),e);}finally{}returnfileUploadDTO;}/**
*文件重命名
*
*paramtoBeRenamed将要修改名字的文件
*paramtoFileNewName新的名字
*/privateFileUploadDTOrenameFile(FiletoBeRenamed,StringtoFileNewName){//检查要重命名的文件是否存在是否是文件FileUploadDTOfileUploadDTOnewFileUploadDTO();if(!toBeRenamed.exists()\|\|toBeRenamed.isDirectory()){log.info(Filedoesnotexist:{},toBeRenamed.getName());fileUploadDTO.setUploadComplete(false);returnfileUploadDTO;}StringextFileUtil.getExtension(toFileNewName);StringptoBeRenamed.getParent();StringfilePathpFileConstant.FILE_SEPARATORCHARtoFileNewName;FilenewFilenewFile(filePath);//修改文件名booleanuploadFlagtoBeRenamed.renameTo(newFile);fileUploadDTO.setMtime(DateUtil.getCurrentTimeStamp());fileUploadDTO.setUploadComplete(uploadFlag);fileUploadDTO.setPath(filePath);fileUploadDTO.setSize(newFile.length());fileUploadDTO.setFileExt(ext);fileUploadDTO.setFileId(toFileNewName);returnfileUploadDTO;}
}总结
在实现分片上传的过程需要前端和后端配合比如前后端的上传块号的文件大小前后端必须得要一致否则上传就会有问题。其次文件相关操作正常都是要搭建一个文件服务器的比如使用fastdfs、hdfs等。
