免费发布招聘信息,百度首页排名优化公司,北京网站备案号,网站开发checklist模板一、解决场景
下载模型或数据集#xff0c;到国内云GPU平台、阿里云盘#xff08;便于持久化储存#xff0c;或者分享朋友#xff09;。
及时收藏#xff0c;下次还能找到#xff01;
二、优势
此方法可以避免大文件下载到本地——占用内存#xff0c;受到小带宽网络…一、解决场景
下载模型或数据集到国内云GPU平台、阿里云盘便于持久化储存或者分享朋友。
及时收藏下次还能找到
二、优势
此方法可以避免大文件下载到本地——占用内存受到小带宽网络的限制。
三、使用工具
大带宽服务器这个服务器何必你自己的服务器
本期所使用的服务器在下面的表格之中
除AutoDL外其余的都是的GPU学习打榜平台可以免费使用GPU由于我们操作只涉及文件的上传下载所以尽量不要占用GPU资源选择cpu环境即可。只要你不用GPU不就相当于一个linux的服务器且它们的带宽相当大。对于部分学习平台磁盘限制并不严格可以使用命令查看
# 查看所有挂载磁盘
df -hl
查看某目录挂载磁盘
df -h /绝对路径四、使用方法
下载模型
1. 从魔搭社区modelscope下载模型
速度对比
我们以下载stable-diffusion-v1-4为例模型大小在11G左右再大的文件逐个平台测试有点浪费时间测试模型下载到平台指定目录所花费的时间测试时段在晚上由于网速波动受影响一因素较多测试结果仅对本次结果有效
函数使用cache_dir为指定目录
#模型下载出现代码错误请卸载modelscope重装
from modelscope import snapshot_download
model_dir snapshot_download(AI-ModelScope/stable-diffusion-v1-4, cache_dir/mnt/workspace, revisionmaster)结果比较
平台cpu环境特点时间魔搭社区 免费 8h 32g单次最长运行10小时磁盘限制90G左右1分22秒阿里天池社区 免费 2h4g单次运行时长最大9小时1分36秒百度 AIstudio 免费 2h8g没有sudo密码2分49秒中国移动 九天毕昇 8h32g磁盘200G限制4分50秒CSDN Inscode 免费1h1g磁盘挂载700G较慢AutoDL 0.5h2g0.1元/h免费50g磁盘5分20秒本地完全取决你你的下载速度
2. 从huggingface下载
from huggingfacehub import snapshotdownload
snapshotdownload(repoidCompVis/stable-diffusion-v1-4, repotypemodel, localdir./modeldir, resumedownloadTrue)平台带宽肯定是足够的但是明显从huggingface上下载没那么快了这一部分取决于你代理服务器的速度了如何使用请查看第3部分。
代理速度因人而异这里不详细测试
平台cpu环境限制时间魔搭社区 免费 8h 32g单次最长运行10小时内存挂载90G左右5分40秒阿里天池社区 免费 2h4g单次运行时长最大9小时4分10秒百度 AIstudio 免费 2h8g没有开放sudo权限无法开代理
3. 参考项目
这里自行去github搜索Elegycloud大佬的项目
保存模型
基于上面的介绍下载到平台之后如果不使用对应平台来进行学习可以保存下来。
这里就没办法逐个平台列个表格对比测试了因为这个比较热门的模型只要别人上传过再次上传阿里云盘几乎就是秒传上传速度大家自己测试。
1. 保存到百度网盘
找了一圈关于百度网盘API开发的项目不多找到这个但是我试用下来感觉不是很好用。项目地址
2. 保存阿里云盘
相比之下即使阿里云盘没有vip现阶段还是挺好用的。这是个不带图形化的项目。
wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.8/aliyunpan-v0.2.8-linux-386.zipunzip aliyunpan-v0.2.8-linux-386.zipcd aliyunpan-v0.2.8-linux-386./aliyunpanlogin # RefreshToken 获取方法见原项目登录阿里云盘浏览器-右键检查或者按F12按照步骤获取 下载文件/ 文件夹
ls # 可查看云盘文件
download 云盘绝对路径上传文件
upload 服务器的文件或文件夹的绝对路径或相对路径 云盘的绝对路径写在最后 点赞你的认可是我创作的动力 ⭐收藏你的青睐是我努力的方向 ✏️评论你的意见是我进步的财富
