网站的经营方式,东莞网络营销外包,在线旅游网站建设方案,设计网站项目描述写在前面
在大模型横行的时代#xff0c;无法在服务器上连接外网的研究僧真的是太苦逼了#xff0c;每次想尝试类似于CLIP#xff0c;BLIP之类的大模型都会得到“requests.exceptions.ConnectionError: (MaxRetryError(HTTPSConnectionPool(host‘huggingface.co’, …写在前面
在大模型横行的时代无法在服务器上连接外网的研究僧真的是太苦逼了每次想尝试类似于CLIPBLIP之类的大模型都会得到“requests.exceptions.ConnectionError: (MaxRetryError(HTTPSConnectionPool(host‘huggingface.co’, port443)” 或“requests.exceptions.ConnectionError: (MaxRetryError(“HTTPSConnectionPool(host‘huggingface.co’, port443): Max retries exceeded with url: /api/models/bert-base-uncased/tree/main?recursiveTrueexpandFalse (Caused by NewConnectionError(‘urllib3.connection.HTTPSConnection object at 0x7f4326e15e50: Failed to establish a new connection: [Errno 101] Network is unreachable’))”), ‘(Request ID: 390a0157-95dd-416d-80c5-79f4fdd4b6d1)’)”类似的“奖励”。
其实主要就是因为无法访问外网从而不能从huggingface下载预训练的权重导致的。一个简单的方式就是在本地将预训练的权重文件下载好然后再上传到服务器上但是找了一下现在网上的相关教程都不是特别容易上手特此在这里记录一下便于后续自己遇到类似的问题参考。
下面以BLIP调用BERT为例。
报错的语句为
tokenizer BertTokenizer.from_pretrained(bert-base-uncased)解决方案
1. 进入huggingface官网https://huggingface.co/ 2. 在搜索框输入想要下载的模型名称如 bert-base-uncased 3. 如图找到自己需要的模型对应的连接点进去。 点击 Files and versions 4. 下载需要的文件这里以Torch为例 需要下载四个文件 分别是 config.json pytorch_model.bin tokenizer.json vocab.txt 5. 在本地新建一个文件夹我这里叫BERT然后把上面四个文件下载到这个目录下面注意不能改变文件名和后缀 6. 将该文件夹上传到服务器项目所在的文件夹下from_pretrained() 里面的参数
tokenizer BertTokenizer.from_pretrained(bert-base-uncased)修改为 服务器上改文件夹路径如
tokenizer BertTokenizer.from_pretrained(/data/timer/BLIP/BERT)这里主要是因为BertTokenizer.from_pretrained() 可以接受的参数有几种short-cut name缩写名称类似于bert-base-uncased这种、identifier name类似于microsoft/DialoGPT-small这种、文件夹、文件。
其实相关的教程网上也有但就是没有给一个实例或者不够全面。特别地对于下载的文件如何放置没有一个特别详细的说明。希望这篇博客能够帮助到大家。
参考
huggingface transformers预训练模型如何下载至本地并使用如何从huggingface官网下载模型
