电子商务网站建设与管理笔试,建设网站步骤,东莞专业建网站,怎么做网站xml地图如果有碰到huggingface的数据集下载慢#xff0c;可以使用国内镜像代理下载#xff0c;首先打开命令行#xff0c;输入下面的环境变量#xff1a;
export HF_ENDPOINThttps://hf-mirror.com然后执行你自己的代码#xff0c;比如#xff1a;
from datasets import load_…如果有碰到huggingface的数据集下载慢可以使用国内镜像代理下载首先打开命令行输入下面的环境变量
export HF_ENDPOINThttps://hf-mirror.com然后执行你自己的代码比如
from datasets import load_dataset
ds load_dataset(openai/gsm8k, main)
for split, split_dataset in ds.items():split_dataset.to_json(fgsm8k-{split}.jsonl)你会发现数据集的下载速度变快了
Downloading readme: 7.94kB [00:00, 7.75MB/s]
Downloading data: 100%|██████████████████████████████████████████████████████████████| 2.31M/2.31M [00:0600:00, 364kB/s]
Downloading data: 100%|████████████████████████████████████████████████████████████████| 419k/419k [00:0000:00, 783kB/s]
Generating train split: 100%|██████████████████████████████████████████████| 7473/7473 [00:0000:00, 86953.96 examples/s]
Generating test split: 100%|███████████████████████████████████████████████| 1319/1319 [00:0000:00, 58370.39 examples/s]参考文献
How do I save a Huggingface dataset?
