网站系统升级中,谁的网站模板利于优化,电子商务企业网站有哪些,wordpress video代码结构 所有的代码写到cs336_basics/* 下面#xff0c;在adapters.py里调用自己的.py#xff0c;通过所有的test。
作业资料参考
karpathy视频仓库#xff1a;
视频 github仓库
测试项目运行环境
下载uv
uv官网仓库 使用命令#xff1a; powershell -ExecutionPoli…
代码结构 所有的代码写到cs336_basics/* 下面在adapters.py里调用自己的.py通过所有的test。
作业资料参考
karpathy视频仓库
视频 github仓库
测试项目运行环境
下载uv
uv官网仓库 使用命令 powershell -ExecutionPolicy ByPass -c irm https://astral.sh/uv/install.ps1 | iex 我直接运行pip install uv会报错
进入项目文件夹下目录 uv self update # optional uv sync
uv self-update 命令专门用于维护 uv 可执行文件本身。它的主要且唯一目的是检查并安装最新可用的 uv 版本。uv sync 命令在项目级别运行专注于项目所依赖的 Python 包。其核心功能是确保虚拟环境中安装的包与项目锁文件 uv.lock 或 requirements.lock 中指定的版本完全一致(项目文件夹中有uv.lock文件)。
运行这两条命令后会看到文件夹下多出了.venv文件夹
激活虚拟环境
Set-ExecutionPolicy RemoteSigned -Scope CurrentUser
.venv\Scripts\Activate # windows命令切换到虚拟环境后运行命令 uv run pytest
由于是windows环境我出现了报错原因是tests/test_tokenizer.py 文件尝试导入 resource 模块但该模块在 Windows 系统上不可用。最开始我以为必须切换到linux环境或者用云服务器跑但是我只是需要在windows上测试注释掉test_tokenizer.py 文件中的import resource即可。kaggle和google colab还有AWS都提供了云服务器可以白嫖。
再次运行命令后 报错 NotImplementedError 最初所有测试应该 NotImplementedError 失败。要将代码实现连接到测试要完成./tests/adapters.py 中的函数。 adapters.py 中的函数包括
run_linearrun_embeddingrun_swiglurun_scaled_dot_product_attentionrun_multihead_self_attentionrun_multihead_self_attention_with_roperun_roperun_transformer_blockrun_transformer_lmrun_rmsnormrun_silurun_get_batchrun_softmaxrun_cross_entropyrun_gradient_clippingget_adamw_clsrun_get_lr_cosine_schedulerun_save_checkpointrun_load_checkpointget_tokenizerrun_train_bpe
数据集下载
需要下载这两个数据集
TinyStoriesOpenWebText
由于windows不方便下载所以我在wsl下下载。踩坑连接不到https://huggingface.co 后续发现可以镜像站下载https://hf-mirror.com/
用vscode连接wsl然后新建一个文件download_data.sh写入命令 完整的命令如下
#!/bin/bash# 创建数据目录并进入echo Creating data directory...mkdir -p datacd data# 下载 TinyStories 数据集echo Downloading TinyStoriesV2-GPT4-train.txt.gz... (This may take a while)# 使用 curl -L 来正确处理重定向并用 -o 指定输出文件名curl -L -o TinyStoriesV2-GPT4-train.txt.gz https://hf-mirror.com/datasets/roneneldan/TinyStories/resolve/main/TinyStoriesV2-GPT4-train.txtecho Downloading TinyStoriesV2-GPT4-valid.txt.gz...curl -L -o TinyStoriesV2-GPT4-valid.txt.gz https://hf-mirror.com/datasets/roneneldan/TinyStories/resolve/main/TinyStoriesV2-GPT4-valid.txt# 下载并解压 OWT sample 数据集echo Downloading OWT sample dataset...curl -L -o owt_train.txt.gz https://hf-mirror.com/datasets/stanford-cs336/owt-sample/resolve/main/owt_train.txt.gzgunzip -f owt_train.txt.gzcurl -L -o owt_valid.txt.gz https://hf-mirror.com/datasets/stanford-cs336/owt-sample/resolve/main/owt_valid.txt.gzgunzip -f owt_valid.txt.gz# 返回上级目录echo All files downloaded and processed successfully.cd ..owt的文件下好后看似是压缩包实际已经解压好了只需要把后缀名改成txt就好。 已经下载好的文件长这个样子 现在我们已经做好前期所有准备了
