载带 东莞网站建设,j建设局域网网站,北京市网站制作公司,游戏开发小说Zephyr 是一系列语言模型#xff0c;经过训练可以充当有用的助手。 Zephyr-7B-β 是该系列中的第二个模型#xff0c;是 Mistralai/Mistral-7B-v0.1 的微调版本#xff0c;使用直接偏好优化 (DPO) 在公开可用的合成数据集上进行训练 。 我们发现#xff0c;删除这些数据集的…Zephyr 是一系列语言模型经过训练可以充当有用的助手。 Zephyr-7B-β 是该系列中的第二个模型是 Mistralai/Mistral-7B-v0.1 的微调版本使用直接偏好优化 (DPO) 在公开可用的合成数据集上进行训练 。 我们发现删除这些数据集的内置对齐可以提高 MT Bench 的性能并使模型更加有用。 然而这意味着该模型在提示时可能会生成有问题的文本并且只能用于教育和研究目的。 你可以在技术报告中找到更多详细信息。 在线工具推荐 Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D场景编辑器 1、Zephyr-7B-β 模型说明
模型类型7B 参数类似 GPT 的模型在公开可用的合成数据集上进行微调。语言 (NLP)主要是英语许可证MIT微调原模型mistralai/Mistral-7B-v0.1
模型源码如下
存储库github演示zephyr-chatChatbot竞赛在 LMSYS 竞技场中针对 10 多个 LLM 评估 Zephyr 7B
2、Zephyr-7B-β 性能
在发布时Zephyr-7B-β 是 MT-Bench 和 AlpacaEval 基准上排名最高的 7B 聊天模型
模型大小对齐MT-Bench分数AlpacaEval胜率 %StableLM-Tuned-α7BdSFT2.75-MPT-Chat7BdSFT5.42-Xwin-LMv0.17BdPPO6.1987.83Mistra-Instructv0.17B-6.84-Zephyr-7b-α7BdDPO6.88-Zephyr-7b-β 7BdDPO7.3490.60Falcon-Instruct40BdSFT5.1745.71Guanaco65BSFT6.4171.80Llama2-Chat70BRLHF6.8692.66Vicuna v1.333BdSFT7.1288.99WizardLM v1.070BdSFT7.71-Xwin-LM v0.170BdPPO-95.57GPT-3.5-turbo-RLHF7.9489.37Claude 2-RLHF8.0691.36GPT-4-RLHF8.9995.28
特别是在 MT-Bench 的多个类别上与 Llama2-Chat-70B 等较大的开放模型相比Zephyr-7B-β 具有较强的性能
然而在编码和数学等更复杂的任务上Zephyr-7B-β 落后于专有模型需要更多的研究来缩小差距。
3、Zephyr-7B-β 预期用途和限制
该模型最初是在经过过滤和预处理的 UltraChat 数据集上进行微调的该数据集包含 ChatGPT 生成的各种合成对话。 然后我们在 openbmb/UltraFeedback 数据集上进一步将模型与 TRL 的 DPOTrainer 对齐该数据集包含按 GPT-4 排名的 64k 提示和模型完成情况。 因此该模型可以用于聊天你可以查看我们的演示来测试其功能。
可以在此处找到用于训练 Zephyr-7B-β 的数据集
以下是使用 Transformers 中的 pipeline() 函数运行模型的方法
# Install transformers from source - only needed for versions v4.34
# pip install githttps://github.com/huggingface/transformers.git
# pip install accelerateimport torch
from transformers import pipelinepipe pipeline(text-generation, modelHuggingFaceH4/zephyr-7b-beta, torch_dtypetorch.bfloat16, device_mapauto)# We use the tokenizers chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages [{role: system,content: You are a friendly chatbot who always responds in the style of a pirate,},{role: user, content: How many helicopters can a human eat in one sitting?},
]
prompt pipe.tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue)
outputs pipe(prompt, max_new_tokens256, do_sampleTrue, temperature0.7, top_k50, top_p0.95)
print(outputs[0][generated_text])
# |system|
# You are a friendly chatbot who always responds in the style of a pirate./s
# |user|
# How many helicopters can a human eat in one sitting?/s
# |assistant|
# Ah, me hearty matey! But yer question be a puzzler! A human cannot eat a helicopter in one sitting, as helicopters are not edible. They be made of metal, plastic, and other materials, not food!4、Zephry-7B-β 的偏见、风险和局限性
Zephyr-7B-β 尚未通过 RLHF 等技术与人类偏好保持一致也未通过 ChatGPT 等响应的循环过滤进行部署因此该模型可能会产生有问题的输出尤其是在提示时。 目前还不清楚用于训练基本模型 (mistralai/Mistral-7B-v0.1) 的语料库的大小和组成但它很可能包含 Web 数据和书籍和代码等技术资源的组合 。 有关示例请参阅 Falcon 180B 模型卡。 原文链接Zephyr-7B-β — BimAnt
