网站流量合作,企业网站建设好的例子,集团做网站,室内设计师联盟账号Mistral AI 近日发布了首个开源 MoE 模型 Mixtral8x7B#xff0c;并宣布在魔搭社区上线。
Mixtral-8x7B 是一款混合专家模型#xff08;Mixtrue of Experts#xff09;#xff0c;由8个拥有70亿参数的专家网络组成#xff0c;在能力上#xff0c;Mixtral-8x7B 支持32k t…Mistral AI 近日发布了首个开源 MoE 模型 Mixtral8x7B并宣布在魔搭社区上线。
Mixtral-8x7B 是一款混合专家模型Mixtrue of Experts由8个拥有70亿参数的专家网络组成在能力上Mixtral-8x7B 支持32k token 上下文长度支持英语、法语、意大利语、德语和西班牙语拥有优秀的代码生成能力可微调为指令跟随模型。
该模型在 MT-Bench 评测上达到了8.3分与 GPT3.5相当。 Mixtral-8x7B-v0.1模型:
https://www.modelscope.cn/models/AI-ModelScope/Mixtral-8x7B-v0.1/summary
Mixtral-8x7B-Instruct-v0.1模型:
https://www.modelscope.cn/models/AI-ModelScope/Mixtral-8x7B-Instruct-v0.1/summary
Mistral-7B-Instruct-v0.2新模型:
https://www.modelscope.cn/models/AI-ModelScope/Mistral-7B-Instruct-v0.2/summary
