设计网站推广方案,wordpress模板之家,济南行知做网站,wordpress淘宝客响应式模板前几天才刚刚发布了Llama 3#xff0c;今天微软就出手了#xff0c;发布了小而精的phi-3 添加图片注释#xff0c;不超过 140 字#xff08;可选#xff09;
刚刚发布的Phi-3系列小模型技术报告#xff0c;引起AI圈热议。 添加图片注释#xff0c;不超过 140 字#x…前几天才刚刚发布了Llama 3今天微软就出手了发布了小而精的phi-3 添加图片注释不超过 140 字可选
刚刚发布的Phi-3系列小模型技术报告引起AI圈热议。 添加图片注释不超过 140 字可选
其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B。
为了方便开源社区使用还特意设计成了与Llama系列兼容的结构。 添加图片注释不超过 140 字可选
微软这次打出“手机就能直接跑的小模型”的旗号4bit量化后的phi-3-mini在iPhone 14 pro和iPhone 15使用的苹果A16芯片上跑到每秒12 token。 添加图片注释不超过 140 字可选
这意味着现在手机上能本地运行的最佳开源模型已经做到ChatGPT水平。
在技术报告中还玩了一把花活让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。 添加图片注释不超过 140 字可选
除了mini杯之外小杯中杯也一并发布
Phi-3-small7B参数为支持多语言换用了tiktoken分词器并额外增加10%多语种数据。
Phi-3-medium14B参数在更多数据上训练多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。
根据技术报告中披露其核心秘诀就在于数据。
去年团队就发现单纯堆砌参数量并不是提升模型性能的唯一路径。
反而是精心设计训练数据尤其是利用大语言模型本身去生成合成数据配合严格过滤的高质量数据反而能让中小模型的能力大幅跃升。
也就是训练阶段只接触教科书级别的高质量数据Textbooks are all you need。
Phi-3也延续了这一思路这次他们更是下了血本: 投喂了多达3.3万亿token的训练数据medium中杯是4.8万亿 大幅强化了数据的”教育水平”过滤 更多样化的合成数据涵盖逻辑推理、知识问答等多种技能 独特的指令微调和RLHF训练大幅提升对话和安全性
举个例子比如某一天足球比赛的结果可能对于大模型是良好的训练数据但微软团队删除了这些加强知识的数据留下更多能提高模型推理能力的数据。
这样一来对比Llama-2系列就可以用更小的参数获得更高的MMLU测试分数了。 不过小模型毕竟是小模型也不可避免存在一些弱点。
微软透露模型本身参数中没能力存储太多事实和知识这一点也可以从TriviaQA测试分数低看出来。
缓解办法就是联网接入搜索引擎增强。 总之微软研究院团队是铁了心了要在小模型数据工程这条路上走下去未来还打算继续增强小模型的多语言能力、安全性等指标。
对于开源小模型超过ChatGPT这回事不少网友都认为压力现在给到OpenAI这边需要赶快推出GPT-3.5的继任者了。
什么Mid journey、onlyfans、chatgpt、claude3、其他国外需要付费的会员都可以用这个方法解决。
资料可以参考https://openssora.com/chatgpt-upgrade-plus-gpt/
