怎么做移动端网站,正能量不良网站进入窗口免费阅读,太平洋在线企业建站系统,做最漂亮的网站这次又接到一个大模型岗位的面试。但是从面试过程来看#xff0c;现在大模型岗位都要求有相关工作经验#xff0c;还是太难进了。还是说国内公司早就过了培养人的年代了#xff1f;
问到了哪些知识点#xff1a;
开源大模型#xff1a;项目里用的是浦语大模型#xff0…这次又接到一个大模型岗位的面试。但是从面试过程来看现在大模型岗位都要求有相关工作经验还是太难进了。还是说国内公司早就过了培养人的年代了
问到了哪些知识点
开源大模型项目里用的是浦语大模型此外还了解chatglmllamaqwen等等。
大模型微调的方法lora。主要是lora了。
有没有对哪些参数做调整调了lora的参数rank还有其他参数可以调的吗学习率或者说只在某些层上加lora
qlora是个什么东西没有好好准备。q也许代表quantized
其他微调的方法当时脑袋短路没想出来事实上还有ptuningprefix-tuningadapter等等方案。
大模型部署知道量化比如8bit量化原来模型参数是bf16类型可以转换成int8类型还有kv量化。其他不知道需要再研究研究。
用了多少语料是比赛方提供的还是自己制作的训练集
大模型灾难性遗忘的问题回答说我们主要是专用领域大模型所以对通用问题用其他大模型回答如果是一般的解决方案专有数据通用数据大概在110的量级。
