江门论坛建站模板,免费windows云服务器,股票网站模板,高级服装定制节前#xff0c;我们组织了一场算法岗技术面试讨论会#xff0c;邀请了一些互联网大厂朋友、参加社招和校招面试的同学#xff0c;针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
最大的感…节前我们组织了一场算法岗技术面试讨论会邀请了一些互联网大厂朋友、参加社招和校招面试的同学针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
最大的感受就是今年的算法面试题普遍反馈特别的新AIGC 相关的面试题猛增特别是去年到今年爆火的大模型、多模态、扩散模型、SAM等考察的知识点越来越多。 基于讨论和大模型实践我们写一本书《大模型面试宝典》(2024版) 发布 今天分享社群中一位面试理想大模型(实习)的面试题希望对大家找工作有帮助喜欢记得点赞、收藏、关注。文末提供技术交流方式。
问题1、LLAMA 和 ChatGLM 的区别
模型训练数据训练数据量模型参数量词表大小LLaMA以英语为主的拉丁语系不包含中日韩文1T/1.4T tokens7B、13B、33B、65B32000ChatGLM-6B中英双语中英文比例为 1:11T tokens6B130528
模型模型结构位置编码激活函数layer normLLaMACasual decoderRoPESwiGLUPre RMS NormChatGLM-6BPrefix decoderRoPEGeGLUPost Deep Norm
问题2、BatchNorm 和 LayerNorm 什么区别。
layernorm和batchnorm的区别LN中同层神经元输入拥有相同的均值和方差不同的输入样本有不同的均值和方差
BN中则针对不同神经元输入计算均值和方差同一个batch中的输入拥有相同的均值和方差。
LN不依赖于batch的大小和输入sequence的深度因此可以用于batchsize为1和RNN中对变长的输入sequence的normalize操作。
由于NLP中的文本输入一般为变长所以使用layernorm更好。
问题3、Bert 的参数量是怎么决定的
BertBidirectional Encoder Representations from Transformers的参数量由其模型结构以及隐藏层的大小、层数等超参数所决定。具体来说Bert 模型由多个 Transformer Encoder 层组成每个 Encoder 层包含多个注意力头以及前馈神经网络层。因此Bert 的参数量主要由这些层的数量、每层的隐藏单元数、注意力头的数量等因素决定。
问题4、p tuning v2 和 prompt tuning 的区别
Prompt tuning是之前其他论文提出的一种方法通过冻结语言模型仅去调整连续的prompts在参数量超过10B的模型上效果追上了fine-tune但是在normal-sized模型上表现不好并且无法解决序列标注任务。针对这两个问题作者提出了P-tuning v2。
P-Tuning V2在P-Tuning V1的基础上进行了下述改进 在每一层都加入了Prompts tokens作为输入而不是仅仅加在输入层这与Prefix Tuning的做法相同。这样得到了更多可学习的参数且更深层结构中的Prompt能给模型预测带来更直接的影响。 去掉了重参数化的编码器。在 P-tuning v2 中作者发现重参数化的改进很小尤其是对于较小的模型同时还会影响模型的表现。 针对不同任务采用不同的提示长度。提示长度在提示优化方法的超参数搜索中起着核心作用。在实验中我们发现不同的理解任务通常用不同的提示长度来实现其最佳性能这与Prefix-Tuning中的发现一致不同的文本生成任务可能有不同的最佳提示长度。 可选的多任务学习。先在多任务的Prompt上进行预训练然后再适配下游任务。一方面连续提示的随机惯性给优化带来了困难这可以通过更多的训练数据或与任务相关的无监督预训练来缓解另一方面连续提示是跨任务和数据集的特定任务知识的完美载体。
问题5、多头注意力机制和单个注意力机制时间复杂度会变吗
多头注意力机制和单个注意力机制的时间复杂度都是
O(n^2d)其中 n 是序列长度d 是每个词向量的维度。因为注意力机制涉及计算注意力分数的所有词对因此时间复杂度与序列长度的平方成正比。无论是多头还是单个注意力机制时间复杂度都是相同的。
问题6、大模型微调过程中如何避免灾难性遗忘
在微调大模型的过程中确实可能会遇到灾难性遗忘的问题即模型在优化某一特定任务时可能会忘记之前学到的其他重要信息或能力。为了缓解这种情况可以采用以下几种策略
1重新训练通过使用所有已知数据重新训练模型可以使其适应数据分布的变化从而避免遗忘。
2增量学习增量学习是一种在微调过程中逐步添加新数据的方法。通过增量学习大模型可以在不忘记旧知识的情况下学习新数据。
3知识蒸馏知识蒸馏是一种将老模型的知识传递给新模型的方法。通过训练一个教师模型来生成数据标注或权重然后将标注或权重传递给新模型进行训练可以避免灾难性遗忘。
4正则化技术限制模型参数的变化范围从而减少遗忘使得大模型在微调过程中保持稳定性。
5使用任务相关性数据如果可能的话尽量使用与原始任务相关或相似的数据进行微调。这样模型在优化新任务时更容易与先前学到的知识建立联系。
在此特别推荐今年、明年找工作的同学加入我们算法群和星球学习不仅有数千题算法岗软开岗的面试真题还可以提问如何找工作方向选择还有Offer选择等问题更有上百家公司的内推和求职准备攻略。
技术交流资料
技术要学会分享、交流不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。
成立了大模型面试和技术交流群相关资料、技术交流答疑均可加我们的交流群获取群友已超过2000人添加时最好的备注方式为来源兴趣方向方便找到志同道合的朋友。 方式①、微信搜索公众号机器学习社区后台回复加群 方式②、添加微信号mlc2040备注来自CSDN 技术交流 通俗易懂讲解大模型系列 重磅消息《大模型面试宝典》(2024版) 正式发布 重磅消息《大模型实战宝典》(2024版) 正式发布 做大模型也有1年多了聊聊这段时间的感悟 用通俗易懂的方式讲解大模型算法工程师最全面试题汇总 用通俗易懂的方式讲解不要再苦苦寻觅了AI 大模型面试指南含答案的最全总结来了 用通俗易懂的方式讲解我的大模型岗位面试总结共24家9个offer 用通俗易懂的方式讲解大模型 RAG 在 LangChain 中的应用实战 用通俗易懂的方式讲解ChatGPT 开放的多模态的DALL-E 3功能好玩到停不下来 用通俗易懂的方式讲解基于扩散模型Diffusion,文生图 AnyText 的效果太棒了 用通俗易懂的方式讲解在 CPU 服务器上部署 ChatGLM3-6B 模型 用通俗易懂的方式讲解ChatGLM3-6B 部署指南 用通俗易懂的方式讲解使用 LangChain 封装自定义的 LLM太棒了 用通俗易懂的方式讲解基于 Langchain 和 ChatChat 部署本地知识库问答系统 用通俗易懂的方式讲解Llama2 部署讲解及试用方式 用通俗易懂的方式讲解一份保姆级的 Stable Diffusion 部署教程开启你的炼丹之路 用通俗易懂的方式讲解LlamaIndex 官方发布高清大图纵览高级 RAG技术 用通俗易懂的方式讲解为什么大模型 Advanced RAG 方法对于AI的未来至关重要 用通俗易懂的方式讲解基于 Langchain 框架利用 MongoDB 矢量搜索实现大模型 RAG 高级检索方法
