网站建设技术架构和语言,做网站需要哪些素材,做旅行网站的意义,网站备案到公司名称基础知识 磨刀不误砍柴工#xff0c;LLM基础知识还是需要的。会按照历史梳理LM#xff0c;详解BERT、GPT系列等各种预备核心知识点#xff0c;并带着进行GPT预训练实战、位置编码#xff08;长文本问题#xff09;实战等。 数据工程 数据很重要#xff0c;数据是天花板… 基础知识 磨刀不误砍柴工LLM基础知识还是需要的。会按照历史梳理LM详解BERT、GPT系列等各种预备核心知识点并带着进行GPT预训练实战、位置编码长文本问题实战等。 数据工程 数据很重要数据是天花板算法只是无限接近天花板。LLM的第一步就是数据处理国外的很多SoTA研究都基于此。 分布式训练框架 大语言模型的“大”就离不开分布式。ZeRO的三个级别、Deepspeed理论与实战等等是必备技能。 微调 LLM微调最费机器所以也是知识点最多的地方比如详解各种PEFT方法、LoRA、QLoRA两种量化、Page Optimizer等、RLHF强化学习基础、RW、PPO和PPO-max等以及Llama-Factory实战、LLaMA2-QLoRA实战和RLHF实战来巩固所学。 推理和部署优化 LLM模型搞定就需要考虑如何快速推理了。这里会详解Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching和Contiuous Batching、稀疏attention和MoE等。 评测和分析 LLM有输出啦那么如何评测呢又该评测哪些呢这些问题又是哪里导致的呢这里会一一进行讲解。 应用 目前应用最火的就是Agent、langchain、RAG了
