泉州网站建设推广企业,网页兼容性站点,免费网站建设信息,高端电商网站开发GPT3#xff08;September 22, 2020#xff09;是大语言应用的一个milestone级别的作品#xff0c;Llama2#xff08;February 2023#xff09;则是目前开源大模型中最有影响力的作品#xff0c;InternLM2#xff08;2023.09.20#xff09;则是中文比较有影响力的作品。…
GPT3September 22, 2020是大语言应用的一个milestone级别的作品Llama2February 2023则是目前开源大模型中最有影响力的作品InternLM22023.09.20则是中文比较有影响力的作品。
今天结合三篇技术汇报尝试对比一下这三个方案的效果。
参考GPT3关于模型Model and Architectures的介绍分为了几个部分包括Training Dataset Training Process而InternLM2包括了Pretrain和AlignmentLLama包括预训练微调和安全。针对这个大致的划分我们可以对比模型的具体细节效果。
1. 预训练
2. 微调对齐
2. 模型结构及大小 模型大小
GPT3是175B参数此外也提供了一些小版本。模型结构与GPT2一致。是一个纯decoder的transformer架构没有深究了。 LLama2则是70--700B参数 InternLM2则是1.8B到20B的参数量。 模型结构
GPT-3和GPT-2模型结构一致都是采用了decoder形式的transformer架构。
LLama2则是基于LLama增加了Context Lengthfrom 2048 tokens to 4096 token将Grouped-Query Attention替代MHAmulti-head attention。
而LLama的架构则是基于Transformer然后采用了其他方案的改进RMSNormgpt3Relu - SwiGLU activation function(PaLM), absolute positional embeddings -Rotary Embeddings (GPTNeo]),
而 InternLM2技术报告中强调了它们很大参考了 LLama但是还做了如下调整。 to better support diverse tensor parallelism (tp) transformations, we have reconfigured the matrix layout. Rather than stacking the Wk , Wq, and Wv matrices in a straightforward manner, we adopt an interleaving approach for each head’s Wk , Wq, and Wv, as depicted in Figure 2. 按我的理解就是基于qkv三个权重矩阵的合并实现加速。 预训练
GPT-3论文对于训练策略的介绍比较简单具体可以参考【5】但是它强调了pretrainone-shotzero-shot这几种任务的难度截然不同
而关于数据集主要介绍了Common Crawl dataset而关于训练策略不管是正文还是附录都没有多余的介绍了。
LLama它使用English CommonCrawl以及githubwiki等大量数据进行训练。
相比于前两者InternLM2则详细介绍了数据的准备过程但是有趣的点似乎没有。
Tokenize
GPT3使用的tokenize方式为reversible tokenization 和GPT2一致。·
LLama2的tokenize的方式采用bytepair encoding (BPE) algorithm。训练集包含了1.4T个Token。
InternLM的Tokenize则采用了GPT-4所使用的tokenize方式。
finetune
在GPT-3的论文中强调了finetuning可以增加LLM针对特定任务的表现但是也会影响模型的泛化性并且夸大了它的实际效果。作者把finetune和few shotone-shotzero-shot这几种方式对比fine-tune显然是相对笨拙的方式。即使这样他依然可以优化在各个场景中llm的效果。在GPT-3中特定任务的使用都提到了finetune但是finetune的细节并没有提及在llama中finetune也没有看到细节的介绍。而在InternLM中则有alignment一大个章节来讲述finetune。
其中提到为了对齐他使用了 supervised fine-tuning (SFT) 和 reinforcement learning from human feedback (RLHF) 。针对RLHF具体提出了coolRLHF值得注意的是在TR中有大量篇幅用于介绍coolRLHF这一方案。 参考文档 [1] https://arxiv.org/pdf/2403.17297.pdf
[2] https://arxiv.org/pdf/2005.14165.pdf
[3] https://arxiv.org/pdf/2307.09288.pdf
[4] The Illustrated GPT-2 (Visualizing Transformer Language Models) – Jay Alammar – Visualizing machine learning one concept at a time.
[5] https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
