河源市企业网站seo价格,网站建设泉州,全心代发17做网站,网络营销策划书的结构一、商业观点#xff1a;企业借助大模型获得业务增长可能 二、底层原理#xff1a;transformer
1#xff09;备注
①下面每个步骤都是自回归的过程#xff08;aotu-regressive#xff09;#xff1a;已输出内容的每个字作为输入#xff0c;一起生成下一个字 ②合起来就…一、商业观点企业借助大模型获得业务增长可能 二、底层原理transformer
1备注
①下面每个步骤都是自回归的过程aotu-regressive已输出内容的每个字作为输入一起生成下一个字 ②合起来就是y1输出之后y1和x序列一起作为输出来生成y2y1和y2加x序列作为输入来输出y3 ③GPT3.5有1750亿参数也就是1750亿维
2运行步骤
①把一串输入的字符串拆分成x序列的结构 ②再把这串x序列的输入字符串映射成z序列 z序列是z1、z2、z3、z4等不一定必须是512维每个z是512维坐标的向量由512个坐标构成 ③解码器根据传入的z序列生成y序列
3编码器框架图 ①左边是编码器右边是解码器 ②输入有两个预处理 1input Embedding把每个字都变成512个字去描述 2positionnal Encoding不仅要把每个字换成512个描述而是还要关注每个字的位置也就是关注词的主谓宾 ③linear做类似线性回归的东西 ④softmax把前序所有的计算结果转化成概率数字有了概率数字才会知道蹦出来的下个数字是什么 ⑤注意力机制attention机制抓住主要的词汇每个词的重要程度通过权重数值和权重矩阵体现出来 ⑥self-attention自注意力模型不是给某些搜索方向提前标注大权重的词 从注意到self-attention自注意力机制
⑦q\k\v三矩阵在做线性代数q矩阵和k矩阵做了很多点乘和像素计算得到v矩阵 q问题 k固定的二维数组 v权重数值
三、应用技术fine tune介绍
1三层分层
①第一层 指令编程不停跟大模型对话总结经验、AI编程、AI测试 ②第二层 向量数据库、向量检索、langchain、sk、智能体autogpt这样的东西 ③第三层 模型定制fine tune专业领域就不行了
2原理讲解
步骤 ①收集示范数据制定了很多prompt ②收集比较数据并训练奖励模型fine tuning ③使用强化学习针对奖励模型优化策略解释 ①fine tune就是对参数小范围的波动微调下
3中文版原理讲解(第一步只要一次第二和第三要很多次)
①step 1 1组织很多数据a labeler就比如说律师的官司一问一答只做一次 2这些数据就是对这些不咋地的数据进行fine tune模型精调这些过程叫SFT ②step2 根据你的问题排序rank之前生成的labelers ③step 3 能得到人类更好的内容将会得到更多积分强化学习 链接
