怎样健网站,农业网站模板免费下载,应届毕业生简历模板,wp手机wordpress目录 前言 AGI通用人工智能 总结 前言
AI零基础直播公开课#xff0c;了解一下。 AGI通用人工智能
query
chatmind.tech 找一下这篇论文#xff0c;了解一下 E为编码器#xff0c;D为解码器
所谓大模型也就是编码器-解码器。 模型里会有一些公式和参数#xff0c;厉害的… 目录 前言 AGI通用人工智能 总结 前言
AI零基础直播公开课了解一下。 AGI通用人工智能
query
chatmind.tech 找一下这篇论文了解一下 E为编码器D为解码器
所谓大模型也就是编码器-解码器。 模型里会有一些公式和参数厉害的模型是参数比较靠谱。
所谓的机器学习训练模型就是去调整参数这里之前我好像弄过一个预测模型确实如此。
GPT3.5有1750亿个参数。
Google这篇论文很好 1.它的编码器和解码器的结构让事情变简单了参数变少。里面有个K矩阵二维数组类似于空间字典的作用。 2.它的注意力机制也就是权重问题V矩阵数值记录权重。这里的多投自注意力机制也就是机器自己学习找到语义。
很多人工智能工程师更多是处理某些特定场景距离agi也就是通用性的AI。
CV已死算法工程师很多时候是给机器做助理工作的比如视觉工程师先预处理边缘提取等等就是给机器找权重自注意力机制transformer的基础能跨语言到视觉等的多模态提取比较重要的东西所以视觉工程师可能会更早的失业。 技术分层
1、指令工程总结和大模型对话的讨论方法AI编程AI自动化测试
2、向量数据库向量检索autoGPTgithub copolit等场景比较广泛
3、fine-tune自有数据对模型进行精调比较难。
下面是fine-tune的原理图来源于ChatGPT3.5论文 第一步雇了很多标注师一问一答进行模型精调参数精调教授知识。
第二步和第三步反复循环调教“大脑”。RLHF强化学习人类反馈human feelback这个很重要。
midjourney可以试试。 之后试试二次开发哈哈哈哈。三万三千条rlhf就能做一轮fine-tune。 在openai上能直接做fine-tune。但是由于有墙国内不会用这个。还有数据泄露的风险
可以选择一些开源的模型智谱华章的ChatGLM还有Facebook的LLaMA 7B。 这个人的羊驼他只用了70亿的参数。
可以用阿里云做二次开发。低成本且高效。 公司比较缺大模型产品方案比较重要
1、畅想的场景什么比较靠谱
2、靠谱的场景需要什么技术上面说到的技术
3、能实践的效果
4.成本
5.数据整理什么好数据等数据过滤
6.需要什么框架进行fine-tune
7.需要几轮多长时间
8.性能效果最后效果
9.商业化投产比。 总结
主要是想了解一下大模型。后续去GitHub上看看chatALL.ai吧感兴趣就多去了解下大模型。还有一个重要收获是我现在正在搞CV啊太难受了太难受了或许激光雷达或者GPSins方向是可以深耕的加油吧早日毕业。
