深圳市工程建设交易服务中心网站,天津市做网站,企业网站建设原则有哪些,wordpress 查死链接书名#xff1a;这就是ChatGPT 作者#xff1a;[美] 斯蒂芬沃尔弗拉姆#xff08;Stephen Wolfram#xff09;
ChatGPT在做什么#xff1f;
ChatGPT可以生成类似于人类书写的文本#xff0c;它基本任务是弄清楚如何针对它得到的任何文本产生“合理的延续”。当ChatGPT写… 书名这就是ChatGPT 作者[美] 斯蒂芬·沃尔弗拉姆Stephen Wolfram
ChatGPT在做什么
ChatGPT可以生成类似于人类书写的文本它基本任务是弄清楚如何针对它得到的任何文本产生“合理的延续”。当ChatGPT写一篇文章时它实质上只是在一遍又一遍地询问“根据目前的文本下一个词应该是什么”并且每次都添加一个词。更准确地说它是每次都添加一个“标记”(token)而标记可能只是词的一部分。这就是它有时可以“造词”的原因。 可以简单的将ChatGPT做的事情看作是“单字接龙”它总是根据概率选择下一个字但是这些概率是从何而来的呢 最佳思路是建立一个模型让我们能够估计序列出现的概率。ChatGPT的核心正是所谓的“大语言模型”。
什么是模型
假设你想像16世纪末的伽利略一样知道从比萨斜塔各层掉落的炮弹分别需要多长时间才能落地。当然你可以在每种情况下进行测量并将结果制作成表格。不过你还可以运用理论科学的本质建立一个模型用它提供某种计算答案的程序而不仅仅是在每种情况下测量和记录。 模型是指有某种特定的基本结构以及用于拟合数据的一定数量的“旋钮”也就是可以设置的参数。 对于ChatGPT我们需要为人脑产生的人类语言文本建立模型。 如果函数给出的结果总是与人类的意见相符那么我们就有了一个“好模型”。
LLM 容易产生所谓的 “幻觉”即生成看似合理但实际并非真实的输出这是因为 LLM 在训练时是基于训练数据中的模式预测下一个最可能的词而非真正理解信息。
神经网络
用于图像识别等任务的典型模型到底是如何工作的呢目前最受欢迎而且最成功的方法是使用神经网络。可以视作对大脑工作机制的简单理想化。 神经网络可以被视为根据其输入和权重计算的一个数学函数。可以执行各种任务还可以通过逐步“根据样例训练”来学习执行这些任务 神经网络的基本思想是利用大量简单本质上相同的组件来创建一个灵活的“计算结构”并使其能够逐步通过学习样例得到改进。 神经网络的一个重要特征是说到底和计算机一样只是在处理数据。 如果有一个足够大的神经网络那么你可能能够做到人类可以轻易做到的任何事情。
嵌入
神经网络以目前的设置来说基本上是基于数的。因此如果要用它来处理像文本这样的东西我们需要一种用数表示文本的方法。 可以将嵌入视为一种尝试通过数的数组来表示某些东西“本质”的方法其特性是“相近的事物”由相近的数表示这就是“嵌入”(embedding)的思想。我们可以将词嵌入视为试图在一种“意义空间”中布局词其中“在意义上相近”的词会出现在相近的位置。如果测量这些向量之间的距离就可以找到词之间的“相似度”。 如何才能构建这样的嵌入呢大致的想法是查看大量的文本这里查看了来自互联网的50亿个词然后看看各个词出现的“环境”有多“相似”。例如alligator短吻鳄和crocodile鳄鱼在相似的句子中经常几乎可以互换这意味着它们将在嵌入中被放在相近的位置。但是turnip芜菁和eagle鹰一般不会出现在相似的句子中因此将在嵌入中相距很远。
ChatGPT的内部原理
从根本上说ChatGPT是一个专门为处理语言而设置的庞大的神经网络ChatGPT的总体目标是根据所接受的训练查看来自互联网的数十亿页文本等等以“合理”的方式续写文本。它最显著的特点是一个称为Transformer的神经网络架构Transformer引入了“注意力”的概念。 Transformer的思想是为组成一段文本的标记序列做与此相似的事情。但是Transformer不是仅仅定义了序列中可以连接的固定区域而是引入了“注意力”的概念。
它的操作分为三个基本阶段 ● 第一阶段它获取与目前的文本相对应的标记序列并找到表示这些标记的一个嵌入即由数组成的数组 ● 第二阶段它以“标准的神经网络的方式”对此嵌入进行操作值“像涟漪一样依次通过”网络中的各层从而产生一个新的嵌入即一个新的数组 ● 第三阶段它获取此数组的最后一部分并据此生成包含约50000个值的数组这些值就成了各个可能的下一个标记的概率。没错使用的标记数量恰好与英语常用词的数量相当尽管其中只有约3000个标记是完整的词其余的则是片段。 这条流水线的每个部分都由一个神经网络实现其权重是通过对神经网络进行端到端的训练确定的。换句话说除了整体架构实际上没有任何细节是有“明确设计”的一切都是从训练数据中“学习”来的。 当ChatGPT要生成一个新的标记时它总是“读取”即获取为输入之前的整个标记序列包括ChatGPT自己先前“写入”的标记。
个人常用的GPT工具推荐
文生文
kimi 智谱清言
文生图
即梦
个人书评
这本书是看小红书推荐的OpenAI的CEO称之为“对ChatGPT原理最佳的解释”本书包含作者在ChatGPT问世后不久写的两篇长文。第一篇介绍了ChatGPT第二篇则展望了ChatGPT的未来第二篇我没读只读了第一篇。第一篇介绍了ChatGPT在做什么并且一步一步推导如何通过计算机生成语言文字解释了它为何拥有像人类一样的生成语言的能力推导过程中还会解释重要的概念但是个人感觉并不适合完全新手小白阅读像我读起来很吃力很多内容读不太懂但是我觉得不是作者的问题是我文化水平的问题所以我给这本书4颗星满分5颗星。
