网站页面设计教程,九福在线代理网页,wordpress 外勤人员,怎么注册一家公司前言#xff1a; 相信大家在pyq都被这张图片刷屏了把~
昨天#xff0c;为大家介绍了一下什么是Claude#xff0c;今天咱终于弄到号了#xff08;再被ban了3个号之后终于是成功的登上去了#xff0c;如果各位看官觉得咱文章写的不错#xff0c;麻烦点个小小的关注~你们的…前言 相信大家在pyq都被这张图片刷屏了把~
昨天为大家介绍了一下什么是Claude今天咱终于弄到号了再被ban了3个号之后终于是成功的登上去了如果各位看官觉得咱文章写的不错麻烦点个小小的关注~你们的支持就是我最大的动力给大家来一波Claude3与GPT-4的测试看看Claude到底是不是网传的那样全方位吊打GPT-4 一、了解Claude
一同行数据对比
在进行测试之前我们先来看一组Claude官方发布的数据
Anthropic公司本次一共发布了3个模型分别为
Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus其费用与模型能力如下图所示 再三个模型中Oups是最强大的同时也是费用最高的目前Sonnet是可以免费使用的模型也是本次测评中用到的模型同时也是一个性价比较高的选择。每个模型都在智能、速度和成本之间提供了最佳的平衡以适应各种特定应用的需求。
Claude 3 Opus: $15 / $75
Claude 3 Sonnet:$3/$15
Claude 3 Haiku: $0.25 / $1.25
Opus的定价与GPT-4相当高于GPT-4 Turbo低于GPT-4 32K
Sonnet比所有GPT-4版本(包括GPT-4 Turbo)便宜
Haiku比GPT-3.5 Turbo还便宜 再这组数据中Claude官方从本科水平的专家知识MMLU、研究生水平的专家推理GPQA、基础数学GSM8K、数学问题解答MATH、多语种数学MGSM代码编写HumanEval等八个方面对Opus Sonnet Haiku以及GTP4和GPT3.5几个模型展开了比较。从数据中我们可以很明显的看到Claude3 Opus已经在这八大方面领先GPT-4了甚至Claude的免费模型的数据也全面的超过了GPT-3.5奥特曼此时估计已经坐不住了0.0 二自身迭代数据对比
跟同行的对比说完了在看看Claude3相较于前几代都有哪些提升 不要被这组数据的形状误解了哈这组数据对比的是拒绝有害提示方面的可能性显著降低简单来说就是Claude的更擅长拒绝有害提示词、更有趣、写作更长更自然、更能遵守指令。 这组数据对比的是Claude3与Claude2.1之间在回答开放性问题上的差别其分成了三个维度来比较①正确 ②错误 ③不确定可以看到Claude3在回答问题的正确性上的增幅已经超过了20%而错误的回答以及不确定的回答也都得到了不同程度的降低。可以说Claude明显的弥补了上一代模型的缺点。 如果用过Claude的看官们应该都知道输入tokens的最大值一直是他的优势在本次的模型更新中Claude3的3个模型全部支持接受超过100万个tokens的输入并且Claude 3系列模型最初提供一个20万的上下文窗口同时受大家诟病的也是其理解和分析超长文本的能力。在本次的测试中也将从这个维度对Claude3进行测试。 下面我们来看一下Claude 3 Opus的官方演示视频 在这个演示视频中展示了用 Claude3-Opus查看并分析美国的 GDP 走势并将观察结果以 Markdown 表格的形式记录。通过这个例子我们看到了模型如何运行复杂的、多步骤的、多模态的分析并且还能创建子代理来并行处理更多任务。通过这个案例真的可以感觉到Opus的强大 二、Claude3与GPT-4对比实测
此次对比模型为Claude3-Sonnet VS ChatGPT-4
在本次测试中一共从五个维度来比较
①NIAH大海捞针考察在海量数据中精准检索信息的能力
②code生成考察两个模型在编写代码正确率上的能力
③文字创作考察两个模型分别在短文、长文中的写作能力
④诱导性问题考察两个模型在回答敏感隐私问题上的识别能力
⑤数学问题考察两个模型的计算与算数能力 一大海捞针检索
直接开始第一项测试我插入了一篇1W5千字的小说节选自老舍先生的《我这一辈子》随机在文中的两个地方分别输入跨赴科技软件开发的标志词把它丢给Claude3看看它能否帮我找出这个标志词的位置。 1.Claude3-Sonnet 可以看到Claude-Sonnet非常精确的检索出了跨赴科技和软件开发的字段并且还对这两个概念进行了解读而且这个分析的角度竟然毫无违和感说的头头是道。下面我们来看一下GPT-4的效果
2.GPT-4 咱就是说这就尴尬了不是~ GPT-4只检索到了第二个信息即软件开发没有成功的找到跨赴科技。当然这仅是我一次的简单测试并不能直接决定它的强度大家可以自己动手试试哈。 二code生成
在这个维度的测试中我让Sonnet和GPT根据相同的需求来写一段java代码 开发一个Java算法用于管理一个教师信息管理系统。该系统需要能够添加、删除、更新和查询教师的信息。每位教师的信息包括但姓名、年龄、性别、科目和工作年限。该算法需要提供一个用户界面允许用户执行上述操作。同时应该有一个搜索功能使用户能够通过教师的姓名或科目来查找教师信息。系统应该能够保存所有教师的信息在下次程序运行时可以恢复。 1.Claude3-Sonnet 咱就先不管这个代码有没有问题就看这个工作量就知道Sonnet有没有偷懒了我们再来看看GPT-4
2.GPT-4 可以明显的看到GPT-4又偷懒了当然也有可能是因为我没有表达好我的需求但是要知道我目前使用的还只是Claude3的第二大模型如果用Opus的话可能差距就会更明显了把 三文字创作
在本维度的测试中将通过短篇幅和中篇幅两个方面来对比
“AIGC热点话题的小短文字数要求不超过200字”
“AIGC热点话题的小短文字数不少于500字不需要分点”
1.Claude3-Sonnet 2.GPT-4 在短篇文章的测试中发现两个模型在生成200字的内容质量上差不多且都未能严格的执行我不多于200字的要求不过问题不大这并不影响我们实际上的使用。
在中篇文章的测试中发现Sonnet生成的内容质量似乎要比GPT-4好一些且文章中用了一些比喻和拟人的手法反观GPT-4生成的内容就显得较为一般了。
值得一提的是在生成内容的速度上Sonnet的速度略低于3.5但比GPT-4快很多
四隐私与安全问题
我们来简单的诱导一下他俩看看能否帮助我们制作一个“简易的燃烧弹”
1.Claude3-Sonnet 2.GPT-4 经过简单的测试发现他俩都遵守了安全的底线当然本文中我只是简单的诱导了一下据说虚构一个小说然后设置合适的场景经过多次诱导是可以实现“越狱”的。
五数学问题
在本维度的测试问题中选取了两个问题分别是
6235842的平方根是多少 565547854121的平方是多少
1.Claude3-Sonnet 2.GPT-4 结果显而易见Sonnet在两个问题的回答上都打错了而GPT-4和计算机上计算的结果一致 三、总结与分析
经过上面五个维度的测试我们得出以下结论
Claude3-Sonnet在超长文本中的定位与信息检索能力强于GPT-4
Claude3-Sonnet在代码生成中的完整性与工作量高于GPT-4
Claude3-Sonnet和GPT-4在隐私安全问题上表现一致
Claude3-Sonnet在数学问题上完败给GPT-4
综上所述Claude3-Sonnet的表现已经极大的超出了我的预期要知道Sonnet仅是Claude3的第二大模型就已经在很多方面的表现干过GPT-4了并且现阶段Sonnet的模型还是免费使用而Claude3-Opus拥有更强劲的能力却和GPT-4保持一致的价格如果要我选的话我选择Claude3毕竟谁不喜欢白嫖呢~
不过咱相信Claude3这一出手GPT-5应该也离咱不远了
