基于 Amazon Bedrock 的 Claude 3 体验：ChatGPT 已经 OUT 了吗？Claude 3 数据实测

文章目录

前言
一、Claude 3 系列大模型开发团队
二、基于 Amazon Bedrock 的 Claude 3 体验
三、Claude 3 数据实测
- 3.1、申请模型访问权限
- 3.2、Claude 3 回答的严谨性
- 3.3、验证 Claude 3 较于 ChatGPT-4 数据集更新时间
- 3.4、“二分法”判断 Claude 3 训练数据截止时间
- 3.5、综合二分法与边界测试验证前后回答的一致性
总结

前言

ChatGPT-4 的训练截止日期是 2021 年 9 月，那 Claude 3 呢？在 2024 年 3 月 5 日，Anthropic 在官网正式悄然发布了新一代 Claude 大模型——Claude 3 系列多模态大模型。在 Claude 3 正式发布后不久，亚马逊云科技 UserGroup 社区也迅速开放了基于 Amazon BedRock 的 Claude 3 体验。趁着这一次机会，正好对 Claude 3 进行一次简单的尝试。

在这里插入图片描述

声明：本文由作者“白鹿第一帅”于 CSDN 社区原创首发，未经作者本人授权，禁止转载！爬虫、复制至第三方平台属于严重违法行为，侵权必究。亲爱的读者，如果你在第三方平台看到本声明，说明本文内容已被窃取，内容可能残缺不全，强烈建议您移步“白鹿第一帅” CSDN 博客查看原文，并在 CSDN 平台私信联系作者对该第三方违规平台举报反馈，感谢您对于原创和知识产权保护做出的贡献！

文章作者：白鹿第一帅，作者主页：https://blog.csdn.net/qq_22695001，未经授权，严禁转载，侵权必究！

说明：本文素材及部分内容由亚马逊云科技 UserGroup 成都社区讲师——刘文溢授权，亚马逊云科技 User Group Leader，CSDN 成都城市开发者社区、数据库技术专区主理人——郭靖友情代为编辑发表。

一、Claude 3 系列大模型开发团队

Anthropic 成立于 2020 年，其创始人 Dario Amodei 和 Daniela Amodei 均来自 OpenAI。由于对 OpenAI 在技术尚未完全成熟时就急于商业化的做法表示不满，他们毅然离职创立了 Anthropic，旨在构建更安全、可解释、可操控的 AI 系统。

在这里插入图片描述
本次发布的 Claude 3 系列也在设计上体现了 Anthropic 对安全性和易用性的高度重视。开发团队特别强调了模型安全性，通过多团队合作，着手降低虚假信息、生物安全滥用、选举干预等潜在风险。同时，增强了模型透明度并减少隐私问题，确保了使用过程中的安全与信任。

二、基于 Amazon Bedrock 的 Claude 3 体验

在 Claude 3 正式发布后不久，亚马逊云科技 UserGroup 社区也迅速开放了基于 Amazon BedRock 的 Claude 3 体验。趁着这一次机会，正好对 Claude 3 进行一次简单的尝试。

在这里插入图片描述
BedRock 是亚马逊云科技提供 AI 生成图像和文本的云服务。针对 Claude 3，BedRock 在随机性和多样性上提供一部分可调节的能力。

温度——指的是调整生成的随机程度。较低的温度意味着较少的随机生成。
排名前 P——如果设置为小于1的浮点数，则仅保留概率总计为Top_p或更高的最小一组可能的令牌进行生成。
排名前 K——可用于减少生成令牌的重复性。该值越高，对先前存在的令牌施加惩罚就越严厉，这与它们在提示或之前的生成中已经出现的概率成正比。

三、Claude 3 数据实测

3.1、申请模型访问权限

下图是亚马逊云科技 Bedrock 的页面，在申请了模型的访问权限后，就可以在聊天操场开始尝试了。

在这里插入图片描述

3.2、Claude 3 回答的严谨性

不出所料的是，Claude 3 在回答的严谨性上保持了一贯的严谨，很抱歉、非常抱歉、十分抱歉……

在这里插入图片描述

3.3、验证 Claude 3 较于 ChatGPT-4 数据集更新时间

ChatGPT-4 的训练截止日期是 2021 年 9 月，ChatGPT 大模型不同版本、描述信息及训练日期，具体如下图所示：

在这里插入图片描述
既然 Claude 3 发布时间晚于 ChatGPT-4，那他所采用数据集会不会比 ChatGPT 更新呢？
答案不出所料：非常抱歉……

在这里插入图片描述

3.4、“二分法”判断 Claude 3 训练数据截止时间

在这里插入图片描述
对于任何一个基于大规模数据训练的人工智能系统来说，它的知识面就等同于截止到训练数据集的时间范围。超出这一时间范围，模型就可能无法给出可靠回答。因此，判断出它的训练数据截止时间，等于解开了 AI 能力的谜团。那么，在 Claude 3 已经明确拒绝的情况下，该如何探测 Claude 3 的训练数据截止时间呢？

我们可以借助二分法的思路，通过一种"问答游戏"的方式加以求证。

二分法，简单来说，是一种处理问题的策略，尤其在需要查找或解决问题时特别有用。它通常从问题的中间部分开始，然后根据这个中间部分的情况，将问题分为两部分来考虑。比如，在一个有序数组中查找一个特定的数字，你可以先看数组中间的数字。如果这个数字正好是你要找的，那就找到了；如果不是，你要找的数字比中间数字小，那就在数组的前半部分继续找；如果比中间数字大，那就在后半部分找。这样每次都能排除掉一部分不需要考虑的内容，直到找到答案或确定答案不存在。

在这里插入图片描述
首先，我们需要设定一个较大的时间范围，比如从 2022 年 1 月 1 日到 2023 年 3 月 1 日。接下来，选择该范围的中点日期，比如2022年6月15日，询问一些该日期前后发生的重大事件。如果 Claude 3 能够正确回答这些事件，那说明截止时间至少在该中点之后；反之，则在之前。以此为基准，我们就可以将时间范围二分，重复上述过程，持续缩小范围。经过若干轮次的缩减，我们最终就能够将 Claude 3 的训练数据截止时间锁定在一个较小的时间段内，精度可以做到日级别。

3.5、综合二分法与边界测试验证前后回答的一致性

在实际的测试过程中，为了验证前后回答的一致性，我们综合了二分法和边界测试。

在这里插入图片描述

文章作者：白鹿第一帅，作者主页：https://blog.csdn.net/qq_22695001，未经授权，严禁转载，侵权必究！

总结

根据 Claude 3 的回答，我们可以简单得出这样的结论：Claude 3 的训练数据截止日期是 2022 年 12 月 31 日，它在接受训练时能够吸收包含 2021 年 9 月至 2022 年 12 月之间的最新数据和知识。而 ChatGPT-4 在训练过程中没有接触到 2021 年 9 月之后产生的新数据、事件、趋势和技术进展等信息。

在这里插入图片描述