从去年底至今，由 OpenAI 发布的大规模语言模型 ChatGPT 引发了几乎所有科技领域从业者的高度关注。据瑞银集团的报告显示，自 2023 年 1 月起，仅两个月内，ChatGPT 的月活用户数便超过了 1 亿。

ChatGPT 被誉为“最强 AI”，这归功于其展示出的近似于人类的思考与回答模式，明显增强了对不同情境的适应能力。这种“更接近人类的思考方式”标志着 AI 语言模型的发展由量变走向了质变。

此外，ChatGPT 的火爆也带动了 AI 概念股的上涨，并促使业界重新评估了 AI 行业的巨大发展潜力。接着，搜索引擎市场也掀起了一场大战，谷歌 CEO Sundar Pichai 在官方博客上宣布推出谷歌的新一代 AI 对话系统 Bard 来应对 ChatGPT；同时，百度宣布将推出其类似 ChatGPT 的产品——文心一言（ERNIE Bot），计划在三月份对外开放测试；微软也更新了自家搜索引擎 Bing，该版本的底层 AI 技术正是 ChatGPT，还为 Edge 浏览器增添了新的 AI 增强功能，承诺将带来前所未有的网络浏览和在线信息检索体验。

为了全方位多维度评估 ChatGPT 的能力，InfoQ 测评室参照了中国信息通信研究院与中国人工智能产业发展联盟的相关标准和评估方法，从功能、性能、用户体验等多个方面对 ChatGPT 进行了评估。让我们一起看看这款应用是否真如传说中那么强大。

**第一部分：基础功能验证**

**自然语言输入**

在中文、俄语、日语、英语以及网络用语的识别测试中，ChatGPT 表现出了较好的上下文联系能力。

结论：ChatGPT 能够理解用户前后文的问题与补充，整个交互过程较为流畅。但在对网络用语、口语或省略关键成分的句子的理解上，可能不如预期。

**机器语言输入**

通过基础编程题目“鸡兔同笼”，测试 ChatGPT 在不同编程语言间的切换及代码格式、逻辑、注释的能力。

结论：高峰时段测试可能出现识别错误，非高峰时段代码通常准确可运行。只要对问题理解正确，生成的代码基本可行。对于未明确表达需求的句子，ChatGPT 也能很好理解。

**第二部分：基础性能测试**

**百科检索**

结论：对常规检索问题，ChatGPT 能给出较全面的答案。作为对话伙伴时，其表现优于拟人化对话。

**数学问答**

结论：对复杂数学问题的理解与推理能力不足。在被质疑时，ChatGPT 快速承认错误，并分析原因，但未能改正错误。

**文学交流**

结论：相比数学问题，ChatGPT 在文科问题上表现更佳。但用户需谨慎验证答案的准确性，有时给出的链接内容并不存在。

**知识推理**

结论：对已确定事实和理论

猜测均能提供充分、条理清晰的回答，体现出生成式 AI 的关键特征。

**第三部分：用户体验**

结论：对于开放性问题，ChatGPT 能提供有参考价值的答案，但并不适合直接作为标准答案采纳，其趣味性略显不足。

**总体结论**

功能体验层面：ChatGPT 具备基本功能，逻辑性强，能够给出看似正确且合理的答案。然而，对于具体内容的搜索，其准确性不能完全保证，仍需提问者自行判断。目前而言，将其与搜索引擎结合使用仍需解决许多问题。

尽管 ChatGPT 的对话能力源自于 RLHF（即从人类反馈中强化学习），这种模式可能会牺牲上下文学习的能力，以增加对话历史的建模和信息量。实际体验表明，简单的多轮对话处理相对容易。

在数学问答方面，将整个问题直接提交给 ChatGPT 往往不会得到正确答案，但通过将问题拆解成小问题，逐步引导 ChatGPT，可以更有效地获得正确答案。

使用场景层面：目前已有开发者利用 ChatGPT 编写简单代码，但处理复杂业务场景的代码时还需优化提问方式，将复杂问题分解为简单问题。

在企业级应用层面，已有企业将 ChatGPT 的能力整合至 BI、数据库等系统中，用户可以通过自然语言提出问题并获取答案。

此外，目前通过 ChatGPT 生成的高级词汇可用于进一步通过图像生成软件创建图像，通常这种方式的结果优于直接与图像生成软件对话的结果。

其他需注意事项：在高峰时间段（上午10:00至下午17:00），ChatGPT 提供错误答案的可能性更高。ChatGPT 本质上是 AIGC（人工智能生成内容），更适合创作类内容，对于既定事实内容的搜索能力还需进一步提高。

   背景：免费AI问答交流-GPT