Anthropic 对用户与 Claude 3.5 Sonnet 的大量匿名对话展开分析,主要发现及相关情况如下:
-
使用用途分布
-
软件开发主导:在各类使用场景中,软件开发占比最高,其中编码占 Claude 对话的 15% - 25%,网页和移动应用开发超 10%,AI 与机器学习应用占 6%,DevOps 和云基础设施约 4%,数据分析占 3.5%。表明该模型在技术开发领域应用广泛且重要。
-
商业与小众应用多样:商业相关用途中,文本生成与交流约占 9%,学术研究和写作超 7%,商业策略和运营近 6%。还有如在《龙与地下城》中担任地下城主、解梦等小众用途,显示模型应用场景丰富多元。
-
-
问题揭示
-
违反政策行为:大量用户通过设计提示绕过安全分类器,利用 Claude 进行露骨性角色扮演,严重违反公司使用政策,凸显用户行为管理的必要性。
-
安全分类器缺陷:存在对话聚类标记错误的情况,部分应标记未标记,不应标记却被标记,表明安全分类器准确性有待提升。
-
-
研究工具与意义
-
Clio 工具作用:Anthropic 开发的 Clio 工具利用 Claude 3.5 Sonnet 提取对话摘要并聚类,经多步骤处理分析数据,在保护隐私同时为研究提供有效信息。
-
研究重要意义:传统调查方法了解 AI 使用情况易不准确,Clio 工具类似谷歌趋势监测搜索行为,能助力 AI 开发者发现小众用例、找出缺陷,优化训练和测试数据,更好满足用户需求,推动 AI 技术健康发展。
-