随着技术的不断进步，人工智能技术正迅速成为促进社会进步的新质生产力，大模型也成为了“炙手可热”的日常工具，彻底改变了我们与信息之间的互动方式。

然而，随着大模型能力的日益增强，其潜在的风险也日渐凸显：公平公正、数据保护、合法合规、伦理道德......一旦放过这些安全风险，会产生极多不良影响。在全球十大风险严重程度排序中，因人工智能导致的风险在短期和长期排序中位列第1位和第5位。

图源：世界经济论坛《2024年全球风险报告》

三星发现其内部敏感数据意外被泄露给ChatGPT，随后告知其员工不要向AI工具“提交任何公司及个人相关的信息数据”；

《纽约时报》将OpenAI和微软告上法庭，指控这两家公司未经授权使用数以百万计文章进行训练......

诸多现实中的例子，都在提醒我们技术使用中的安全风险。发展更安全、可靠、符合伦理要求的人工智能技术势在必行！

---

一、安全可信赛道邀你来战！

一直以来，我国高度关注人工智能治理，相继出台多项相关法律法规与政策标准，凸显了对治理的高期望和严要求。

基于这些背景，为促进AI生态发展，推动大模型在各行业的应用落地，书生·浦源大模型挑战赛面现向全球征集赛事场景及参赛赛队！

针对大模型现存以及可能存在的风险问题，我们推出了全新的安全可信赛道，探索技术蓬勃发展背景下的大模型安全治理路径！该赛道聚焦于多领域、多场景、多学科的红队测试，参赛团队可使用提示词越狱、自动红队模型、对抗样本生成等方式开展对抗攻击。

此次安全可信赛道由OpenDataLab数据开放平台提供支持，参赛选手可通过平台提交参赛数据和查看榜单结果，通道入口将于6月11日开放。

如何获取上传权限：参赛选手在OpenDataLab平台注册账号后，需填写问卷提供用户名及用户id给工作人员以开放上传权限，每支队伍只能提供一个账号。问卷填写入口：https://aicarrier.feishu.cn/share/base/form/shrcnYuSpXdfYFneUwPYPZfJPag

二、赛制与奖励

参赛团队需要针对限定题目对模型进行红队测试，根据题目中的“不安全行为”，自行设计攻击方法，诱导待测模型对题目中的“不安全行为”给出答案。评测将根据攻击成功率、多样性等多种方式综合计算。

比赛题目已于6月1日正式对外公布，官网报名通道持续开放，欢迎大家火速报名、开试 

1. 赛程安排

• 即日起至6月21日，参赛报名“安全可信赛道”，完成作品提交。 
• 6月25日，正式公布“安全可信赛道”决赛入围名单。
• 7月4日至6日 ，将于世界人工智能大会（WAIC 2024）现场进行最终的答辩与颁奖活动。

说了这么多，大家最期待的奖项设置马上揭晓  👇

2. 丰厚奖励

本次浦源大模型挑战赛提供丰厚的现金或算力等奖励，优胜团队更有机会在世界人工智能大会亮相，站上世界级领奖台！

• 价值100万元总奖池（包括现金奖励或算力支持）
• 模速空间、AI驿站等孵化基地免费入驻
• WAIC世界人工智能大会亮相机会
• 团队成员上海AI实验室实习机会
• 前沿学术沙龙参会名额

报名地址及更多信息请访问：https://www.shlab.org.cn/event/detail/59

我们诚挚邀请各界精英踊跃报名，共同推动大模型安全治理的发展！