本文作者：郑岩（华为云AI变革首席专家）全文约3554字，阅读约需9分钟
上周，我们探讨了企业应用AI大模型的“道、法、术”——法：落地篇“AI变革五阶八步法”的前四步内容（华为大咖说 | 企业应用AI大模型的“道、法、术” -- 法：落地篇 （上））。今天，我们将继续深入解析“五阶八步法”剩余的要点。
第4阶数据
⑤ 知识数据治理
这里的知识数据治理，完全是for AI的，大致可以分成两个部分，“垂域知识”和“标注数据”。类比一下，垂域知识相当于是课本，标注数据就是考卷。
1、垂域知识治理
为了让AI大模型能“懂行”，我们需要把我们的垂域知识整理出来，“喂给”AI大模型，不管是通过训练的方式，还是通过ICL的方式。（ICL，In-context Learning，是一种让大型语言模型（LLMs）通过少量标注样本在特定任务上进行学习的方法。）
大家都说，AI大模型需要大量的数据来训练，这里有个歧义，此“数据”非彼“数据”。AI大模型能消费的，就是语义化的数据，也就是非结构化数据，或者某种意义上的“知识”。而传统意义上的结构化数据，不能绝对地说对AI大模型啥用也没有，但是利用起来成本和效率确实非常低，需要很多额外的处理和还原，但原始的信息损失是不能弥补的。
在华为传统IT应用设计和构建中，会遵循4A集成原则，数据部分由IA（信息架构）负责。而在构建AI应用时，虽然也会涉及4A集成，但数据部分仅靠IA是远远不够的，还要加入KMer（知识经理）的力量，甚至KMer的作用相比IA更为关键，他们负责确保AI模型基于高质量、精准的数据进行训练和优化。（*4A集成原则是指在企业架构设计中，围绕业务架构（Business Architecture, BA）、信息架构（Information Architecture, IA）、应用架构（Application Architecture, AA）、技术架构（Technology Architecture, TA）四个关键方面进行集成架构的设计，以支持企业的数字化转型。）
如此一来，我们要做成一个AI大模型的应用，具体治理的方法，大致步骤如下：
- 梳理知识资产清单
- 建立KOS体系（KOS，Knowledge Organization Systems，知识组织体系）
- 划分知识责任田
- 建立知识运营机制
- 知识入湖、索引、切片、向量化
2、标注数据治理
反馈数据，也是AI大模型改进的关键。对于标注数据的管理，目前是没有标准方法的。
这里简单分享一下我们的做法：
1、需要有一个标注平台，来辅助AI训练师来标注，标注平台要尽可能详尽的把整个AIGC的过程体现出来，包括上下文、使用的知识片、意图理解情况、提示词等等；
2、需要对原始的标注数据进行清洗，包括错误的标注、低质量的标注，都会干扰我们非常有限的AI训练师资源。这里引入AI大模型来评估内容质量，是一种不错的方法；
3、需要对标注结果进行质量评估，千万不要高估人的“一致性”，哪怕是有流程、规范、指导书，都很难让不同的人对相同的答案做出一致的判断，而且我们也没有这么多资源来交叉评分。这里有几个小经验，一个是用AI大模型对人肉书写的反馈做标准化，另一个是尽可能让人做选择题，而不是评分。
第5阶IT
⑥ 模型训练
模型训练，其实是之前传统IT应用建设里比较少涉及的。一般哪怕是引入了AI（小模型），也都是交给专业的AI团队来完成。
但是这波AI大模型的革命，就是标准化掉了一个东西，叫Foundation Model，也就是基模型。我们所做的训练，其实就是在基模型上添砖加瓦，跑跑流水线的事儿。
当然，往细节里说，基模型也有的选，除了不同的尺寸，还有不同的能力偏好以及风格。关于基模型的选择，会涉及到对AI大模型趋势的关注、综合评估，以及IT团队对模型的选型判断。
另外，训练的过程虽然傻瓜化了，但是细节也还是很多：
- 怎么准备高质量的数据
- 怎么调超参数
- 怎么评估模型效果
这里如果展开，每一条也值得深究，而且这三个没有一个确定性的答案，还都在摸索的阶段。
总之，AI大模型的训练，从工程方法上，是已经非常标准化了，但是细节还很多不确定性，适合先默认配置跑一下，慢慢迭代。
⑦ AI服务融入作业平台
这部分在上篇（华为大咖说 | 企业应用AI大模型的“道、法、术” -- 法：落地篇 （上））已经讨论过不少，大致逻辑就是要把AI的能力设计到IT系统中。
这里我们有几个做法，可以参考：
- 触点不新增，就地升级：这里反过来思考，新增触点也就意味着新的应用入口，该应用的定位、运营、推行，都是独立的挑战。而就地升级，不仅可以直接提升到现有触点的用户体验和效率，也能够充分将AI与现有的流程和作业融合在一起，不必割裂。
- 保持一致的体验和交互设计：整体的AI触点风格、元素和交互的设计，不仅可以避免大家自己搞重复投资，而且有助于对新的LUI（Language UI）交互的用户的心智养成。毕竟，这轮AI大潮才刚刚开始，所有人都需要时间学习和适应。
另外这里其实也是有两个流派的探讨，一个是“AI+”，一个是“+AI”。
AI+ ：所谓“AI+”，就是AI Native的应用，认为AI应用应该以AI为中心，如果拿走AI，应用就不work了。这里有一堆业界大佬给这个方向站台。
+AI ：所谓“+AI”，就是在原有的触点升级，通过AI的能力来改进或改造一部分功能和体验。
其实，我个人觉得都是噱头偏多，若不是AI大模型能力不行、场景受限，我才懒得选，肯定是全都围绕AI大模型来搞。但是现实是残酷的，你真的搞个AI驱动的XX应用，就是跑不起来，目前C端也没见到啥杀手级应用（如果ChatGPT式的问答助手算的话，也行）。所以我觉得不要较真，现阶段就是“+AI”。
不过，我们在设计的时候，因为AI大模型能力还在不断快速迭代，有个终局思维是对的，这样能看得更长远。
最后，就是，不要在AI大模型前进的车轮下“绣花”。这个事儿非常关键，现在因为AI大模型自己的能力不够，我们不得已要做很多工程的“代偿”，但是，“代偿”一时爽，一直“代偿”能不能一直爽，这里有个大大的问号。这里同样也先不过多赘述，可以参考我前面第一篇总结《认知篇》。
⑧ 持续运营
从根本上讲，持续运营不是IT这一阶的内容，而是横跨了流程、组织、数据和IT。为了排版，我就暂且放在这里。
AI应用的持续运营，甚至比AI应用本身的建设还重要。没有持续运营的规划和配套，AI应用就不应该“生”出来。我们甚至提了个说法：“无运营不开工”。
因为我们在对待AI应用的时候，有个前提假定，就是AI大模型默认在大部分企业场景上，只能是及格水平。为了让AI应用做成，我们支撑持续迭代它，在不断地反馈过程中喂养它，才能使之达到80分的水平。
为了做成这件事儿，有这么几个配套：
- 流程：首先得有个AI应用的运营机制建立并发布出来；
- 组织：然后得有个团队对持续运营工作负责，里面的核心成员是AI训练师；
- 数据：需要通过数据驱动、反馈驱动的方式，一方面关注业务指标和技术指标的达成情况，另一方面也关注反馈的质量；
- IT：持续运营需要配套的运营平台和工具，包括标注的工具、AI助手各项指标的看板，这块看到Microsoft Copilot Studio也有类似的能力，可以参考。
讲到这里，“五阶八步法”正式分享完毕。“五阶八步法”整体环环相扣，又互相有部分包含。我觉得大家不要纠结这里的字面意义，更多还是理解好我们的设计思想。
最后，实操上还有两个小套路，分享给大家：“Think Big, Start Small”和“低垂的果子先摘”。
Think Big, Start Small ：围绕AI使能的场景，想找到一个完美的端到端适用且价值极高的场景，是非常困难的。与其追求完美主义，不如想想，从哪儿切入，围绕一个场景，可以细分出很多个use case，这里其实又可以分个轻重缓急。
低垂的果子先摘 ：就是要赢，要先胜，特别是面向AI大模型的应用，非常需要胜利来积累经验和能量，才有机会可以复制到其他场景。不然上来开一枪，哑火了，然后就没有然后了。
举个例子，当我们泛泛地说客服场景的时候，其实里面包含了非常多个细分环节，比如客户工单的分流、定级、信息收集、诊断、处置、反馈、总结，这些use case比流程活动还要细。甚至，单纯的某个use case里，又可以按不同的工单种类来细分，比如咨询类工单与故障类、备案类、投诉类工单的诊断和处置都是不一样的，数量不一样，难度不一样，方案成熟度也不一样。
如此一来，这里的业务痛点识别，会细分到一个或者多个具体可落地的范围。当然，这个范围也会发生变化，可能做着做着发现不合适，就要马上调整，或是如果效果和进度超过预期，就值得多搞点进来。
AI大模型应用的路上，还有非常多不确定性，技术路线也远远未收敛，欢迎大家留言交流，互通有无~~
更多干货，请戳这里：https://shixizhi.huawei.com/
