目录
策略部署
决策引擎系统简介
基于决策引擎进行策略部署
策略部署结果验证
知识点补充
测试验证
回溯比对
策略部署
策略主要部署在决策引擎上进行风险决策,接下来分别介绍决策引擎系统,以及基于决策引擎进行策略部署的相关内容。
决策引擎系统简介
决策引擎是风控策略和风控模型部署并进行集中决策的平台,也是金融机构所有风控系统中的核心系统,它可以被看作智能风控的“大脑”,支撑着贷前、贷中、贷后大多数风控场景的风险评估和决策。决策引擎系统往往具有可视化、操作简单等优点。它具有以下四个核心功能。
- 1)变量接入和整合。决策引擎实现了对底层变量的接入和整合,将所有来源的变量汇总到一起,为模型和规则的计算奠定了基础。
- 2)实现模型和规则计算。决策引擎基于整合的变量对模型和规则进行计算,并输出计算结果。
- 3)实现决策流配置。决策引擎按照决策流将规则进行串联或并联,然后进行决策,并输出决策结果。需要说明的是,决策引擎对决策结果响应时间有非常高的要求,通常需要在数百毫秒内返回决策结果。
- 4)决策结果监控。决策引擎往往实现了对决策结果的监控功能,相关人员可以实时或非实时获取相关的监控数据,以便及时了解各个维度的风控指标并做出相应的判断和决策。
基于决策引擎进行策略部署
在策略部署人员接收到策略部署需求OA 后,就到了策略部署环节,策略部署人员会基于GitLab 等版本库中上传的策略需求文档在决策引擎上部署策略,待策略部署完成后,点击策略部署需求OA,进入策略部署结果验证环节。
现在,决策引擎的操作越来越简单,一些金融机构的策略开发和部署工作已经逐渐开始由策略开发人员独自完成了,这样做的好处是可以大大降低沟通成本,提高策略部署上线的效率,使策略快速上线并产生应有的作用,相信在不久的将来,策略开发和部署由策略开发人员独自完成的现象会越来越普遍。
策略部署结果验证
在策略部署完成后,需要对策略部署结果进行验证。策略部署结果验证方法主要有测试验证和回溯比对,在实际工作中,经上述两种验证方法先后验证无误后,策略才可以正式上线参与风险决策。之所以在策略部署过程中对部署结果进行多次验证,是因为若策略部署有问题,上线后可能会造成重大的生产事故,甚至会给金融机构带来不可估量的损失。为了避免上述情况的出现,在策略部署完成后、上线决策前,对策略进行多次验证是必不可少的。
知识点补充
本风控场景中,除上面提到的策略部署结果验证方法,还有针对第三方数据源效果的线下回溯验证和线上“空跑”验证,以及针对策略效果的AB测试、随机测试等验证方法。
金融机构在评估客户风险的时候通常会依赖一些第三方数据源,在引入这些数据源之前,如何评估数据源的好坏呢?常用的评估方法有线下回溯验证和线上“空跑”验证。
线下回溯验证是金融机构将客户脱敏后的如MD5格式的身份证号、MD5格式的手机号、进件时间等信息离线发送给第三方数据源机构,第三方数据源机构基于这些信息对数据源进行时点回溯,回溯完成后将结果发送给金融机构进行评估,金融机构基于评估结果决定是否调用该数据源进行风险决策。第三方数据源机构为了出售自己的数据源信息,可能会进行伪回溯操作,将客户当前的数据信息而非回溯时点的信息发送给金融机构进行评估,基于伪回溯的客户信息进行评估的结果往往是非常好的,但是,在真正生产中调用后,就会发现数据源效果没有回溯分析时那么好,会出现较大的偏移。为了防止第三方数据源机构进行伪回溯从而干扰数据源评估效果,可采用数据源线上“空跑”验证的方式评估数据源效果。数据源线上“空跑”验证是通过线上实时调用第三方数据源信息而不做决策的方式积累数据源样本,待样本积累到一定数量后,停止调用该数据源,待这些样本有一定风险表现后,再评估数据源效果的操作。上述两种数据源效果验证方式各有利弊,其中线下回溯验证周期短但很难识别是否进行了伪回溯;线上“空跑”验证可以避免伪回溯但验证周期太长,通常要三个月或者更长的时间才能评估完成数据源效果。在实际工作中,为了快速找到效果好的数据源进行风险管控,常用的评估数据源效果的方法仍然是进行线下回溯。在进行线下回溯时需要提防伪回溯。
测试验证
测试验证是指在策略部署完成后,由专门的测试人员对部署结果进行验证的过程。测试验证主要验证策略部署结果是否正确、策略决策流是否能“跑通”、决策流执行速度是否达到要求、决策结果是否符合预期等内容。
在测试验证时,测试人员首先会对策略部署结果进行检查,若部署结果没有问题,则测试人员会构造一批满足策略执行条件的人参,并输入策略决策流进行决策,在策略决策时,对决策结果进行验证。若验证不通过,则进行原因排查并基于排查结果协同策略部署人员解决相关问题;若验证通过,则说明策略部署结果没有大的问题,可以通知需求提交人(通常是策略开发人员)进行部署结果验收,需求提交人通常基于“回溯比对”方式验证策略部署结果是否准确。
回溯比对
在“测试验证”通过后,测试人员会通知需求提交人再次对策略部署结果进行验证和确认,需求提交人对策略部署结果准确性进行验证和确认通常分为两种情况,一是策略开发时无历史样本(如冷启动策略),无法进行策略回溯,这时通常不再进行确认,直接同意策略上线决策即可;二是策略开发时有历史样本,这时通常采用回溯比对的方法验证策略部署的准确性,待验证无误后,即可同意策略上线决策。
策略回溯是通过策略回溯功能(该功能通常会集成在决策引擎中),基于历史数据而非线上实时数据执行部署好的策略并返回决策结果的过程。在“回溯比对”过程中,通常会使用策略回溯来评估已经部署的策略是否准确。回溯比对是指在策略部署后、上线前对部署的策略进行回溯,回溯完成后比较在相同样本区间上策略回溯结果与策略开发过程中的离线分析结果是否一致,若结果一致,则说明线上部署的策略没有问题,可以上线参与决策;若不一致,则需要排查不一致的原因并协同策略部署人员解决相关问题。