1.系统背景
在我们实际进行数据挖掘研发过程中,为了验证某些算法在业务中的性能每次都需要去从头写代码,如果我们将我们研发的算法以模块化的思想封装起来,下次再使用的时候直接在系统中进行拖拉一下生成一个工作流,就能完成数据挖掘的实验,这将大大的提高我们的工作效率,最重要的是可以将我们的研发结果积累到系统中,可以重复的使用。
2.挖掘实验功能预览
2.1 功能图
2.2 功能描述
2.2.1 算子定义
算子是定义的是一个操作,我们可以通过自定义算子来覆盖我们的所有业务。同时算子也可以通过系统配置进行修改。
2.2.2 有向无环图工作流
通过鼠标将左边的算子拖拉到右边工作区,形成一个有向无环图,提交到计算引擎,这里计算引擎分为本地计算和大数据平台,技术架构都是通过Spark技术栈进行封装。
3.技术架构
3.1 技术架构图
4. 总结
大数据挖掘系统后期将接入云原生,并做代码分享,欢迎持续关注。