知识运维概述

文章目录

    • 知识运维
    • 研究现状
    • 技术发展趋势

知识运维

    由于构建全量的行业知识图谱成本很高,在真实的场景落地过程中,一般遵循小步快走、快速迭代的原则进行知识图谱的构建和逐步演化。知识运维是指在知识图谱初次构建完成之后,根据用户的使用反馈、不断出现的同类型知识以及增加的新的知识来源进行全量行业知识图谱的演化和完善的过程,运维过程中需要保证知识图谱的质量可控及逐步的丰富衍化。知识图谱的运维过程是个工程化的体系,覆盖了知识图谱的从知识获取至知识计算等的整个生命周期。

    知识图谱的运维包括两个方面的关注点:一个是从数据源方面的基于增量数据的知识图谱的构建过程监控,另一个是通过知识图谱的应用层发现的知识错误和新的业务需求:例如错误的实体属性值、缺失的实体间关系、未识别的实体、重复实体等问题。这些运维暴露的问题会在知识图谱构建的流程、算法组合、算法调整、可新增业务知识优先级排列等方面进行修正,提升知识质量和丰富知识的内容。知识图谱运维需要基于用户反馈和专家人工的问题发现及修正、自动的运行监控、算法调整后的更新相结合,因此是一个人机协同,专家和算法相互配合的一个过程。知识运维的全过程如下图所示:

图片名称
知识运维

研究现状

    构建知识图谱是一个持续和增量的过程,随着数据的不断更新(爬虫数据不断积累、业务数据持续更新等),如何持续地对图谱进行更新成为了一个重要的问题。普通的知识图谱增量更新包括新元素的加入(节点、边或对应的属性)、旧元素属性的更改。在更复杂的场景下可能会涉及到已有元素的删除操作。工程上高效、自动的增量更新策略对于维护一个动态更新、准确性高的知识图谱意义重大。根据不同的使用场景和不同的数据来源,主要存在以下两种增量方式: 数据从消息队列导入图谱、利用工作流引擎定时更新图谱。

图片名称
数据从消息队列导入图谱
图片名称
利用工作流引擎定时更新图谱

    如果知识运维人员要高效的进行知识图谱的运维工作,需要对知识图谱中的实体、本体、属性、关系进行统计,掌握目前的知识图谱的规模和状况,也可以对图谱中的知识进行上传或者下载操作,方便进行图谱内知识的管理。同时系统需具备对图谱运行中间产生的各种异常情况进行集中的展示、问题提醒等功能,报告知识图谱中出现的问题,方便运维人员及时进行修正。

    按照业务的正确率的要求程度、数据的量级等角度考虑,需要对知识图谱有明确的新增知识入库的标准和流程。对于准确率要求高的知识图谱支撑应用,对新识别的实体、变更的实体属性、实体或关系冲突等,需要通过明确的列表的方式呈现并由有相关知识背景的专家来进行审核确认后方能入库,审核入库过程要有记录。对已经构建好的知识图谱需要有可以直接增、删、改的途径。此外由于知识图谱中非事实型的行业知识往往具有模糊性,在构建和运维图谱的时候需要有套冲突检测以及多人协同编辑的功能,如果系统自动检测到冲突点或者不同的知识运维人员运维同一知识点产生认知的不一致,那么需要系统提供多人协同工作讨论确定对知识的统一认知和编辑加入知识图谱。

    在知识图谱的管理中,可以引入版本概念,按照知识的更迭进行管理,可以设置当前对外服务的知识版本,可以对历史的知识版本进行作废或者回滚处理。基于版本的知识图谱运维可以实现知识图谱的升级切换,方便线上应用业务的平滑升级,也可以在新版本知识图谱上线出现问题情况下快速切换回原有版本,降低对业务的冲击,同时避免误操作后的知识丢失。

    知识图谱在构建的过程中往往倾向于将各种不同来源的数据进行融合构建成为一个完整的知识体系,这样的好处是打破数据壁垒造成的知识缺失。融合的知识对于决策与分析价值更大,但是也减低了原始数据源中的数据访问权限的控制,带来了数据的安全风险。因此对于不同部门或者层级的人员可见或者使用的知识范围要有明确的限定,对知识的上层应用要控制开放的知识范围,降低因为知识融合产生的知识泄密风险。针对此挑战,需要引入权限管理,对维护、使用知识的人员、系统进行账号分配、权限分配,对于人员权限可能需要对接组织已经建设的统一登录和单点登录系统,将知识图谱管理和使用的权限和人员在组织内的角色有机结合,降低人员变动后的数据安全风险。在整个知识图谱的运行过程中,要有日志监控、操作记录、变更内容的记录等,便于追踪异常,堵住漏洞。

    一个知识图谱可能含有上亿个节点以及上百亿的边,单台机器很明显无法存储和处理如此海量的数据,保证分布式图谱服务在某个或者某些节点失效时还能稳定可用就是知识图谱高可用的定义。一个完善的知识图谱通常拥有重大的价值,高可用只保证了服务阶段的可用性,保证在意外发生的时候图谱数据不至于完全丢失是图谱灾备需要解决的重要问题,如下图所示。

图片名称
知识容灾备份

技术发展趋势

    知识运维是知识图谱可以持续健康发展并且支持业务的关键,但是运维工作往往技术难度大,涉及步骤多,所有知识构建及使用人员都是参与者,各部分人员的技能有一定差异,沟通成本比较高,因此需要将知识运维纳入到整个知识图谱的构建体系中来看待,为了降低知识图谱构建的难度并提高运维的可控性,便于知识高效运维,出现了知识图谱平台化的发展趋势。通过建设知识图谱平台的方式将知识图谱构建过程中涉及的所有步骤、技术进行整合,实现知识图谱构建过程的全生命周期管理,加快知识图谱的构建速度,降低知识运维难度,同时对知识图谱的质量和扩展可控可管理。

    具备知识运维能力的知识图谱平台主要功能宜包括:本体的构建,针对多种数据来源的结构化、半结构化、非结构化的数据类型在不同的技术下的知识获取,实体识别、关系识别、实体链接、实体属性抽取的实现,基于本体概念和实体知识图谱间的验证,构建流程与运维过程的监控,对知识图谱构建过程中的各种异常情况的记录和反馈,对入库知识图谱的人工审核。此外,通过在知识图谱平台的知识库以版本的形式进行管理,避免知识运维中因为新知识的错误发布对现有业务的影响,提供给运维人员上线发布前的质量检测方法,并将经过严格测试验证的知识图谱版本正式生效上线,最终保证知识图谱全生命周期各环节的数据质量。

    此外,面向按照不同领域和范围下多个知识图谱的构建和运维,有待开发一套完备的平台对多个不同知识应用提供支撑。该平台本身需具备完整的安全管控及权限管理,并可满足动态本体的多人协同构建、冲突检测及讨论确定统一的版本的机制及功能,最终可对外开放给上层应用,提高应用的智能化。同时,通过应用的使用记录及问题反馈带动知识图谱的运维优化,形成闭环全周期的多知识图谱间的运维管控。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/669280.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

“手撕”链表的九道OJ习题

目录 1. 第一题 2. 第二题 3. 第三题 4. 第四题 5. 第五题 6. 第六题 7. 第七题 8. 第八题 9. 第九题 1. 第一题 删除链表中等于给定值 val 的所有节点。OJ链接 思路如下: 相当于链表的removeAll();制定prev和cur,prev记录前一个节点&#xff…

2024最新VMware Workstation Pro下载教程

自从2024年5月份之后,VMware workstation player就不能直接在vm官网下载,需要到broadcom博通网站上下载 下面介绍最新下载步骤: 百度直接搜索vmware 进入官网点击Workstation Pro链接 博通注册对应的账号 现在下载都需到博通注册对应的账号 登录邮…

网络原理-TCP/IP --应用层

T04BF 👋专栏: 算法|JAVA|MySQL|C语言 🫵 今天你敲代码了吗 目录 3.网络原理 -TCP/IP3.1 应用层 3.网络原理 -TCP/IP 3.1 应用层 应用层是程序员打交道最多的一层,与应用程序直接相关 而应用层的协议,实际上就规定了你写的程序,通过网络传输的时候,按…

使用 Scapy 库编写 IP 地址欺骗攻击脚本

一、介绍 1.1 概述 IP地址欺骗(IP Spoofing)是一种网络攻击技术,攻击者伪造其数据包的源IP地址,使其看起来像是从其他合法地址发送的。这种技术常用于各种攻击中,例如DDoS攻击、Man-in-the-Middle(MITM&a…

271 基于matlab的可调Q因子小波变换故障诊断

基于matlab的可调Q因子小波变换故障诊断,可用在轴承、齿轮、活塞等故障诊断中,程序中包含了原始TQWT工具箱和轴承振动信号信号的谱包络的求取。通过仿真数据、实际轴承数据说明了方法的效果。程序已调通,可直接运行。 271 可调Q因子小波变换 …

算法第三天力扣第69题:X的平方根

69. x 的平方根 (可点击下面链接或复制网址进行做题) https://leetcode.cn/problems/sqrtx/https://leetcode.cn/problems/sqrtx/ 给你一个非负整数 x ,计算并返回 x 的 算术平方根 。 由于返回类型是整数,结果只保留 整数部分 ,小数部分将被 舍去 。 注意:不允许使用任何内…

Gavin Wood 访谈|Polkadot 从何而来,又将如何面对 AI 时代?

如果没有宏观经济,加密世界可能无法存在。或许,Satoshi Nakamoto 也永远不会写出那篇开创性的白皮书。区块链技术作为指数时代的核心之一,在宏观经济理论中占有重要地位。传统的经济增长公式是人口增长加生产率增长加债务增长。然而&#xff…

32【Aseprite 作图】石头——拆解

1 石头先画轮廓,还是2 4 1 1 2 2 2,这样画一个圆的轮廓 或者2 1 1 3 5 1 1 1 1 2 4 , 2 最暗一层的黑色,做阴影部分,就是7 4 3 2 做最深的部分 各个地方画一些浅色的,做高光部分,上面的高光偏圆…

依赖管理包介绍

文章目录 1. 概念介绍2. 思路与方法2.1 实现思路2.2 相关组件 3. 示例代码4. 内容总结 我们在上一章回中介绍了"使用get进行依赖管理"相关的内容,本章回中将介绍如何使用get进行状态管理一.闲话休提,让我们一起Talk Flutter吧。 1. 概念介绍 …

【计算机毕设】SpringBoot海滨体育馆管理系统设计与实现 - 源码免费(私信领取)

免费领取源码 | 项目完整可运行 | v:chengn7890 诚招源码校园代理! 1. 引言 体育馆作为重要的体育场馆,承担着举办体育赛事、健身活动和文化演出等多种功能。为了提高体育馆的管理效率和服务质量,本项目旨在…

2024-05-31 blue-VH-driver-问题分析-有状态的服务-状态的处理

摘要: VH的driver对上层提供的接口,是会保持状态。这个状态,可以分为,查询的数据的状态,主要是为了提供翻页查询的功能。另一种状态,就是订阅。 有状态的服务: 状态是什么? 其实从调用方的角度更好的理解&#xff0c…

进程与线程(三)

进程与线程(三) 进程间通信传统间的进程间通信机制无名管道无名管道的特征无名管道的创建父子进程通信测试管道的大小管道读写易出现的问题 有名管道创建有名管道有名管道的写端代码有名管道的读端代码 信号信号的特征产生信号硬件来源软件来源发送信号的…

【MATLAB】概述1

非 ~ 注释 % 定义 >> 数组 赋值 赋值:>> x1 函数 数组 x[x1,x2] 行向量(,or ) x[x1;x2] 列向量 x. 转置等间隔向量 1-10 向量:>>xlinspace(1,10,10) 矩阵 矩阵:>>A[1,2,3;4,5,6;7,8,9] …

重生之 SpringBoot3 入门保姆级学习(10、日志基础与使用)

重生之 SpringBoot3 入门保姆级学习(10、日志基础使用) 3.1 日志基础3.2 使用日志3.2.1 基础使用3.2.2 调整日志级别3.2.3 带参数的日志 3.1 日志基础 SpringBoot 默认使用 SLF4j(Simple Logging Facade for Java)和 Logback 实现…

Django ORM魔法:用Python代码召唤数据库之灵!

探索Django ORM的神奇世界,学习如何用Python代码代替复杂的SQL语句,召唤数据库之灵,让数据管理变得轻松又有趣。从基础概念到高级技巧,阿佑带你一步步成为Django ORM的魔法师,让你的应用开发速度飞起来! 文…

Adobe Acrobat DC无法卸载

控制版面、电脑管家等均无法卸载,使用自身的remove也不能卸载 解决方法:删除Adobe Acrobat DC的注册表 1、首先打开注册列表: 2、根据圈出来的信息,找到以下路径: 计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Classes\Inst…

c++车票管理系统

这里写自定义目录标题 c车票管理系统vx:sredxc车票管理系统初始页面,需要源码vx:sredxc新增车票信息查询车票信息代码包含完整的发布车票信息,购票,退票,票数检测,余票检测,车票查询等功能 c车票管理系统vx:sredxc 这段代码实现了一个简单的高铁票务管理系统,具有以…

动态路由OSPF单区域和多区域配置实验

动态路由OSPF的配置 OSPF分类两种情况:单区域 多区域路由 OSPF单区域路由配置 OSPF:开放最短路径优先的路由协议。属于大型动态路由协议,适用于中大型的园区网。 网络拓扑: 配置步骤: 1.完成基本配置(略&…

如何在测试/线上环境页面访问本地接口?

文章目录 一、前言二、分析三、搭建1、搭建nginx,监听http请求转发2、监听https请求转发 四、总结 一、前言 在工作中,开发完的接口,一般测试的话,基本是使用Postman,如果要到页面测试,就要发版进行测试&a…

5.29工效学-人因工程人机交互

对于工效学这门课,一直都感觉很有意思,是一个值得再认真一点的课。可惜上课的时候效率不高,有感兴趣的东西课后也没有自行去拓展开来,前面的课我感觉还讲了比较重要的东西,但是,全忘了呢(真的对…