SecretFlow学习指南(2)学习路径

目录

一、模块架构

二、模块详解

三、算法协议

四、学习路线


一、模块架构

良好的分层设计可以提高开发效率和可维护性,满足不同用户的需求。隐语从上到下一共分为六层。
●产品层:通过白屏化产品提供隐语整体隐私计算能力的输出,让用户简单直观体验隐私计算,屏蔽隐私计算底层细节,节约开发成本;
●调度层:提供隐私计算任务的编排与资源调度能力;
●AI & BI 算法层:屏蔽隐私计算技术细节,提供一些通用的算法能力,比如 MPC 的 LR/XGB/NN,联邦学习算法等;
●设备层:提供了统一的可编程设备抽象,将 MPC、HE 等隐私计算技术抽象为密态设备,将单方本地计算抽象为明文设备;
●安全协议层:提供密码原语能力,支持高安全、高性能的协议;
●硬件层:支持TEE可信硬件。

二、模块详解


隐语各模块的侧重点不同,下表是模块的详解以及相关文档:

层级

模块

模块简介

模块依赖关系

产品层

SecretPad

隐语打造的 AI 与数据分析平台,可快速帮助用户体验隐语核心能力。

SecretPad 集成了 SecretFlow 和 TrustedFlow 的能力,在使用时通过 Kuscia 调用下层模块。

Easy PSI

独立 PSI 轻量级白屏产品,满足用户想要单独使用 PSI 的需求。具有轻量化部署、使用门槛低等优点。

Easy PSI 依赖 PSI 模块中的隐私求交能力,在使用时通过 Kuscia 调用下层模块 PSI 。

调度层

Kuscia

基于 K3s 的轻量级隐私计算任务编写框架,旨在增强基础设施和协议,并提供统一的隐私计算基础

目前已支持 SecretFlow 、TrustedFlow 、 Serving 在 Kuscia 上运行,对 SCQL 的支持正在建设中。

Kuscia Envoy

Envoy 是一个开源的边缘和服务代理。在控制平面中,Envoy 是节点与 Master、Master 与 Master 之间的流量代理,从 DomainRoute Controller 接收路由规则和身份认证、鉴权策略。

Envoy 将发送给互联互通合作方 Master 的请求转发到对端的 Envoy(若对端非 Kuscia 架构,则转发给对端网关),同时对来自节点和互联互通合作方 Master 的请求进行身份认证和鉴权,将合法请求转发给 K3s 的 ApiServer 或 Kuscia Storage 。

AI&BI 算法层

PSI

隐语 PSI 和 PIR 的仓库,为 SecretFlow 、SCQL 、SecretPad 和 Easy PSI 提供隐私求交和隐匿查询功能。

PSI 为 Easy PSI 提供隐私求交能力、为 SecretFlow 提供隐私求交和隐匿查询能力; PSI 依赖于 YACL 的密码能力。

SecretFlow

隐语核心算法模块,为用户提供了丰富的隐私集合求交、隐匿查询、预处理、MPC机器学习、联邦学习(含拆分学习)等核心算法。

SecretFlow 依赖于 PSI 的能力;依赖于Serving,Secretflow 目前的算子可以导出的模型遵循的是 Serving 的设计,这样的模型可以被 Serving 服务化;SecretFlow 将 MPC、HE 抽象为 SPU、HEU 设备。

Serving

用于保护隐私的机器学习模型的服务系统,主要提供模型预测能力。

Serving 依赖了 YACL 中的一些基础功能,为 SecretPad 提供加载模型服务化的能力。

SCQL

将 SQL 语句转换为明密文混合执行图,并在联合数据库系统上执行。是一个允许多个互不信任参与方在不泄露各自隐私数据的条件下进行联合数据分析的系统。

SCQL 依赖 PSI、SPU、HEU、YACL 模块。

TrustedFlow

隐语基于可信硬件的隐私保护引擎,立足于可信执行环境技术,提供受保护和隔离的环境,其中封装了敏感数据,并且提供数据安全存储和计算能力。

TrustedFlow 由 TeeAPPs、CapsuleManager、CapsuleManager SDK 三个模块组成,依赖 TEE 硬件。

设备层

SPU

基于 MPC 的密态计算设备,旨在提供具有可证明安全性的安全计算服务。SPU 可以被视为可编程设备,它并不是为直接使用而设计的。通常我们使用 SecretFlow 框架,该框架使用 SPU 作为底层安全计算设备。

SPU 为 SecretFlow、SCQL 提供安全计算能力,依赖于 YACL 的密码协议。

HEU

基于 HE 的隐语密态设备,实现了高性能的同态加密算法,降低同态加密的使用门槛,使得用户无需专业知识就能利用同态加密算法构建任意程序。

HEU 为 SecretFlow、SCQL 提供同态加密能力,依赖于YACL的密码协议。

安全协议层

YACL

安全密码库,包含其他 SecretFlow 代码所依赖的常见密码学、网络和 io 模块。Yacl 中的加密模块实现了许多最先进的安全计算协议,包括 OT、VOLE、TPRE 等原语以及 PRG、RO 等工具。

YACL 为 PSI、SPU、HEU、SCQL、Serving 提供基础密码能力。

三、算法协议

隐语结合最新的隐私计算领域研究成果,提供了一系列高效、强大的算法。以下是我们支持的主要算法列表:

分类

算法

协议/算法

算法说明

PSI & PIR

PSI

ECDH-PSI (2PC)

基于半诚实 ECDH 的两方 PSI 协议

ECDH-PSI (3PC)

基于半诚实 ECDH 的三方 PSI 协议(存在已知泄漏)

KKRT16-PSI

基于半诚实 OT 的两方 PSI 协议

BC22 PCG-PSI

基于半诚实 PCG/VOLE 的两方 PSI 协议(提高了通信效率)

DP-PSI

差分隐私 PSI 协议

EDCH-OPRF PSI

基于 ECDH-OPRF 的非平衡两方 PSI 协议

RR22 PSI

基于半诚实和 VOLE 的高效 PSI 协议

PIR

SealPIR

基于同态加密的 PIR 协议

Labeled PSI

基于同态加密的 PIR 协议

MPC

LR

SS-SGD

基于秘密分享实现的针对垂直划分数据集的线性回归和二分类回归算法

HESS-SGD

基于同态加密和秘密分享的逻辑回归算法

SS-GLM

基于秘密分享的广义线性回归算法

XGB

SS-XGB

基于秘密分享的 XGB 算法

特征工程

SSVertPearsonR

基于秘密分享实现的探查垂直划分数据集的皮尔逊积矩相关系数算法

SSVertVIF

基于秘密分享实现的探查垂直划分数据集的方差扩大因子算法

SSPValue

基于秘密分享实现的 P-Value 算法

groupby_statistics

获取分组统计信息算法

FL

LR

FL-LR-MIX

基于随机梯度下降的混合联邦逻辑回归算法

XGB

SFXGBoost

水平场景下的 XGB 模型算法

SGB

基于同态加密的纵向联邦树模型算法 SGB

水平 NN

FedSCR

基于梯度下降的分布式联邦学习策略(选择性将部分重要更新回传)

Fed-Prox

基于梯度下降的分布式联邦学习策略(解决数据和设备异构性)

FedSTC

基于梯度下降的分布式联邦学习策略(压缩 client 和 server 之间的通讯)

垂直 NN

DNN

深度神经网络

CNN

卷积神经网络

GNN

图神经网络

垂直 NN -推荐模型

MMoe

基于拆分学习的多任务学习模型算法

BST

基于拆分学习的捕捉用户行为序列信息模型算法

DeepFM

基于拆分学习的 CTR 预估模型算法

TEE

原则上支持任意算法

四、学习路线

欢迎来到隐语的学习之旅,我们为您规划了详细的学习路线,帮助您快速体验隐语能力,由浅入深了解隐语。

分类

学习内容

学习素材

初识隐语

隐语建设背景

通过本课程您可以初步了解隐私计算的概念,隐私计算在数据要素市场的关键作用,隐语建设的背景等内容。

●构建纵深分域数据要素市场运营体系
●数据要素流通中三权分置法律法规解读
●数据要素流转中三权分置框架及实践
●隐私计算开源助力数据要素流通

了解隐语

了解隐语的理念、价值、优势、实践以及隐语的后续规划

●深度解读隐语
●隐语开源社区新年规划及寄语
●2023 数据要素发展大会|激发数据价值 共促要素发展,隐语带来多行业实战应用案例

快速开始

SecretPad

从零开始学习使用隐语白屏化产品,通过拖拉拽形式让您快速体验隐私计算,从上层角度了解平台层是如何集成隐语各层能力。

●SecretPad 开源发布
●SecretPad 从安装部署到使用
●SecretPad 快速开始

Kuscia

学习了解 Kuscia 如何进行任务调度,以及如何通过 Kuscia 实现不同算子的自由组合

●Kuscia 入门教程-快速开始
●Kuscia 入门课程-了解 KusciaJob
●Kuscia 架构介绍与部署

SecretFlow

学习通用的隐私计算框架 SecretFlow,快速体验 SecretFlow 的包容性和可扩展性

●SecretFlow 简介
●SecretFlow 快速开始
●SecretFlow 安装部署

开发

SecretPad

SecretPad 前端及后端代码结构并上手实践

●SecretPad 前端介绍及开发实践
●SecretPad 后端介绍与开发实践

Kuscia

学习 Kuscia 相关概念、Kuscia API

●Kuscia 概念
●Kuscia API 文档
●Kuscia API 介绍

SecretFlow

学习 SecretFlow API 文档、用户指南及组件列表。

●SecretFlow API 文档
●SecretFlow 组件列表
●SecretFlow 开发者文档

实践

SecretPad

学习如何自定义新增 SecretPad 平台层组件。

●隐语 SecretPad 平台新增组件

Kuscia

学习如何应用实践 Kuscia,例如学习如何运行一个 FATE 作业。

●基于 Kuscia 的隐私计算应用研发实践
●如何使用 Kuscia 运行一个SecretFlow 作业
●如何运行一个互联互通银联 BFIA 协议作业
●如何运行一个 FATE 作业
●如何使用 Kuscia API 运行一个 SecretFlow Serving
●安全加固方案

SecretFlow

学习如何使用 SecretFlow 实现加载数据、数据预处理、数据编码、隐私求交等全链路流程。

●SecretFlow 教程
●SPU 框架整体结构
●如何基于 SPU 增加协议
●HEU 架构、协议介绍及开发实践
●TEEU 架构介绍及开发实践

进阶

算法实践

学习隐私求交、逻辑回归、XGBoost 等算法原理,以及这些算法在隐语中是如何实现的。

●隐私求交
●MPC 机器学习
○隐语 LR/GLM 介绍及开发实践
○隐语 SSXGB/SGB 介绍及开发实践
○SML 入门/基于 SPU 迁移机器学习算法
○PPML 入门/基于 SPU 机器学习建模实践
●联邦学习
○隐语联邦学习在水平场景的开发实践
○隐语联邦学习在垂直场景的开发实践
○隐语 SplitRec 介绍和开发实践
○隐语 SSXGB/SCG 介绍及开发实践

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/578027.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

paddle ocr模型量化实践

参考:https://github.com/PaddlePaddle/PaddleOCR/blob/main/deploy/slim/quantization/README.md https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7.1/doc/doc_ch/FAQ.md 蒸馏 剪枝 量化 参考:https://blog.csdn.net/mddCSDN/article/de…

【MySQL】MySQL中MVCC多版本并发控制的概念

MySQL中MVCC多版本并发控制的概念 锁相关的知识我们已经学习完了,在其中我们提到过一个概念,那就是 MVCC 。这又是个什么东西呢?今天我们就来好好看看 MVCC 到底是干嘛的。 MVCC 多版本并发控制,它主要是控制 读 操作,…

x264 编码器源码分析综述

================================================================================ 系列文章 x264配置文章链接🔗Windows11编译x264源码https://blog.csdn.net/yanceyxin/article/details/135035650Mac调试x264源码https://blog.csdn.net/yanceyxin/article/details

《软件设计师教程:计算机网络浅了解计算机之间相互运运作的模式》

​ 个人主页:李仙桎 🔥 个人专栏: 《软件设计师》 ⛺️生活的理想,就是为了理想的生活! ​ ⛺️前言:各位铁汁们好啊!!!,今天开始继续学习中级软件设计师考试相关的内容&#xff0…

python中怎么注释多行

多行代码注释 方法一:先选中要注释的段落,然后按下“ctrl/”,即可实现多行代码的注释。效果如下: 再一次按下“ctrl/”就可以取消注释。 方法二:跟注释单行一样在每一行前面输入“shift#”。 #r(i-arr[idx])*rat[idx]…

三阶魔方公式大全 图解

https://www.mitao521.com/miji/2020112215034.html 三阶魔方七步还原法的公式有R’UF’U’、R’D’RD X,3OR5,R U R’,(RU R’U’),(RU R’U’)3,U’ L’ U L U F U’ F’,U R U’ R’ U’ F’ U F,F(R U R’ U’)F’。 还有(R U R’ U’)2和(R U R’ U’)5,R2 D2 R’ U’ R …

各种螺纹介绍

按用途,有三个主要大类: 第一,连接螺纹,用于紧固,即是螺栓螺母; 第二,传动螺纹,就是车床走刀那种; 第三,管螺纹,管道连接用。 按标准&#xf…

【刷题篇】动态规划-01背包问题(十)

文章目录 1、01背包2、分割等和子集3、目标和4、最后一块石头的重量 II 1、01背包 #include <iostream> #include<vector> using namespace std;int main() {int n,v;cin>>n>>v;vector<int> Weight(n1);vector<int> Value(n1);vector<i…

PDF加密了无法编辑?解密方法来了!

一下午都在捣鼓各种格式问题&#xff0c;首先是需要合并几个 PDF&#xff0c;然而有一个文件加密了无法操作&#xff0c;碰到加密不能编辑就很头痛&#xff0c;终于让我找到一个可行的方法了&#xff0c; 首先就这个加密文件右键选择打开方式-Google Chrome>>打开>>…

环形链表——java

给你一个链表的头节点 head &#xff0c;判断链表中是否有环。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&#xff0c;则链表中存在环。 为了表示给定链表中的环&#xff0c;评测系统内部使用整数 pos 来表示链表尾连接到链表中的位置&#xff08;…

2024年Q1季度洗衣机行业线上市场销售数据分析

Q1季度洗衣机线上市场表现不如预期。 根据鲸参谋数据显示&#xff0c;2024年1月至3月线上电商平台&#xff08;京东天猫淘宝&#xff09;洗衣机累计销量约650万件&#xff0c;环比下降14%&#xff0c;同比下降14%&#xff1b;累计销售额约96亿元&#xff0c;环比下降30%&#…

军工单位安全内网文件导出,怎样做到严密的安全管控?

军工单位是指承担国家下达的军事装备、产品研制、生产计划任务的企、事业单位&#xff0c;主要包括电子工业部、航空工业总公司、航天工业总公司、兵器工业总公司、核工业总公司、船舶工业总公司、中国工程物理研究院及各省国防工业办公室等。 军工单位的特点主要体现在以下几个…

(学习日记)2024.04.20:UCOSIII第四十八节:各文件功能概览

写在前面&#xff1a; 由于时间的不足与学习的碎片化&#xff0c;写博客变得有些奢侈。 但是对于记录学习&#xff08;忘了以后能快速复习&#xff09;的渴望一天天变得强烈。 既然如此 不如以天为单位&#xff0c;以时间为顺序&#xff0c;仅仅将博客当做一个知识学习的目录&a…

和鲸科技出席第五届空间数据智能学术会议,执行总裁殷自强受邀发表主题报告

4月26日&#xff0c;由 ACM SIGSPATIAL 中国分会、ACM SIGMOD 中国分会主办的第五届空间数据智能学术会议&#xff08;SpatialDI 2024&#xff0c;下简称“会议”&#xff09;在南京盛大开幕。本次会议特邀李清泉院士、周成虎院士、丛高教授、谢炯博士、张雪英教授等国内外知名…

Matlab|交直流混合配电网潮流计算(统一求解法)

目录 1 主要内容 算例模型 统一求解法迭代方程 算法流程图 2 部分代码 3 程序结果 4 下载链接 1 主要内容 该程序为matlab代码&#xff0c;采用统一求解法对交直流混合配电网进行潮流计算&#xff0c;统一迭代法又称统一求解法&#xff0c;其思路是将混联系统中的交流网…

基于springboot实现中药实验管理系统设计项目【项目源码+论文说明】计算机毕业设计

基于springboot实现中药实验管理系统设计演示 摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了中药实验管理系统的开发全过程。通过分析中药实验管理系统管理的不足&#xff0c;创建了一个计算机管理中药实验管…

LMDeploy量化部署LLMVLM实践-笔记五

本次课程由西北工业大学博士生、书生浦源挑战赛冠军队伍队长、第一期书生浦语大模型实战营优秀学员【安泓郡】讲解【OpenCompass 大模型评测实战】课程 课程视频&#xff1a;https://www.bilibili.com/video/BV1tr421x75B/ 课程文档&#xff1a;https://github.com/InternLM/…

Redis高级篇详细讲解

0.今日菜单 Redis持久化【理解】 Redis主从 Redis哨兵 Redis分片集群【运维】 单点Redis的问题 数据丢失问题&#xff1a;Redis是内存存储&#xff0c;服务重启可能会丢失数据 并发能力问题&#xff1a;单节点Redis并发能力虽然不错&#xff0c;但也无法满足如618这样的高…

有什么因素会影响IP稳定性?

IP稳定性指的是IP地址在一段时间内保持不变的能力&#xff0c;对于网络连接的安全性和可靠性至关重要。以下是一些可能影响IP稳定性的主要因素&#xff1a; 网络服务提供商&#xff08;ISP&#xff09;的政策&#xff1a;不同的ISP对于IP地址的管理和使用有不同的政策。一些IS…

视频滚动字幕一键批量轻松添加,解锁高效字幕编辑,提升视频质量与观众体验

视频已成为我们获取信息、娱乐休闲的重要渠道。一部成功的视频作品&#xff0c;除了画面精美、音质清晰外&#xff0c;字幕的添加也是至关重要的一环。字幕不仅能增强视频的观感&#xff0c;还能提升信息的传达效率&#xff0c;让观众在享受视觉盛宴的同时&#xff0c;更加深入…