【隐私计算实训营008——SCQL】

1.SCQL使用/集成最佳实践

目前SCQL只开放API供用户使用/集成

  • 使用SCDBClient上手体验
  • 可以基于SCQL API开发封装白屏产品,或集成到业务链路中

在这里插入图片描述
在这里插入图片描述

1.1 部署系统

  • 环境配置:
    • 机器配置:CPU/MEM最低8C16G
    • 机构之间的网络互通
  • 镜像:secretflow/scql
  • SCDB
    • 启动:/home/admin/bin/scdbserver -config=/path/to/config.yml
  • SCQLEngine
    • 启动:/home/admin/bin/scqlengine --flagfile=/path/to/gflags.conf
      在这里插入图片描述

1.2 项目设置

SCQL中的一些概念

  • Project
    • 多个参与方在协商一致后加入到同一个项目中进行多方安全数据分析
  • 参与方身份认证
    • 参与方执行query时需要进行身份认证
  • 数据表管理
    • 管理参与分析的数据表的schema信息
  • 权限信息管理
    • 表字段的权限信息,特别是CCL信息
      用户在每次执行query的时候,均要提供上述信息,上手成本较高。
      将其映射成如下关系:
      在这里插入图片描述

1.2.1 创建用户(Create user)

  • SCDB内置了一个权限受限的root用户,方便系统bootstrap
    • root用户只能做CREATE database/user等操作
    • root用户无法修改普通用户设置的CCL,无法发起查询(DQL)
    • root用户滥用不会导致数据泄露

在这里插入图片描述
为什么创建用户是需要公钥和签名?

  • 目的是防止伪造身份攻击

如何防止攻击

  1. 前提条件:每个参与方在部署SCQLEngine 节点时,需要生成(或提供)公私钥,并和合作方交换公钥,配置到引擎侧的 authorized profile 文件中;
  2. SCDB 在处理 create user 请求时,会校验签名,确保请求者有对应的私钥:
  3. SCDB 在处理请求者的 DQL 时,会把请求者和查询涉及参与方的公钥信息一起下发给 SCQLEngine。SCQLEngine会先校验自己和合作方的公钥,如果不匹配,就拒绝执行。

1.2.2 创建项目&用户授权

  • 创建一个名为db_test的数据库(项目)
    • root>CREATE DATABASE db_test;
  • 目的:将参与合作方添加到项目中
    • root>GRANT CREATE,GRANT OPTION,DROP ON db_test.* TO alice
  • 创建表
    • alice> CREATE TABLE db_test.ta(ID string,…,age int)REF_TABLE=alice.user_credit DB_TYPE=‘mysql’

设置CCL
在这里插入图片描述

1.3 联合分析

在这里插入图片描述

2. SCQL工作原理

在这里插入图片描述
SCQL对于同种查询内置了多种优化转换方式,
在这里插入图片描述

3. 使用SecretNote上手体验P2P的SCQL

在这里插入图片描述

3.1 安装部署

在这里插入图片描述
官方安装文档

# 从官网下载scql
git clone https://github.com/secretflow/scql.git
# 进入scql/examples/p2p-tutorial/
cd scql/examples/p2p-tutorial/
# 生成公私钥,并交换alice和bob的公私钥
bash setup.sh
# 使用docker compose拉起双方(这里的tk-sn是指去一个前缀)
docker compose -p tk-sn up -d
# 查看状态
docker compose -p tk-sn ps
# 查看启动的日志
docker-compose -p tk-sn logs engine_alice
# 查看启动端口
cat .env
# 启动Secretnote
secretnote -mode=scql --party=alice --host=http://127.0.0.1:8081 --allow-root
# 开启一个新的终端
secretnote -mode=scql --party=bob --host=http://127.0.0.1:8082 --allow-root

3.2 使用secretNote

3.2.1 创建项目

在这里插入图片描述

3.2.2 邀请合作者

进入项目后可以点击右上角的➕进行邀请。

3.2.3 创建表

在alice下创建如图所示的表
在这里插入图片描述
bob端创建如图所示的表:
在这里插入图片描述

3.2.4 设置CCL

如下是使用命令的方式进行设置,我们采用可视化的方式进行相同的操作。
在这里插入图片描述
通过如下进入配置界面:
在这里插入图片描述
在这里插入图片描述

3.2.5 CSQL查询

新建jupyter,alice可以查看自己的数据,但不能查看别人的数据(因为方式不被允许)
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/510760.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Redis实现高可用之持久化介绍

前言 在生产环境中,为了实现Redis的高可用性,可以采用持久化、主从复制、哨兵模式和 Cluster集群的方法确保数据的持久性和可靠性。这里首先介绍一下使用持久化实现服务器的高可用。 目录 一、Redis 高可用方法 1. 持久化 2. 主从复制 3. 哨兵 4.…

二轮电动自行车充电桩开源系统

文章目录 一、产品功能部分截图1.手机端(小程序、安卓、ios)2.PC端 二、小程序体验账号以及PC后台体验账号1.小程序体验账号2.PC后台体验账号关注公众号获取最新资讯 三、产品简介?1. 充电桩云平台(含硬件充电桩)&…

曲线降采样之道格拉斯-普克算法Douglas–Peucker

曲线降采样之道格拉斯-普克算法Douglas–Peucker 该算法的目的是,给定一条由线段构成的曲线,找到一条点数较少的相似曲线,来近似描述原始的曲线,达到降低时间、空间复杂度和平滑曲线的目的。 附赠自动驾驶学习资料和量产经验&…

【与C++的邂逅】---- 函数重载与引用

关注小庄 顿顿解馋(▿) 喜欢的小伙伴可以多多支持小庄的文章哦 📒 数据结构 📒 C 引言 : 上一篇博客我们了解了C入门语法的一部分,今天我们来了解函数重载,引用的技术,请放心食用 ~ 文章目录 一. 🏠 函数重…

windows搭建ftp实现局域网共享文件

一、开启ftp服务 1.使用 win Q 键,快捷打开搜索框 2.搜索框内搜索 “控制面板” 3. 进入控制面板内选择 ”程序“ 4. 单击进入 “启用或关闭windows功能” 5. 找到并展开“internet information services”、 6. 建议展开后全选 “FTP服务器” 和 “web管理工…

OpenHarmony实战:轻量系统芯片移植

本文从芯片适配的端到端视角,为芯片/模组制造商提供基于OpenHarmony的芯片适配指导。典型的芯片架构,例如cortex-m、risc-v系列都可以按照本文档进行适配移植。 约束与限制 本文档适用于OpenHarmony LTS 3.0.1及之前版本的轻量系统的适配。 说明&#…

Redis中的复制功能(三)

复制 服务器运行ID 除了复制偏移量和复制积压缓冲区之外,实现部分重同步还需要用到服务器运行ID(run ID): 1.每隔Redis服务器,不论主服务器还是从服务,都会有自己的运行ID2.运行ID在服务器启动时自动生成,由40个随机的十六进制…

ndk ffmpeg

报错: 解决办法: 报错 解决办法:

大模型量化技术-GPTQ

大模型量化技术-GPTQ 2022年,Frantar等人发表了论文 GPTQ:Accurate Post-Training Quantization for Generative Pre-trained Transformers。 这篇论文详细介绍了一种训练后量化算法,适用于所有通用的预训练 Transformer模型,同时只有微小的性能下降。 GPTQ算法需要通过…

vscode安装通义灵码

作为vscode的插件,直接使用 通义灵码-灵动指间,快码加编,你的智能编码助手 通义灵码,是一款基于通义大模型的智能编码辅助工具,提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研…

性能测试?

一、什么是性能测试 先看下百度百科对它的定义 性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。我们可以认为性能测试是:通过在测试环境下对系统或构件的性能进行探测,用以验证在生产环境下系统性…

苹果手表Apple Watch录了两个半小时的录音,却只能播放4秒,同步到手机也一样,还能修复好吗?

好多人遇到这个情况,用苹果手表Apple Watch录音,有的录1个多小时,有的录了3、4小时,甚至更长时间,因为手表没电,忘记保存等原因造成录音损坏,都是只能播放4秒,同步到手机也一样&…

Java8 Stream API全面解析——高效流式编程的秘诀

文章目录 什么是 Stream Api?快速入门流的操作创建流中间操作filter 过滤map 数据转换flatMap 合并流distinct 去重sorted 排序limit 限流skip 跳过peek 操作 终结操作forEach 遍历forEachOrdered 有序遍历count 统计数量min 最小值max 最大值reduce 聚合collect 收集anyMatch…

git源码泄露

Git 源码泄露 开发人员会使用 git 进行版本控制,对站点自动部署。但如果配置不当,可能会将 .git 文件夹直接部署到线上环境,这就引起了 git 泄露漏洞,我们可以利用这个漏洞直接获得网页源码。 确定是否存在泄漏 (1&…

java项目基于Springboot和Vue的高校心理教育辅导系统的设计与实现

今天要和大家聊的是基于Springboot和Vue的高校心理教育辅导系统的设计与实现 !!! 有需要的小伙伴可以通过文章末尾名片咨询我哦!!! 💕💕作者:李同学 💕&…

大模型之路3:趟到了Llama-Factory,大神们请指点

各种AI工具和框架层出不穷,为开发者和研究者提供了前所未有的便利。当然了,也有困扰。尤其是对于动手能力越来越弱的中年油腻老程序员来说,更是难上加难。据说,嗯,据师弟说,说LlamaFactory凭借其独特的功能…

实验:基于Red Hat Enterprise Linux系统的创建磁盘和磁盘分区(一)

目录 一. 实验目的 二. 实验内容 三. 实验设计描述及实验结果 fdisk [参数] [设备] 1. 为虚拟机添加1块大小为3-5G的硬盘nvme,将该硬盘划分1个主分区和两个逻辑分区分别为600MB。 partprobe [选项] [设备] 2. 将主分区格式化为ext4文件系统并挂载到/自己名字命名…

Screeps Arena 游戏基础教程

一. 游戏内教程汉化1. 循环和导入(Loop and Import)2. 简单移动(Simple move)3. 首次攻击(First Attack)4. 爬虫的身体部分(Creeps Bodies)5. 存储和转移 (Store and Tra…

合并两个单链表

归纳编程学习的感悟, 记录奋斗路上的点滴, 希望能帮到一样刻苦的你! 如有不足欢迎指正! 共同学习交流! 🌎欢迎各位→点赞 👍 收藏⭐ 留言​📝 但行前路,不负韶华&#…

dataloader numworkers

numworkers是加载数据的额外cpu数量(也可以看成额外的进程)。可以理解是: dataset中的getitem只能得到单个数据, 而numworker设置后是同时加载numwork个数据到RAM中,当需要数据时,不会重新执行getiem的方法…