golang 在隐私计算平台建设中的实践 刘敬 杭州趣链科技有限公司 2021-10 ⽬目录 隐私计算介绍 01 隐私计算平台架构 02 构建隐私计算算法框架的实践 03 ⼀一些优化技巧 04 01 隐私计算介绍 趣链科技版权所有©2016 – 2021 4 隐私计算概念 隐私计算（Privacy preserving computation）是指在保证数据提供⽅方不不泄露露原始 原始 数据的前提下，对数据进⾏行行分析计算的⼀一系列列信息技术，保障数据在流通和融合过程 中的“可⽤用不不可⻅见”。 数据提供⽅方 数据提供⽅方 数据使⽤用⽅方 计算结果 趣链科技版权所有©2016 – 2021 5 隐私计算背景 欧盟出台的《通⽤用数据保护条例例》（GDPR）于2018年年5⽉月正式实⾏行行，加强对欧盟境内居 ⺠民的个⼈人数据和隐私的保护。 2021年年7⽉月 织、个⼈人不不得⾮非法收集、使⽤用、加⼯工、传输他⼈人个⼈人信息，不不得⾮非法买卖、提供或者公 开他⼈人个⼈人信息。该法⾃自2021年年11⽉月1⽇日起施⾏行行。 趣链科技版权所有©2016 – 2021 6 隐私计算历史 1982年年姚期智提 出 百 万 富 翁 问 题 ， 安 全 多 ⽅方 计 算概念被提出 1986年年姚期智提出 基于混淆电路路的通 ⽤用解决⽅方案 2016年年⾕谷歌提出联

 to  IA”  来了  n “Unix  to  Linux”  来了  n “开源架构”来了  n “分布式架构”来了  n “虚拟化”和“云计算”来了  n “大数据”来了  n “互联网金融”和“金融互联网”来了  n “移动业务”来了  n “敏捷”和“Devops”来了  n “去IOE”来了 Zoo  Gopher  China  2015  求解之路的探索  n 他们是否解决了我们的问题?  n No   ① Condor系统是面向高吞吐率计算计算而设计的，它的主要目的就是利用网络中工作站的空闲时间来为用户服务。  ② Condor采用集中式调度模式，且不能保障用户服务质量。  ③ 最小完成时间算法MCT(Minimum  Completion 调度策略分为两大类：Predicates和Priorities，其中Predicates判断是否将pod调度到特定 minion(host)上运行，而Priorities则是在Predicates的计算基础上，通过积分Score方式，决定调 度量。  ③ Predicates包括：PodFitsPorts、PodFitsResources、NoDiskConflict、MatchNodeSelector和

持续保障系统稳定性 只需很少的运维投⼊即可保证系统稳定性 端点⼀站式 PaaS - Erda 第⼆部分 端点 PaaS 发展历程 有状态服务 Job / JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat Kubernetes Rancher Openshift 私有云 公共 物理机 虚拟机 微服务治理平台 DevOps 平台 边缘监控 边缘站点管理 制品 快速分发部署 边缘⽇志 边缘计算平台 边缘数据收集 边缘算⼒调度 ⽹络⾃动容错 平台产品 核⼼引擎 容器服务 基础设施 数仓设计 数据智能平台 智能预测 智能客服 智能仓储 智能推荐 流程⾃动化 智能营销 ⾃动发现并识别 services、 jobs 和 addons - 兼容 telegraf 和 prometheus 协 议 - 即将⽀持 skywalking 和 opentelemetry 弹性监控架构 模块化开发框架 第四部分 什么是 Erda Infra 开发框架 Erda Infra 是⼀套轻量级 Go 微服务框架，包含⼤量现成的模块和⼯具，能够快速构 建起以模块化驱动的应⽤程序。

sink到kafka，再 依赖Spark计算； RPC ž 协议&远程调用的选型； — net/rpc，thrift，grpc等； ž 链路追踪，参考Google Dapper论文，核 心思路是关键库植入代码，因为缺乏 AOP编程支持，我们使用golang blog推 荐的依赖context对象； ž 服务发现、负载均衡依赖ZK； ž 弹性调度的支持，降级处理、动态扩容；

在生 产环境与软件开发之间的主要矛盾，并尝试设计一门全新的编程语言来解决这些问题。 以下就是他们讨论得出的对编程语言的设计要求： 能够以更快的速度开发软件 开发出的软件能够很好地在现代的多核计算机上工作 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C Rob Pike 共同开 发了 UTF-8 字符集规范。自 2008 年 1 月起，Ken Thompson 就开始研发一款以 C 语言为目标结果的编 译器来拓展 Go 语言的设计思想。 这是一个由计算机领域 “发明之父” 所组成的黄金团队，他们对系统编程语言，操作系统和并行都有着非 常深刻的见解 图 1.1 Go 语言设计者：Griesemer、Thompson 和 Pike Go入门指南 Go入门指南 - 7 - 本文档使用 看云 构建 1.2.2 为什么要创造一门编程语言 C/C++ 的发展速度无法跟上计算机发展的脚步，十多年来也没有出现一门与时代相符的主流系统编程 语言，因此人们需要一门新的系统编程语言来弥补这个空缺，尤其是在计算机信息时代。 对比计算机性能的提升，软件开发领域不被认为发展地足够快或者比硬件发展更加成功（有许多项目 均以失败告终），同时应用程序的体积始终

负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 权限 K8s Istio Envoy Tekton Argo controller manager KEDA controller Flagger controller Prom- controller Istio- controller … 部署 控制器 弹性 控制器 流量 控制器 存储 控制器 负载均衡 控制器 限流降级 控制器 监控 控制器 … 应用模型 控制器 平台应用模型 平台特定业务 用户应用模型 云原生生态 EDAS

传递变长参数 6.4 defer 和追踪 6.5 内置函数 6.6 递归函数 6.7 将函数作为参数 6.8 闭包 6.9 应用闭包：将函数作为返回值 6.10 使用闭包调试 6.11 计算函数执行时间 6.12 通过内存缓存来提升性能 第7章：数组与切片 7.1 声明和初始化 7.2 切片 7.3 For-range 结构 7.4 切片重组（reslice） 7.5 切片的复制与追加 的键值对调 第9章：包（package） 9.1 标准库概述 9.2 regexp 包 9.3 锁和 sync 包 - 3 - 本文档使用 书栈(BookStack.CN) 构建 9.4 精密计算和 big 包 9.5 自定义包和可见性 9.6 为自定义包使用 godoc 9.7 使用 go install 安装自定义包 9.8 自定义包的目录结构、go install 和 go test 的一些问题。因此学者们坐下来总结出了现在生产环境与软件开发之间的主要矛盾，并尝试设计一门全新的编程语言 来解决这些问题。 以下就是他们讨论得出的对编程语言的设计要求： 能够以更快的速度开发软件 开发出的软件能够很好地在现代的多核计算机上工作 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者

如何无痛切换 go-zero是什么？ ● Web & RPC微服务框架 ● 微服务代码生成工具goctl ● 通用API定义规范 go-zero的设计原则 ● 保持简单，第一原则 ● 弹性设计，面向故障编程 ● 工具大于约定和文档 ● 尽可能约束做一件事只有一种方式 ● 对业务开发友好，封装复杂度 go-zero是如何设计的 客户端 API端 Service端 缓存层 基于滑动窗口，防止毛刺 ● 有冷却时间，防止抖动 ● 实践检验，配合K8S弹性伸缩 ● http/rpc框架内建 自适应降载 ● 超时 ● 级联调用 ● 跟客户端超时配合 ● 重试 ● 指数退避 ● 流量quota ● 超时相关性 更多组件 Requests 并发控制 自适应降载 自适应熔断 Rpc Call K8S弹性伸缩 限流 负载均衡 多重防护，保障高可用 ● 链路跟踪

Lyft、Bringg、Arkane Systems、Spectro Cloud、Linkedin OpenKruise 能做什么 为什么说人人都需要镜像预热 第二部分 Pod创建过程 用户的期望： • 极致弹性 • 秒级扩容 • 弹出即可用 实际创建过程： create schedule attach/mount volume cni allotate pull image for sidecar

成（按照首字母顺序排列）。感谢他们付出的时间与精力，正是他们确保了各语言代码的规范与统一。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读。” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 i 目 录 0. 前言 1 0.1. 关于本书 . . hello‑algo.com 9 Figure 1‑3. 货币找零过程 小到烹饪一道菜，大到星际航行，几乎所有问题的解决都离不开算法。计算机的出现使我们能够通过编程将 数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题转 移到计算机上，以更高效的方式解决各种复杂问题。 � 阅读至此，如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，那么太好了！ ‧ 各步骤都有确定的含义，相同的输入和运行条件下，输出始终相同。 1.2.2. 数据结构定义 「数据结构 Data Structure」是计算机中组织和存储数据的方式。为了提高数据存储和操作性能，数据结构 的设计目标包括： ‧ 空间占用尽量减少，节省计算机内存。 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 1. 初识算法 hello‑algo.com 10 ‧ 提供简洁