基于Go的⼤大数据平台 七⽜牛云—党合萱 什什么是Pandora 简单 · 可信赖 Pandora架构图 Export Service API / Portal / 消息 消息 计算 计算 消息 导出任务 导出任务 导出任务 导出任务 导出任务 计算 消息

基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 Erda 第⼆部分 端点 PaaS 发展历程 有状态服务 Job / JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼

golang 在隐私计算平台建设中的实践 刘敬 杭州趣链科技有限公司 2021-10 ⽬目录 隐私计算介绍 01 隐私计算平台架构 02 构建隐私计算算法框架的实践 03 ⼀一些优化技巧 04 01 隐私计算介绍 趣链科技版权所有©2016 – 2021 4 隐私计算概念 隐私计算（Privacy preserving computation）是指在保证数据提供⽅方不不泄露露原始 基于TEE硬件保障计算环境安全 可信，提供计算模型及数据双维 度安全 • 联邦学习 结合机器器学习和密码学算 法，数据联邦化训练，充 分释放数据价值 02 隐私计算平台 架构 趣链科技版权所有©2016 – 2021 9 平台体系 • 区块链协同层 数据共享⽬目录，数据确权授 权、追溯审计以及联盟治理理 • 隐私计算⽹网络 多节点通过p2p组⽹网，并基于安 全多⽅方计算、联邦学习、可信执

比特币Bitcoin 2013 • 以太坊发布以太坊白皮书， 引入智能合约，推出首个 图灵完备的区块链平台， 进入区块链2.0时代 以太坊Ethereum 新基建 • Linux 基 金 会 成 立 了 Hyperledger开源项目，IBM、 Intel、摩根大通等企业加入，开 始企业级区块链应用平台的研发 超级账本Hyperledger 趣链Hyperchain在同一时期开始研发 • 国家发改委正式将区块 、加密算法等计算机技术构成的多中心 化系统 不可篡改（可信存证） ü 可对存储的文件、数据进行真实性校验 ü 可信追溯历史数据 去中心化共识（协作共享） ü 多方业务系统数据共享 ü 跨机构业务协作 核心特性 7 趣链科技 版权所有 ©2016-2021 7 趣链科技 版权所有 ©2016-2021 7 趣链科技 版权所有 ©2016-2021 7 区块链技术定义 Code is 术相互促进，融合发展，共同开创更大价值空间，加快新兴技术商业落地 利用区块链的去中心化、数据 不能篡改的特性，解决制约云 计算发展的“可信、可靠、可 控”的问题。 融入大数据采集和共享中，作 为数据源接入大数据分析平台。 强化分布式数据存 储和边缘计算能力， 拓展物联安全边界 和应用范围。 为训练深度学习系统提供可信数据， 优化分析决策的准确性和可信性。 人工智能 区块链 云计算 物联网 大数据

web工作方式 3.2 Go搭建一个简单的web服务 3.3 Go如何使得web工作 3.4 Go的http包详解 3.5 小结 4.表单 4.1 处理表单的输入 4.2 验证表单的输入 4.3 预防跨站脚本 4.4 防止多次递交表单 4.5 处理文件上传 4.6 小结 5.访问数据库 5.1 database/sql接口 5.2 使用MySQL数据库 5.3 使用SQLite数据库 5.4 使用PostgreSQL数据库 如果出现Go的Usage信息，那么说明Go已经安装成功了；如果出现该命令不存在，那么可以检查一下自己的PATH环境 变中是否包含了Go的安装目录。 Go标准包安装 Go标准包安装 Go提供了每个平台打好包的一键安装，这些包默认会安装到如下目录：/usr/local/go (Windows系统：c:\Go)，当然 你可以改变他们的安装位置，但是改变之后你必须在你的环境变量中设置如下信息： export 通过这个命令可以获取相应的源码，对应的开源平台采用不同的源码控制工具，例如github采用git、googlecode采 用hg，所以要想获取这些源码，必须先安装相应的源码控制工具 通过上面获取的代码在我们本地的源码相应的代码结构如下 $GOPATH src |--github.com |-astaxie |-beedb pkg |--相应平台

因素对每⼀一个⼲⼴广告 及每次⼲⼴广告展⽰示的费⽤用进⾏行竞价。 • DSP: Demand Side Platform，需求⽅方平台，允许⼲⼴广告客 户和⼲⼴广告机构更⽅方便地访问，以及更有效地购买⼲⼴广告 库存，因为该平台汇集了各种⼲⼴广告交易平台的库存。 什么是RTB与DSP 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll e时） Redis跨机房同步 需要替代⽅方案 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 取消Redis的主从同步 • 写主Redis时，同时写⼀一份到NSQ，异步写⼊入其他机房 • 使⽤用SoftLayer的⾹香港云主机作为中转（why?) Redis跨机房同步 专业DSP解决⽅方案 All Right ReservedAll Right Reserved • 性能不⽐比Redis差 • SSD优化 • 完备的分布式集群 • ⼆二级索引 • 开源，企业版⽀支持跨机房的集群 • 99%的请求1ms响应 • ⽀支持的数据结构类型偏简单 CookieMapping: Aerospike 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All

Web开发的原因。 内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候 考虑的最重要的一个因素。 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新 鲜。 一个稳定的Go核心设计和开发团队以及一个活跃的社区也可以被视为Go的一 个卖点。 《Go语言101》做了什么来消除Go编程中可能 出现的困惑？ 支持延迟函数调用（defer）。 支持类型内嵌（type embedding）。 支持类型推断（type deduction or type inference）。 内存安全。 自动垃圾回收。 良好的代码跨平台性。 自定义泛型（从Go 1.18开始）。 除了以上特性，Go还有如下亮点： Go的语法很简洁并且和其它流行语言相似。 这使得具有一定编程经验的 程序员很容易上手Go编程。 当然，对于没有编程经验的初学者，Go也比 改进。 使用早期的gc编译的程序在运行的时候在每次垃圾回收的结尾常常会 有明显的停顿。 但是自从Go 1.8，使用gc编译的程序在运行时刻已经基本消除 了停顿现象。 gc支持跨平台编译。 比如，我们可以在Linux平台上编译出Windows程序，反 之亦然。 使用Go编写的程序常常编译得非常快。 编译时间的长短是开发愉悦度的一个 重要因素。 编译时间短是很多程序员喜欢Go的一个原因。 G

开发的原因。 内置并发编程支持也算是Go的卖点，虽然我个人认为它不是Go的主要卖点。 良好的代码可读性是Go的另一个重要卖点。 我感觉可读性是Go在设计的时候 考虑的最重要的一个因素。 良好的跨平台支持也应该算是Go的一个卖点，尽管如今这个卖点并不是很新 鲜。 一个稳定的Go核心设计和开发团队以及一个活跃的社区也可以被视为Go的一个 卖点。 《Go语言101》做了什么来消除Go编程中可能出现的困惑？ 支持延迟函数调用（defer）。 支持类型内嵌（type embedding）。 支持类型推断（type deduction or type inference）。 内存安全。 自动垃圾回收。 良好的代码跨平台性。 自定义泛型（从Go 1.18开始）。 除了以上特性，Go还有如下亮点： Go的语法很简洁并且和其它流行语言相似。 这使得具有一定编程经验的程 序员很容易上手Go编程。 当然，对于没有编程经验的初学者，Go也比很 但是标准编译器gc却在不断地 改进。 使用早期的gc编译的程序在运行的时候在每次垃圾回收的结尾常常会有 明显的停顿。 但是自从Go 1.8，使用gc编译的程序在运行时刻已经基本消除了 停顿现象。 gc支持跨平台编译。 比如，我们可以在Linux平台上编译出Windows程序，反之 亦然。 使用Go编写的程序常常编译得非常快。 编译时间的长短是开发愉悦度的一个重 要因素。 编译时间短是很多程序员喜欢Go的一个原因。 Go

l ⾃自建节点，⾃自建应⽤用，万⼈人规模左右的内测 现有的微博应⽤用，继续强化 ⺫⽬目前阶段： ü 其他语⾔言不适合 ü 丰富的开源资料 ü 跨平台 ü 编绎速度不到3秒 ü 模块化很好，耦合度很低 ü ⼤大量使⽤用google的技术 ü 我喜欢Golang 价值观，哲学思想都⽐比较符合 按设计要求系统的运⾏行场景有：传统服务器、PC、⼿手机或路由器。 能满⾜足的语⾔言只有： l C/C++ l Java l Golang 跨平台 前后发布了数⼗十个版本，上百次重构，⽤用golang毫⽆无压⼒力。主要得⼒力于以下特征： l 极简的语法 l 快速的编译 以前的同花顺客户端编绎要近20分钟，现在⼩小于3秒

设计模式：MVC、三层架构、工具集 • 应用接口：HTTP/TCP/UDP/RPC Server、终端应用、源码接口 • 数据库类型：通过标准库驱动接口支持多种数据库类型 • 跨平台性：基于Golang开发语言强大跨平台特性 框架介绍-项目初心 工程化建设 统一框架 核心组件 项目架构 设计模式 开发规范 开发文档 开发工具 …… 模块化设计 第二部分 • 复用原则 • 单仓包设计