Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL

– 2021 4 隐私计算概念 隐私计算（Privacy preserving computation）是指在保证数据提供⽅方不不泄露露原始 数据的前提下，对数据进⾏行行分析计算的⼀一系列列信息技术，保障数据在流通和融合过程 中的“可⽤用不不可⻅见”。 数据提供⽅方 数据提供⽅方 数据使⽤用⽅方 计算结果 趣链科技版权所有©2016 – 2021 5 隐私计算背景 欧盟出台的《通 共政策 2021年年6⽉月10⽇日，《中华⼈人⺠民共和国数据安全法》在⼗十三届全国⼈人⼤大常委会正式颁布。 明确指出坚持安全与发展并重，锁定⽀支持促进数据安全与发展的措施；建⽴立保障政务数 据安全和推动政务数据开放的制度措施。该法⾃自2021年年9⽉月1⽇日起施⾏行行。 2021年年8⽉月20⽇日，⼗十三届全国⼈人⼤大常委会表决通过《个⼈人信息保护法》，规定任何组 织、个⼈人不不得⾮非法 算研究范畴及发展趋势》 ⾸首次提出了了隐私计算概念 2021年年国内正式提 出了了隐私计算+区 块链，并达成业内 共识 趣链科技版权所有©2016 – 2021 7 隐私计算技术分类 • 安全多⽅方计算 纯密码学技术实现数据的可 ⽤用不不可⻅见 • 可信执⾏行行环境 基于TEE硬件保障计算环境安全 可信，提供计算模型及数据双维 度安全 • 联邦学习 结合机器器学习和密码学算 法，数据联邦化训练，充

可靠的测试环境 ● benchstat ● 例子与实践 ○ 例1: 对代码块进行性能调优 ○ 例2: Benchmark 的正确性分析 ○ 例3: 其他的影响因素 ● 假设检验的原理 ● 局限与应对措施 ● 总结 2020 © Changkun Ou · Go 夜读 · 对 Go 程序进行可靠的性能测试 教科书式的性能测试方法论 3 在《Software Testing: Principles 非参数检验，假设最少，最通用，只假设两组样本来自同一总体，只有均值上的差异（保守派） 当对数据的假设减少时，结论的不确定性就会增大，因此 p 值会相应的变大，进而使性能基准测试的条件更加严格。 局限与应对措施 2020 © Changkun Ou · Go 夜读 · 对 Go 程序进行可靠的性能测试 降低系统噪音：perflock 24 作用是限制 CPU 时钟频率，从而一定程度上消除系 统对

分析⽤户 • 分析ROI go-zero 开源伊始 • 技术分享 • GoCN • Go夜读 • InfoQ • ArchSumit go-zero 开源伊始 • 技术⽂章 • 微服务实践公众号 • 知乎 • InfoQ • GoCN • 开源中国 • … go-zero 开源伊始 • 技术⽂章（国外） • hacker news • reddit 更深⼊的理解⽤户的需求，避免闭⻔造⻋ 分享要注重⼝碑 • GopherChina⾦牌讲师 • ArchSumit⾦牌讲师 • Go夜读年度最佳、最多播放量的分享 技术⽂章 技术⽂章 技术⽂章 技术⽂章 go-zero 推⼴思路 • 项⽬本身才是关键 • 技术⼤会 • 线上线下分享 • 社区建设 • 国内国外兼顾 • 推⼴⾃⼰，但不要排斥、攻击别⼈ • ⽣态发展，上下游协同 go-zero geek 抱怨微信不好⽤？ • TG 更适合技术交流？ go-zero 社区发展 • 如何打造社区氛围 • 怎样培养技术氛围？ • 是否允许吹⽔？ • 内容越界是否管理？ • 群⾥冲突怎么解决？ go-zero 社区发展 • 壮⼤社区 • 核⼼成员 • 热⼼成员 • 如何成就⼤家（技术和机会） • 极个别极端成员如何应对？ go-zero 的未来 • 功能规划

微服务和监控平台负责人 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 Erda:新一代企业级云原生 PaaS 平台 当前微服务系统面临的挑战 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 可观测性三大支柱 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 Erda MSP 微服务观测平台 Erda 微服务观测平台优势 指标覆盖完整 通过多种探针，覆盖基础 设施、业务系统、用户终 端全面的数据指标 高实时性 通过流计算平台，数据 处理和告警延迟都在秒 级别 海量数据 存储处理 高性能的大数据处理架 构，轻松应对海量可观 测性数据处理 根据容量和 TTL 自动评估数据 删除周期 InfluxQL To ES 消除 ES 查询的复杂性 统一图表交互接口 目 录 微服务系统监控的挑战 01 可观测性技术理论 02 Erda 服务观测平台技术内核分析 03 Erda 服务观测平台功能概览 04 谢谢观看

区块链发展历程 2008 2009 • 中本聪发表了比特币的创世论文 《比特币: 一种点对点的电子现 金系统》，标志着区块链作为一 项完整的集成创新技术正式诞生 • 比特币诞生，是世界上首个区 块链应用系统。发展至今有力 地证明了区块链技术的创新性、 颠覆性和顽强的生存能力 中本聪 比特币Bitcoin 2013 • 以太坊发布以太坊白皮书， 引入智能合约，推出首个 图灵完备的区块链平台， 区块链联盟，致力于探索区块链 技术在金融行业的应用产品，自 此联盟链技术逐渐获得广泛关注 R3 CEV区块链联盟 2015 2015 2020 6 趣链科技 版权所有 ©2016-2021 6 趣链科技 版权所有 ©2016-2021 6 趣链科技 版权所有 ©2016-2021 6 区块链技术定义 区块链是由分布式数据存储、点对点传输、共识机制、加密算法等计算机技术构成的多中心 化系统 不可篡改（可信存证） 多方业务系统数据共享 ü 跨机构业务协作 核心特性 7 趣链科技 版权所有 ©2016-2021 7 趣链科技 版权所有 ©2016-2021 7 趣链科技 版权所有 ©2016-2021 7 区块链技术定义 Code is the rule . 8 趣链科技 版权所有 ©2016-2021 8 趣链科技 版权所有 ©2016-2021 8 趣链科技 版权所有 ©2016-2021 8 交易 区块

Sedna：边云协同AI框架 02 Sedna-GM：K8S Operator 03 实践案例 04 Edge AI现状与趋势 第一部分 Why Edge AI？ • Cloud中心化的AI计算范式不足以应对端上AI 应用对实时性、准确性和强交互性的需求 Edge: geographically distributed Cloud: Centralized Client devices Edge 器、云服务器，利用分布式乃至分布式协同方式实现人工智能的技术 数据在边缘产生 边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 • 随着边侧算力逐步强化，边缘AI持续演变至分布式协同AI 分布式协同AI技术挑战 1. 边缘资源碎片化 2. 边缘数据孤岛 3. 边缘样本少 4. 边缘数据异构 分布式协同AI 技术挑战 边云协同AI框架 第二部分 首个分布式协同AI开源项目Sedna 在评估阶段、生成的模型路径在哪里等信息。 任务失败等异常处理。 实践案例 第四部分 中国电信研究院园区ReID案例 场景描述 在给定视频中的第一帧和目标位置，实现目标检测、跟踪并预测其轨迹。 技术挑战 跨摄像头数据异构：摄像头拍摄的场景复杂，包括光照变化、遮挡严重、追 踪目标数量多等，单点的目标跟踪算法无法得到较好的效果。 业务收益 • 多目标跟踪准确度（MOTA）从70.6%提升到87

第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 语句。这样的语句 常常会包含很多子语句。 上面所提及的流程控制语句都属于狭义上的流程控制语句。 下一篇文章中将 要介绍的协程、延迟函数调用、以及恐慌和恢复（第13章），以及今后要介绍 的并发同步技术（第36章）属于广义上的流程控制语句。 本文余下的部分将只解释三种基本的流程控制语句和各种代码跳转语句。其它 上面提及的语句将在后面其它文章中逐渐介绍。 if-else条件分支控制代码块 一个 这些情形被称为数据竞争（data race）。并发编程的一大任务就是要调度不同 计算，控制它们对资源的访问时段，以使数据竞争的情况不会发生。 此任务 常称为并发同步（或者数据同步）。Go支持几种并发同步技术，这些并发同 步技术将在后面的章节中逐一介绍。 并发编程中的其它任务包括： 决定需要开启多少计算； 决定何时开启、阻塞、解除阻塞和结束哪些计算； 决定如何在不同的计算中分担工作负载。 上一节中这个并发程

第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 条语句。这样的语句 常常会包含很多子语句。 上面所提及的流程控制语句都属于狭义上的流程控制语句。 下一篇文章中将要 介绍的协程、延迟函数调用、以及恐慌和恢复（第13章），以及今后要介绍的 并发同步技术（第36章）属于广义上的流程控制语句。 本文余下的部分将只解释三种基本的流程控制语句和各种代码跳转语句。其它 上面提及的语句将在后面其它文章中逐渐介绍。 if-else条件分支控制代码块 一个 这些情形被称为数据竞争（data race）。并发编程的一大任务就是要调度不同 计算，控制它们对资源的访问时段，以使数据竞争的情况不会发生。 此任务常 称为并发同步（或者数据同步）。Go支持几种并发同步技术，这些并发同步技 术将在后面的章节中逐一介绍。 并发编程中的其它任务包括： 决定需要开启多少计算； 决定何时开启、阻塞、解除阻塞和结束哪些计算； 决定如何在不同的计算中分担工作负载。 上一

DOM里面的图片连接，css脚本和js脚本的链接，浏览器就会自动发起一个请求静态资源的HTTP请求，获取相对 应的静态资源，然后浏览器就会渲染出来，最终将所有资源整合、渲染，完整展现在我们面前的屏幕上。 网页优化方面有一项措施是减少HTTP请求次数，就是把尽量多的css和js资源合并在一起，目的是尽量减少网页请求 静态资源的次数，提高网页加载速度，同时减缓服务器的压力。 links links 目录 上一节: Web基础 kie的话，此种方案将会是首选。 Go实现session管理 Go实现session管理 通过上面session创建过程的讲解，读者应该对session有了一个大体的认识，但是具体到动态页面技术里面，又是怎 么实现session的呢？下面我们将结合session的生命周期（lifecycle），来实现go语言版本的session管理。 session管理设计 session管理设计 Go如何使用session 下一节: 预防session劫持 146 6.4 预防session劫持 6.4 预防session劫持 session劫持是一种广泛存在的比较严重的安全威胁，在session技术中，客户端和服务端通过session的标识符来维 护会话， 但这个标识符很容易就能被嗅探到，从而被其他人利用.它是中间人攻击的一种类型。 本节将通过一个实例来演示会话劫持，希望通过这个实例，能让读者更好地理解session的本质。