SIG成员在AI顶会IJCAI 上分享分布式协同AI论文 Sedna斩获中国信通院云边协 同应用创新大赛最佳创新奖 ✓ 数据集管理 ✓ 模型管理 ✓ …… 基础框架 ✓ 协同推理 ✓ 增量学习 ✓ 联邦学习 ✓ 终身学习 训练推理框架 ✓ 主流AI框架 ✓ 模块算法 ✓ 可扩展算法接口 ✓ …… 兼容性 项目地址：https://github.com/kubeedge/sedna 面向AI开发者和应用开发者, 暴露边云协同AI功能给 应用 Cloud Edge Local Controll er KubeEdge Cloud Node Edge Node 增量训练 管理 数据集管理, 模型管理, 状态同步 协同推理 管理 联邦学习 管理 Local Controller Worker Worker Worker 边侧推理 Lib 边侧训练 Model APP运行，识别难例，上传到云上标注服务中 ① 业务APP开发者：开发时使用边云AI Lib库, 集成边云协同增量学习功能 ② 部署业务APP，启动增量学习 ④ 人工定期介入，对样本进行标注。 ⑤ 系统基于任务知识库，自动增量训练产生新模型 ⑥ 更新边缘模型 边云协同增量学习： 小样本和非同分布下，模型越用越聪明 ① 开发者：导入边缘AI Lib库, 开发边云协同联邦学习程序。

• 强大的标准库、丰富的第三方库、go test、pprof • 自动内存管理；内存泄漏与野指针是C/C++语言开发者的噩梦 • Go routine + channel；简单的并发与简易的数据同步 5 系统整体方案 mysql-group proxy proxy mysqld(M) mysqld(S) mysqld(S) mysql-group mysql-group mysql-group • 表拆分：数据表的部分数据从一个Mysql迁移到另一个 • 扩容流程 • 工作方式：mysqldump导存量数据 + 通过binlog追增量 • 工作过程 • 首先，导出存量数据 • 其次，订阅binlog变更，追增量 • 再次，待同步后，修改路由规则 • 最后，清理不需要的冗余数据 13 在线平滑扩容 • 扩容时序图 14 系统管理命令 • 系统命令 15 最后，mysql-databus

通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 02. 全量数据加载，增量数据监听 • 每个应用服务分别消费数据变更消息 • 一个应用服务消费数据变更，应用服务集群内广播 Maxwell是一个能实时读取MySQL二进

数值相同，那么只存储第一个值 ○ 数值是等差数列，那么只存存储第一个值和 Delta 值 ○ Gauges 类型的 value 先用一阶增量编码( Delta )压缩，然后再用 zigzag 算法压缩 ○ Counters 类型的 value 先用二阶增量编码( Delta of Delta )压缩，然后再用 zigzag 算法压缩 ● 最后再应用 ZSTD 算法进行二次压缩 Prometheus

跟Java相⽐比，Go内存⽅方⾯面有⼀一些不同： • 指针更少 • ⼤大量的栈上分配 • ⼤大量的goroutine • 没有对象头 垃圾回收 • 并发->精确 • 是否分代？压缩？增量？ Go1.5 GC • Go's new garbage collector is a concurrent, tri- color, mark-sweep collector 垃圾回收

类似于操作系统 中的内存碎片问题。  ④ YARN适合Long  running  job和数据分析类资源的调度，对于数 据库类等短运行时场景资源调度效果较差  ⑤ YARN采用了增量资源分配机制（当应用程序申请的资源暂时无 法保证时，为应用程序预留一个节点上的资源直到累计释放的空 闲资源满足应用程序需求），这种机制会造成浪费，但不会出现 饿死现象  ⑥ Mesos  和

为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 第20章：函数 - 函数类型和函数值，以及变长参数个数函数 第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 第24章：类型内嵌 - 不同于继承的类型扩展方式 第25章：非类型安全指针 第26章：泛型 - 如何使用和解读组合类型 第32章：代码块和标识符作用域 目录 2 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 Go有很多特性，有一些是独特的，有一些借鉴于一些其它编程语言： 内置并发编程支持： 使用协程（goroutine）做为基本的计算单元。轻松地创建协程。 使用通道（channel）来实现协程间的同步和通信。 内置了映射（map）和切片（slice）类型。 支持多态（polymorphism）。 使用接口（interface）来实现裝盒（value boxing）和反射 （reflection）。

为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 第20章：函数 - 函数类型和函数值，以及变长参数个数函数 第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 第24章：类型内嵌 - 不同于继承的类型扩展方式 第25章：非类型安全指针 第26章：泛型 - 如何使用和解读组合类型 也解释了什么是“函数退出阶段” 第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 Go有很多特性，有一些是独特的，有一些借鉴于一些其它编程语言： 内置并发编程支持： 使用协程（goroutine）做为基本的计算单元。轻松地创建协程。 使用通道（channel）来实现协程间的同步和通信。 内置了映射（map）和切片（slice）类型。 支持多态（polymorphism）。 使用接口（interface）来实现裝盒（value boxing）和反射（reflection）。

为了更容易和更深刻地理解Go中的各种值 第18章：数组、切片和映射 - Go中的首要容器类型 第19章：字符串 第20章：函数 - 函数类型和函数值，以及变长参数个数函数 第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 第24章：类型内嵌 - 不同于继承的类型扩展方式 第25章：非类型安全指针 第26章：泛型 - 如何使用和解读组合类型 也解释了什么是“函数退出阶段” 第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 Go有很多特性，有一些是独特的，有一些借鉴于一些其它编程语言： 内置并发编程支持： 使用协程（goroutine）做为基本的计算单元。轻松地创建协程。 使用通道（channel）来实现协程间的同步和通信。 内置了映射（map）和切片（slice）类型。 支持多态（polymorphism）。 使用接口（interface）来实现裝盒（value boxing）和反射（reflection）。

预警接⼝口: Redis 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved Dispatch: 数据、状态同步 Dispatch etcd Bid Server Bid Server . . Bid Server Bid Server 队列 专业DSP解决⽅方案 © • 直接配置主从同步 • 机房间⺴⽹网络差，⾮非常差（北京<->⾹香港，北京<->北美） • 会触发Redis全量同步（超过repl-backlog-size时） Redis跨机房同步 需要替代⽅方案 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 取消Redis的主从同步 • 写主 写主Redis时，同时写⼀一份到NSQ，异步写⼊入其他机房 • 使⽤用SoftLayer的⾹香港云主机作为中转（why?) Redis跨机房同步 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 内存占⽤用过⼤大时，可以切分为多个实例，减少单个实例 的内存占⽤用，减少BgSave和重启时Load数据的时间