云原生边云协同AI框架实践 普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead 目 录 Edge AI现状与趋势 01 Sedna：边云协同AI框架 02 Sedna-GM：K8S Operator 03 实践案例 04 Edge AI现状与趋势 第一部分 Why Edge AI？ • Cloud中心化的AI计算范式不足以应对端上AI 应用对实时性、准确性和强交互性的需求 devices Edge AI • 随着大模型的发展，AI 计算对算力需求大 幅且快速增长 AI应用到越来越多的边缘场景 分布式协同AI 概念 将人工智能相关的部分任务部署到边缘设备，基于边缘设备、边缘服务 器、云服务器，利用分布式乃至分布式协同方式实现人工智能的技术 数据在边缘产生 边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 • 随着边侧算 随着边侧算力逐步强化，边缘AI持续演变至分布式协同AI 分布式协同AI技术挑战 1. 边缘资源碎片化 2. 边缘数据孤岛 3. 边缘样本少 4. 边缘数据异构 分布式协同AI 技术挑战 边云协同AI框架 第二部分 首个分布式协同AI开源项目Sedna 基于KubeEdge提供的边云协同能力，支持现有AI类应用无缝下沉到边缘 为分布式协同机器学习服务 ✓ 降低构建与部署成本 ✓ 提升模型性能

(1973) • SAS (1976) • MATLAB (1984) • Excel (1985) • Limited Domains (有限领域) ，比如 BI (Business Intelligence) • Limited Data (有限数据规模) • 数据科学不是基础设施，而是数学应用软件 • 全能力：统计/预测/洞察/规划/决策/… 数据科学的基建时期：大数据的兴起 • Map/Reduce F 预测 • 和大数据并不是互相取代的关系，而是能力加强 数据科学的大爆发时期：DT 时代 • 从前 -Limited Domains (有限领域): 比如 BI (Business Intelligence) -Limited Data (有限数据规模): 比如 Excel、Matlab • 未来 -Full Domains (全领域): 智能应用 (Intelligent Application)

// The operation to perform c chan int // The channel on which to return the result } An artificial but illustrative simulation of a requester. func requester(work chan Request) { c := make(chan

Don’t debug. Print! Attach to process Debug Goroutines Is it allowed to use AI in your company? Do you actually use AI? plan Superpower! 1 2 3 4 5 6 First steps Run to cursor Don’t debug

interfaces can have values, a variable of the interface type or an interface value: var ai Namer 264 Ivo Balbaert ai is a multiword data structure with an uninitialized value of nil. Allthough not completely to interface values are illegal; they would be completely useless and give rise to errors in code. ai : receiver value method table ptr Fig 11.1: Interface value in memory Its table of method the interface of that type. A variable of a type that implements the interface can be assigned to ai (the receiver value), the method table then has pointers to the implemented interface methods. Both

AttrAccessibility: "Accessibility", 122 AttrAddrClass: "AddrClass", 123 AttrArtificial: "Artificial", 124 AttrBaseTypes: "BaseTypes", 125 AttrCalling: "Calling", 126 10 import "C" 11 12 func cgoAddrInfoMask() C.int { 13 return C.AI_CANONNAME | C.AI_V4MAPPED | C.AI_ALL 14 } Build version go1.0.1. Except as noted, the content of this page is 41 hints.ai_socktype = C.SOCK_STREAM 42 hints.ai_protocol = C.IPPROTO_TCP 43 case "udp", "udp4", "udp6": 44 hints.ai_socktype = C.SOCK_DGRAM 45 hints.ai_protocol = C

中那样）。 Go 语言中的接口都很简短，通常它们会包含 0 个、最多 3 个方法。 不像大多数面向对象编程语言，在 Go 语言中接口可以有值，一个接口类型的变量或一个 接口值 ： var ai Namer ， ai 是一个多字（multiword）数据结构，它的值是 nil 。它本质上是一个指针，虽然不 完全是一回事。指向接口值的指针是非法的，它们不仅一点用也没有，还会导致代码错误。 此处的方法指针表是通过运行时反射能力构建的。 的实现说明了此方法是如何作用于该类型 的：即实现接口，同时方法集也构成了该类型的接口。实现了 Namer 接口类型的变量可以赋值给 ai （接收者值），此时方法表中的指针会指向被实现的接口方法。当然如果另一个类型（也实现了该接口） 的变量被赋值给 ai ，这二者（译者注：指针和方法实现）也会随之改变。 类型不需要显式声明它实现了某个接口：接口被隐式地实现。多个类型可以实现同一个接口。 必要的方法。这个转换是在运行时进行检 查的，转换失败会导致一个运行时错误：这是 'Go' 语言动态的一面，可以那它和 Ruby 和 Python 这 些动态语言相比较。 假定： var ai AbsInterface // declares method Abs() type SqrInterface interface { Sqr() float } var si SqrInterface

样）。 Go 语言中的接口都很简短，通常它们会包含 0 个、最多 3 个方法。 不像大多数面向对象编程语言，在 Go 语言中接口可以有值，一个接口类型的变量或一个 接口值 ： var ai Namer ， ai 是一个多字（multiword）数据结构，它的值是 nil 。它本质上是一个指针，虽然不完全是一回 事。指向接口值的指针是非法的，它们不仅一点用也没有，还会导致代码错误。 此 明了此方法是如何作用于该类型的：即实现接 口，同时方法集也构成了该类型的接口。实现了 Namer 接口类型的变量可以赋值给 ai （接收者值），此时 方法表中的指针会指向被实现的接口方法。当然如果另一个类型（也实现了该接口）的变量被赋值给 ai ，这二者 （译者注：指针和方法实现）也会随之改变。 类型不需要显式声明它实现了某个接口：接口被隐式地实现。多个类型可以实现同一个接口。 个转换是在运行时进行检查的，转换 失败会导致一个运行时错误：这是 ‘Go’ 语言动态的一面，可以拿它和 Ruby 和 Python 这些动态语言相比 较。 假定： 1. var ai AbsInterface // declares method Abs() 2. type SqrInterface interface { 3. Sqr() float 4. }

02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You Play with OSS Insight

have to be at beating around the bushstep 5: fill the contentstep 5: do work that's good enough use ai use google docs use go present if you feel like it use public code write your own samples take