基于 KUBERNETES 的 容器器 + AI 平台 如何助⼒力力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） CAICLOUD/CYCLONE • 开源 • https://github.com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow 社区的联合创始⼈人 • kubeflow/tf-operator • 定义 TFJob Spec (CRD) • 跟踪 TensorFlow 任务运⾏行行状态 • ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI ⼯工作流 • 探索开发 • 线上运⾏行行 关注并回复 kubecon18

Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream openLedger(5, 3, 2) streamnative.io 企业级流存储层： 读写⾼可⽤性（容错） streamnative.io 企业级流存储层： 稳定的 IO 质量 ⾼性能、强⼀致性、读写隔离、灵活SLA • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative

将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 数据，输出格式规范的数据 表格，但集成数据维度仍然 不够全面。 DeepSeek R1 一般文本（7000token）：能 详细全面地提取文本数据，并 集成可视化表格，但受大样本 或模型稳定性影响，输出表格 末尾缺失，需要重复尝试生成。 长文本（15000token）：暂时 无法给出答复。 【所需阅读文本】请根据以上文本完成以下三个任务：1、阅读 文本内容；2、整理集成可视化的数据表格；3、按照日期规范排 词模板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 文本数据集成  一般文本处理任务中，DeepSeek R1所提取的文本数据维度最为全面，但容易受文本长度或模型稳定性影响出现失误；其他三个模型在文本数 据提取过程中，都存在对部分数据的忽略问题，没有完整集成到可视化表格中；  长文本处理任务中，Kimi k1.5相较短文本处理表现更加突出，提取准确的同时数据

Ozone的实践分享 ⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 是否可以扩展⾄数百PB的存储容量，数千个 物理节点以及数⼗亿个对象 扩展性 API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Federation Router Based Federation 降低系统恢复时间 • 尽可能的减少NN Java GC带来的⽆ 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE • 性能影响，频繁open/close实例 • 磁盘使⽤量，不可精准预测 • 稳定性，频繁open/close⾮RocksDB的推荐⽤法， 容易触发潜在问题 解决办法 - 单盘单RocksDB实例 单盘单RocksDB实例 • 除了Container的删除，其他操作V3都要⽐V2有数量级的提升 • 随着单盘Container数量的增多，V2的各操作性能出现下降，⽽V3性能基本没有变化

维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GPT-4（O le），主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 创造融合点：设计概念间的创新性连接点 5. 构建融合提示：创建引导AI进行概念嫁接的提示语 应用示例 任务：尝试将“社交媒体”和“传统图书馆”这两个概念进行嫁接，以设计一 个创新的知识共享平台。 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 •

的样子的。 自由分发的源代码的想法是为了鼓励人们自愿地、相互协同地开发软件。用户不断参 与增强软件、修复缺陷、开发新功能并且和其他人分享。 大量的程序员参与到软件协作开发之中，用户可以获得质量和性能比专有软件更好的 开源软件。开源软件鼓励用户对软件进行自定义，使其满足自身需要。这是一个巨大 的进步，软件不再是一成不变的。 2 自由软件运动、开源和 Linux 目录 Lucid Lynx Torvalds 本人。 但是，Torvalds 在内核开发过程中做了大量工作，并且拥有 Linux 这个商标。 Linux 开放源代码： • 可以被任何人获取和使用 • 可以根据个人的要求和所使用的平台定制 • 可以自由地以当前或修改的形式重新发布 最开始，Linux 是技术性非常强的开发工具。但是随着成千上万的开发者加入到改进 它的行列，为它的发展做出贡献，对于用户它变得越来越友好。于是现在有数百种商 盘启动并 运行系统。如果您喜欢它，再安装；如果不，您还可以把它送给需要的朋友。Live CD 在恢复系统时也很有用。 二者的安装都比较简单，运行安装光盘然后启动电脑，安装所花费时间取决于计算 机的性能，平均需要 10 到 20 分钟。 • 软件安装在 Ubuntu 中，您可以使用 Ubuntu 软件中心和新立得软件包管理器来 添加软件。在 Ubuntu 软件中心里您可以从 Ubuntu 推荐的自由软件中选择您想

本方案采用 Heartbeat 双机热备软件来保证数据库的高稳定性和连续性，数据的一 致性由 DRBD 这个工具来保证。默认情况下只有一台 mysql 在工作，当主 mysql 服 务器出现问题后，系统将自动切换到备机上继续提供服务，当主数据库修复完毕， 又将服务切回继续由主 mysql 提供服务。 5.2 方案优缺点 优点：安全性高、稳定性高、可用性高，出现故障自动切换， 缺点：只有一台服务 的功能，更可贵的是 如果当前的主服务器挂掉后，会将你后端的从服务器自动转向新的主服务器进行同 步复制，不用手工更改同步配置。这个方案是目前比较成熟的解决方案。 6.2 方案优缺点 优点：安全性、稳定性高，可扩展性好，高可用，当主服务器挂掉以后，另一个主 立即接管，其他的从服务器能自动切换，不用人工干预。 缺点：至少三个节点，对主机的数量有要求，需要实现读写分离，对程序来说是个 挑战。 6.3 chinaunix.net/uid-20639775-id-3088302.html http://blog.chinaunix.net/uid-20639775-id-154518.html 《高性能 MySQL(第 2 版)》

65535，返种优兇级问题一般使用丌同 topic 解决就非常丌合 项目开源主页：https://github.com/alibaba/RocketMQ 5 适。如果要让 MQ 解决此问题，会对 MQ 的性能造成非常大的影响。返里要确保一点，业务上是否确实需 要返种严格的优兇级，如果将优兇级压缩成几个，对业务的影响有多大？ 4.3 Message Order 消息有序挃的是一类消息消费时，能挄 挂掉重启后仍然能将乀前内存的数据恢复出来。 JMS 不 CORBA Notification 规范没有明确说明如何持丽化，但是持丽化部分的性能直接决定了整个消息中间件 的性能。 RocketMQ 参考了 Kafka 的持丽化方式，充分利用 Linux 文件系统内存 cache 来提高性能。 4.6 Message Reliablity 影响消息可靠性的几种情冴： (1). Broker 正常关闭 生，在此单点上的消息全部丢失。RocketMQ 在返两种情冴下，通 过异步复制，可保证 99%的消息丌丢，但是仍然会有极少量的消息可能丢失。通过同步双写技术可以完全避免单点， 同步双写势必会影响性能，适合对消息可靠性要求极高的场合，例如不 Money 相关的应用。 RocketMQ 从 3.0 版本开始支持同步双写。 4.7 Low Latency Messaging 在消息丌堆积情冴下，消息到达

目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc • Go 语言的WebRTC 协议栈 pion/webrtc • 基于pion/webrtc 实时通讯应用爆发 • 疫情影响，全世界都在使用远程教育，远程办公 • 云游戏，机器人，VR，直播等 • 如何用最容易的方案实现实时通讯 • 漂亮的app，最好全部(mobile, web, desktop)平台都支持. • 最容易使用的后端技术 真实世界的需求点 用开源方案实现需求 WebRTC + Flutter + Go 技术简介 第二部分 WebRTC 是什么 01. • 由 原生SDK开发(每平台人力投入) • UI 的一致性，更新迭代（类似SDK需按平台维护） • 性能问题(全部使用html5) 客户端是否有 更好的选择？ 为何选择 Flutter • 同样是 Google 发起的跨全平台高性能UI框架 • 基于 Skia 2D 渲染引擎 • 使用类似JS/TS的Dart 语言开发 • 支持代码编辑后热重载, Flutter 支持那些平台 iOS/A

搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 服务多迭代快 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 搜狗商业平台业务系统 搜索推广 信息流 品牌 BizNginx （Load Balancer） 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多