利用夜莺扩展能力打造全方位监控系统 喻波 滴滴 专家工程师 目 录 运维监控需求来源 01 监控痛点：全面完备、跨云 02 夜莺介绍： 国产开源监控系统 03 夜莺设计实现：Agentd 数据采集 04 夜莺设计实现：Server 数据处理 05 夜莺设计实现：技术难点及细节 06 运维监控需求来源 第一部分 如果贵司的业务强依赖IT技术，IT故障会直接影响营业收入， 集群版n9e-tsdb 3种存储方案，按需选择 Agentd 夜莺设计实现 Agentd 数据采集 第四部分 监控系统的核心功能，是数据采集、存储、分析、展示，完 备性看采集能力，是否能够兼容并包，纳入更多生态的能力， 至关重要 夜莺数据采集 01.监控数据采集，all in one的agentd Agentd 进程存 活 端口监 控 插件脚 本 日志监 控 网络设 承 • 独创在端上流式读取日志，根据正则提取指标的 机制，轻量易用，无业务侵入性 • 内置集成了多种数据库中间件的采集以及网络设 备的采集，复用telegraf和datadog-agent的能力 • 支持statsd的udp协议，用于业务应用的apm监控 分析 夜莺数据采集 01.监控数据采集，all in one的agentd 夜莺数据采集 02. Autoconfig Forwarder

大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer 解决之道：通过技术手段，降低系统对外部的依赖，而“MOCK”，是最 有效的手段。 分布式服务框架mock能力构建 应用 服务容器（Consumer） Filter Chain 将mock能力内置到分布式服务框架中 开发mock能力过滤器，在服务调用链路上对服务调用进行挡截。 “开关机制”控制mock能力启停 mock能力启用时，服务容器初始化期间将加载mock数据文件到内存中，每个服务请求将和mock数据的入参定 校验接口清单 远程接口A 测试报告 服务注册中心 服务列表 …… 远程接口B … 邮件发送 调用 并 比对结果 CI构建流程 response request 应用服务综合mock能力 在实际应用场景中，应用所依赖的服务往往很分散： 一部分依赖服务从本机的Runtime环境即可获取， 一部分需要从协同团队的远程开发机上临时获取（联调模式）， 一部分服务可能还未完成开发并发布，需要通过mock机制进行模拟。

云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院，并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的， 应注明“来源：中国联通研究院”。违反上述声明者，本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 1 .....................................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击............................................................................. .....................................................................................36 云原生安全威胁分析与能力建设白皮书 3 2.6.6 针对函数供应链的攻击........................................................................36

统。在传统单设备系统能力的基础上，鸿蒙提出了基于同一套系统能力、适配多种终 端形态的分布式理念。自 2020 年 9 月 HarmonyOS 2.0 发布以来，华为加快了鸿 蒙系统大规模落地的步伐，预计 2021 年底，鸿蒙系统会覆盖包括手机、平板、智能 穿戴、智慧屏、车机在内数亿台终端设备。对移动应用而言，新的系统理念、新的交 互形式，也意味着新的机遇。如果能够利用好鸿蒙的开发生态及其特性能力，可以让 难以估量的。因此，通过打造一套 合适的跨端框架，以相对低的成本移植应用到鸿蒙平台，并利用好该系统的特性能 力，就成为了一个非常重要的选项。 在现有的众多跨端框架当中，Flutter 以其自渲染能力带来的多端高度一致性，在新 系统的适配上有着突出的优势。虽然 Flutter 官方并没有适配鸿蒙的计划，但经过一 段时间的探索和实践，美团外卖 MTFlutter 团队成功实现了 Flutter Flutter 业务 的开发者；中间层为引擎层，使用 C/C++ 开发，实现了 Flutter 的渲染管线和 Dart 运行时等基础能力；最下层为嵌入层，负责与平台相关的能力实现。显然我们要做的 是将嵌入层移植到鸿蒙上，确切地说，我们要通过鸿蒙原生提供的平台能力，重新实 前端 < 3 现一遍 Flutter 嵌入层。 对于 Flutter 嵌入层的适配，Flutter 官方有一份不算详细的指南，实际操作起来成本

四 数据迁入-TiDB Data Migration 16 增量数据迁出-TiCDC 17 数据导入-TiDB Lightning 数据导出-Dumpling ....... 3.2 备份和恢复- Backup&Restore 18 3.3 安装部署 19 高性能，安全性以及业务连续性等都有非常严 苛的要求，TiDB 企业版产品为企业用户提供高品质的商业化产品，同时通过企业订阅的交付方式，为 用户带来持续的技术保障，建立针对关键计算和生产环境的技术支撑能力并确保 TiDB 商业用户能够享 有产品持续创新的成果。 2.6 TiDB 社区版与企业版差异 名 分布式 SQL 引擎 1 核心组件 分布式存储引擎 7 7 监控告千 v v 5 | 过直和于 全晶数据备份/才复 v v 增量数据备份/才复 v v 快速备份复 v v 全量数据进加加载 v

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 561 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 821 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1437 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 548 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 831 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1487 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 564 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 847 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1503 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 559 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 837 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1473 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 547 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 825 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1456 13.2.8 TiDB 增量数据订阅· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·