reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ① Trace与「非Request scope」的Metrics 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Servi

云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能

Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 Plugins on demand reclaim Re-construct JobInfo in Cache by PodGroup Job JobSpec 用户案例：荷兰ING银行大数据平台云原生化改造 • Platform Entry-point • Project Management Data Science in a box (Advanced analytics

从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 分布式数据库：从数据库中间件技术发展到分布式数据库 4.数据库网格：数据库与微服务、云原生的发展关系 5.数据库解决方案：如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL面临： 1、容量有限，难以扩容 2、读写压力，QPS过大，特别是分析类需求会影响到业务事务 3、可用性不足，宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级，不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性； 2、对于复杂的SQL，可能不支持； 3、对于跨库和跨分片的数据，需要额外机制保障一致性；

宿主的监控，比较常规和简单，无非就是 CPU、Mem、Disk、DiskIO、Net、Netstat、Processes、 System、Conntrack、Vmstat 等等。原理就是读取 OS 的数据（通过 /proc 和 syscall 等）做一些简 单计算。有很多采集器可以选择： Telegraf Grafana-agent Datadog-agent node-exporter Categraf Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor 的接口，Kubelet 里 内置了cAdvisor，cAdvisor 不管是 docker 还是 containerd 找所有node，通过 Kubernetes apiserver 的 proxy 接口，抓取各个node（即kubelet）的 /metrics/cadvisor 接口的 prometheus 协议的数据 • 这个抓取器只需要部署一个实例，调用 apiserver 的接口即可，维护较为简单，采集频率可以调的稍大，比 如30s或60s • 所有的拉取请求都走 apiserver，如果是几千个node的大集群，对

L1: 基础云原⽣应⽤ （1）容器化运⾏ （2）计算与数据分离 （3）满⾜12 因素 （4）可伸缩性 （5）可配置性 （6）基础可观测性 L2: 具备远程交付能⼒ （1）完全的模版化定义 （2）模版⾃动实例化 （3）数据⾃动初始化 （4）业务⾼容错性 （5）业务⾼可⽤性 L3: 具备持续升级能⼒ （1）⾼容错化数据升级 （2）⾼容错化版本升级 （3）版本可回滚 （4）业务⾼观测性 AppKeyID string `json:"group_key"` AppName string `json:"group_name"` AppVersion string `json:"group_version"` TempleteVersion TempleteVersion string `json:"template_version"` Components []*Component `json:"apps"` Plugins []*Plugin `json:"plugins,omitempty"` AppConfigGroups

代理上设置此选项。默认情况下，-adverti e通告地址。但是，在某些情况下，所有数据中心的所有成员都不能位于同一物理或虚拟网络上，尤 是混合云和私有数据中心的混合设置。此标志使服务器节点通过公共网络为WAN进行闲聊，同时使 专用VLAN互相闲聊及其客户端代理，并且如果远程数据中心是远程数据中心，则允许从远程数据中 访问此地址时访问客户端代理。配置了translate_wan_addrs。在Consul 此标志用于控制服务器是否处于“引导”模式。重要的是，在此模式下，每个数据中 只能运行一台服务器。从技术上讲，允许自举模式的服务器作为Raft领导者自行选举。重要的是只有 个节点处于这种模式; 否则，无法保证一致性，因为多个节点能够自我选择。在引导群集后，建议不 使用此标志。 ● -bootstrap-expect：此标志提供数据中心中预期的服务器数。不应提供此值，或者该值必须与群 中的其他服务器 Consul将使用后缀“.json”或“.hcl”加载此目录中的所 文件。加载顺序是按字母顺序排列的，并且使用与上述config-file选项相同的合并例程 。可以多次指 此选项以加载多个目录。未加载config目录的子目录。有关配置文件格式的详细信息，请参阅“ 配置 件”部分。 ● config-format：要加载的配置文件的格式。通常，Consul会从“.json”或“.hcl”扩展名中检测

.......................................................................................34 2.6.2 敏感数据泄露攻击................................................................................34 2.6.3 身份认证攻击 千企业数字化转型换挡提速，企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点，很好地契合了云计算发展的本质需求，正在成为驱动云计算 质变的技术内核。 云原生作为云计算深入发展的产物，已经开始在 5G、人工智能、大数据等 各个技术领域得到广泛应用。中国联通研究院一直从事云原生及其安全技术的研 究，致力于推动云原生在通信行业落地实践，全面落实好“大安全”主责主业， 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 时代，云原生技术日趋成熟，并因大语言模型的推 动助力朝着云计算 3.0 智能时代迈进的背景下，分析云原生安全的发展情况和面 临的威胁，并研究云原生安全能力，能够为企业整体的云安全防护体系建立提供 帮助，从而保障企业业务和数据更安全的在云上运转。 1.1 云原生及云原生安全 过去十年，企业数字化转型加速推进，相继经历了服务器、云化到云原生化 三个阶段。在云化阶段，云主机是云计算的核心负载之一，云主机安全是云安全

的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 3. 不统一，每一个模式需要重新编 写发布对接 K8s-sigs 的 Application 1. 只描述了应用产品元数据， 研发、运维无从入手。 2. 无人维护、缺乏活跃度。 3. 信息不足以对接发布。 kubernetes-sigs/application 几乎成为事实标准的应用打包工具 helm 1. 自动生成 OpenAPI v3 的 json schema 文件和文档。 2. 通过 vela 的命令行工具可以查看。 3. 用户也可以自己基于 json schema 去 渲染集成进自己的前端。 KubeVela 的能力模板 – 组件类型 抽象封装方式 K8s 对象模板 CUE 模板 工作负载类型 Helm chart 封装 其他封装 使用方式(json schema) KubeVela KubeVela 的能力模板 – 运维能力 抽象封装方式 可作用的工作负载 K8s 对象模板 CUE 模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json schema) 示例：上线新功能 metrics 平台研发团队： ● 开发了一个新 Operator 叫做 metrics（监控） ● 编写一个 K8s 能力描述文件 metrics.yaml