使用Kubernetes部署超级账本Fabric 张海宁（Henry Zhang) VMware中国研发现先进技术中心技术总监 SACC2017 自我介绍 • VMware中国研发先进技术中心首席架构师、技术总监 • Harbor开源企业级容器Registry项目创始人 • Cloud Foundry中国社区最早技术布道师之一 • Hyperledger Cello项目贡献者 • 《区块链技术指南》、《软件定义存储》作者之一 《区块链技术指南》、《软件定义存储》作者之一 公众号：亨利笔记 《区块链技术指南》 《软件定义存储》 SACC2017 议程 1 超级账本项目概览 2 Kubernetes架构简介 3 用Kubernetes部署Fabric 4 总结 SACC2017 超级账本项目概览 SACC2017 商用区块链的要求 5 共享账本 智能合约 隐私性 共识算法 多方共享数据 多方共享数据 访问权限控制 交易具有合适的可见性 交易需认证身份 用代码描述业务 可验证和签名确认 多方共同认可交易 满足需求的吞吐量 SACC2017 公有链的不足之处 • 比特币、以太坊等公有链项目，不能满足商用的需求 – 无保密性(Confidentiality) – 无法溯源(Provenance) – 确认时间长(Slow confirmation) – 无最终性(Finality)

•使用方式与物理机无异 问题：上容器有多大性能损失？ 没有频繁的磁盘访问的应用容器和本地进程无异，网络为主要开消 想要的网络方案 •全网能够互通 •简单能掌控 •后续能定制 •尽量减少链路时延 琳琅满目的网络方案 •Flannel •Calico •Cilium •Kube-Router •Macvlan •… (剩余几十个) 方案一：Flannel网络方案 •简单的设计，易掌控 集群方案 一个超大集群还是多个中小集群？ 集群方案 •超级部署屏蔽K8S的各类资源 •一个部署调度到多个集群 •业务可自定调度策略 •达到机架、机房、集群级容灾 服务发现方案 •K8S自带的服务发现不可用 •基于Pod事件的服务发现 •现状妥协导致服务发现链路变长 集群失败了 •没有办法操作K8S？ •基于假事件的重新调度 •灾难场景可迁移至备份集群

域融合，创新发展。传统业务模式不断创新，需要先进数字技术持 续交织发展放大赋能效用，以满足多样化用户群体的个性需求。云 计算充分发挥数字基础设施作用，全球厂商正积极基于云底座提供 全新的大数据、区块链、人工智能服务。2022 年谷歌提出开放、可 扩展的“数据云”愿景，构建信息统一化的“数据云”平台。百度 智能云践行“云智一体”发展路线，充分结合 AI 能力与自身云基础 设施能力，发布全栈自研的 伙伴的布局。二是云服务商加强合作伙伴认证与培训，通过汇聚生 云计算白皮书（2023 年） 9 态进而赢得市场。AWS 提出“ISV 加速赢计划 2.0”，关注 ISV 面向 企业应用的全链交付能力；微软全新推出 MCPP（微软云合作伙伴 计划）取代 MPN(微软合作伙伴网络)，重新定义六大技术领域认证， 对合作伙伴业务和服务能力全面评估。三是云合作伙伴拓展服务边 界，云服务商更加 工业软件当年度收取费用的 30% 给予最高 5 万元的消费券补贴。 江苏 2022.9 《江苏省推进数字贸易加快发展 的若干措施》 突出数字产业化方向，加快推进通 信、大数据、人工智能、云计算、 区块链等技术的跨境贸易。 云计算白皮书（2023 年） 12 浙江 2023.3 《2023 年宁波市中小企业发展专 项资金因素法分配专项资金海曙 区使用管理办法》 完成市对区上云任务考核，对获评

网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 涉及的模块：全局管理、容器管理、应用工作台、云原生网络、云原生存储、镜像仓 能够实时监控应用及资源，采集各项指标、日志及事件等数据用来分析应 用健康状态，不仅提供告警能力以及全面、清晰、多维度数据可视化能力，兼 容主流开源组件，而且提供快捷故障定位及一键监控诊断的能力。 可观测模块实现了指标、日志、链路的统一采集，支持对指标、日志进行多维 度的告警并提供简洁明了的可视化管理界面。 主要功能如下： 版权 © 2023 DaoCloud 第 11 页 ➢ 提供容器、服务、节点和集群等多维度的监控

简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码，触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark • 全链路压测 • 集成测试 • 以前gitlab ci，docker in docker • 目前结合配置中心拓扑图，自动生成jekins编排，ing 微服务的测试阶段 测试类型 工具生成测试用例 Resolver Balancer Auth Context 微服务的治理阶段 监控 日志 链路 限流熔断 错误收敛 报警 • 方便报警 • 减少冗余信息 微服务的治理阶段 监控 日志 链路 限流熔断 总览、错误、流量、延迟 报警 微服务的治理阶段 监控 日志 链路 限流熔断 https://ego.gocn.vip/f rame/core/logger.html mysql的方法叫sql，redis方法叫cmd，框架这里全部统一 用method。降低索引个数 微服务的治理阶段 监控 日志 链路 限流熔断 https://ego.gocn.vip/f rame/core/logger.html 报警 微服务的治理阶段 监控 日志 链路 限流熔断 export EGO_LOG_EXTRA_KEYS =X-Ego-Uid,X-Ego- OrderID

分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 日志管理 应用诊断 微服务架构总览 https://www.jetbrains.com/lp/devecosystem-2019/java/ 2018 年 11 月 Spring Boot • A/B Test • 全链路灰度 安全态Sec 发布态 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 高可用 • 服务鉴权 • 漏洞防护 服务治理的区分 服务治理中心 提供者 消费者 Agent Agent 用户 配置中心 治理规则 Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 写入token和规则 购物车服务 服务鉴权: 保护你的敏感业务 AZ 标 Region 标 压测标 版本标 场景标 自定义标 标签路由 金丝雀发布 全链路流控 场景链路 同 AZ 优先路由 容灾路由 全链路压测 自定义标 tag1 tag2 Provider Consumer 标签路由 可灰度 可监控 可回滚 变更管控 安全变更三板斧 故障应急 发布封网

系统维护成本⾼… 系统应⽤ • 数据分散，到处找 • 应⽤独⽴，难协同 • ⼀体化应⽤，不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 运⾏状态可视化，数据化，降低 部署⻛险，快速反馈 运营统计 全链路指标统计，为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果，快速实践落 地 DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施 租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实

使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在为组织设计安全策略或选择安全分析工具时考虑这 项技术。 5. 自动合并依赖项更新 PR 试验 软件供应链的复杂性是一个重大风险，我们已经在一些文章中进行过讨论，例如 SBOM 与 SLSA。对于大多数 团队来说，致命弱点仍然是依赖项中存在漏洞，通常是来自于多层的间接依赖项。Dependabot 等工具可以通 情况下，依赖项更新 PR，即使它们在间接依赖项中包含主要版本 更新，也应该自动合并。 6. 针对 FAIR 数据的数据产品思维 试验 数据产品思维重视将数据消费者视为客户，确保他们在数据价值链中的无缝体验。这包括易用的数据发现、理 解、信任、访问和消费。“产品思维”不是一个新概念，过去我们在运维中施用了这一概念，建立了运维产品和 微服务。它伴随着构建长期的跨功能的团队在组织中拥有并分享 ReAct 提示工程 试验 ReAct 提示工程是一种用于提示大语言模型的方法，相较于思维链（CoT）等竞争方法，ReAct 旨在提高大语言 模型的响应准确性。这一方法在一份 2022 年的论文中首次提出，其原理是将推理和行动结合起来（因此称为 ReAct）。这种方法有助于使大语言模型的响应更具解释性，相对于思维链减少了虚构性内容，从而提高了提示 者获得他们想要的内容的机会。最初，LangChain

• 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群 namespace1 namespace… namespaceN service1 service2 service3 … jenkins 用户中心数据库 API网关数据库 应用中心数据库 基础服务数据库 基础服务数据库 … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 集群规模大，运维工作量大 环境数目越多，资源成本，维护成本越高 挑战 P-3 多环境优化实战 ‣ 为什么要多环境访问严格隔离 ‣ 如何借助多云保证有状态服务高可用 ‣ 如何做到激增流量时，全链路联动扩缩容 ‣ 如何通过共享减少资源占用 ‣ 如何识别流量，智能路由 • 资源隔离，逻辑隔离，物理隔离 逻辑隔离多环境共享一个K8S（线下） 问题1 多环境物理隔离（线下，线上） 问题2

IDC Servers Networking 神龙裸金属 ECS ECI基于 k8s 云原生改造实践落地 k8s 面临的两大难题 向全面云化演进 集群规模庞大 多种工作负载 业务形态多样 运维链路复杂 应用定义标准缺失落地 k8s 面临的主要挑战 What we are moving to Cloud Native: •almost one hundred sites •more throttling/circuit breaker throttling/circuit breaker 风险识别自愈能力升级 • 传统运维体系的效率问题 - 应用启动流程复杂 - 决策链路较长 - 状态一致性风险 容器平台 监控 VIP 服务注册 配置中心 运维平台 观察者 异常消费 基础设施 异常来源• 统一容器与应用实例的生命周期 • 下沉应用的冗余度信息 容器即应用 • CloneSet • UnitedDeployment (coming soon) https://openkruise.iok8s 规模及性能优化实践性能优化 RT/QPS 资源使用率 链路RT/QPS 服务异常 队列长度 gRPC监控 长连接分布 请求分布 限流 Authorization Authenticatio n 序列化 压缩 版本转换 Admission Cache