Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 1 / 7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展，技术部⻔的组织架构在横向及纵向不断扩⼤和调整，与此同时，企业的⽣产资料：应 ⽤系统，也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整，梳理组织架构对于应⽤权责的边 界，⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分，使得应⽤系统的维护边界适配组织架 “微服务”带来便利的同时，对开发⼈员⽽⾔，还带来了额外的挑战：如何快速启动完整的开发环境？开发的 需求依赖于其他同事怎么联调？如何快速调试这些微服务？ ⽽对于管理⼈员来说，也同样带来了⼀系列的挑战：如何管理开发⼈员的开发环境？如何让新⼊职的同事快 速进⾏开发？ 试想⼀下，要开发由 200 个“微服务”组成的云原⽣应⽤，会遇到哪些困难呢？ Localhost 时代 在单体应⽤的时代，对于开发者来说是极为友好的 ，�开发者使⽤本机运⾏应⽤，修改代码后实时⽣效，通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同，单体应⽤是 “ALL-IN-ONE” 组织⽅式，所有的调⽤关系仅限于在⾃身的类和函 数，应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同，由于相互间的依赖关系，当需要开发某⼀个功能或微服务时，不得不将所 有依赖的服务都启动起来。随着微服务数量的增

[5]，并给出我们对于云原生安全的理解，即云原生安全是云原生理念的延伸，旨 在解决云原生技术面临的安全问题。 CSA 发布的《云原生安全技术规范》中给出了云原生安全框架[6]，如图 3 所示。其中，横轴是开发运营安全的维度，涉及需求设计（Plan）、开发（Dev）、 运营（Ops）,细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段；而纵轴则是按照云原生系统和技术的层次划分，包括容器基础设施安全、 容器编排 制、入侵检测、应用安 全等，应用于云原生环境，构建安全的云原生系统； （2）安全产品具有云原生的新特性，如轻/快/不变的基础设施、弹性服务 云原生安全威胁分析与能力建设白皮书 14 编排、开发运营一体化等。通过软件定义安全架构，构建原生安全架构，从而提 供弹性、按需、云原生的安全能力，提高“防护—检测—响应”闭环的效率； （3）在安全设备或平台云原生化后，提供云原生的安全能力，不仅适用于 云原生在改变了企业上云及构建新一代基础设施的同时，作为一项新兴技术 也带来了一系列新的问题，对企业原有的信息安全防护模式提出了新的挑战，例 如，微服务、容器运行时的短生命周期、CI/CD 全流程监控缺失、镜像及供应链 的复杂性等。另外，云原生技术生态涵盖基础设施到 DevOps 开发多个维度， 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中，原有

2B软件交付的困局 01 云原⽣与云原⽣应⽤ 02 ⾯向交付的应⽤模型 03 2B交付版本的DevOps 04 2B软件交付的困局 第⼀部分 SaaS 服务模式⾼速发展，但⽬前⼤多数2B领域的软件 交付，依然以传统交付模式为主。 产业互联⽹升级使得2B软件服务市场需求旺盛 什么是2B软件交付 01. 2B软件交付的困局 ⾯向企业⽤户交付软件价值的过程 （1）产品研发流程管理 （3）概念验证，POC 管理 （4）客户个性化定制（价值最⼤化的关键） （5）客户应⽤的持续交付 （6）客户应⽤⽣产稳定性保障 (SLA) 追求价值最⼤化 A. ⾼效的产品交付模式； B. ⾼效的产品定制开发模式； 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 14% 8% 14% 64% SpringCloud Dubbo 其他微服务架构 传统架构 微服务应⽤成为2B软件的架构主流 运维困难 交付困难 分布式难题 2B软件交付需求多样性 01. 2B 软件交付的困局 交付模式 定制化独⽴交付 标准独⽴交付 SaaS交付+定制交付 SaaS交付 客 单 价 越 ⾼ 交 付 效 率 越 ⾼ 交付环境 公有云 私有云 物理机 离线环境 运维模式 客户⾃管 驻场⽀持 远程⽀持 托管运维 交 付 难 度 越 ⾼ 商 业 价 值 越 ⼤ 2B软件交付的愿景

居高不下的原因之一。 在K8s这种环境中，存在两种定制化的手段：其一是Deployment API，但是它却 把研发和运维的描述放在了一起；其二是Operator（CRD），我们不得不为不同 客户开发很多不同特质的Operator，交付成本依然很高。 定制Operator这种解决方案，看似 比较合理,但是强烈依赖于K8S这种 容器调度系统，无法做到通用化， 所以客户必须要求先做针对K8S的 应用改造。 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 负载均衡 客户环境 • 关注点分离：开发者关注应用本身，运维人员关注模块化运维 能力，让应用管理变得更轻松、应用交付变得更可控； • 平台无关与高可扩展：应用定义与平台层实现解耦，应用描述 支持任意扩展和跨环境实现； • 模块化应用运维特征：可以自由组合和支持模块化实现的运维 概念是： 应用组件（Components），它是整个应用的重要组成部分。应用组件既可以包括 应用运行所依赖的服务：比如 MySQL 数据库，也包括应用服务本身：比如拥 有多个副本的 PHP 服务器。开发者可以把他们写的代码“打包”成一个应用组件。 • Trait描述了应用在具体部署环境中的运维特征，比如应用的水平扩展的策略和 Ingress 规则，它们在不同的部署环境里却往往有着截然不同的实现方式。

ge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 度、或者提送广告内容等 自动化特征 好的低代码平台要能适应企业的需求变化，提供需求变更管理 如果组件的实现方式依旧是 coding，依旧是别人熬夜，你来拖拉拽，这不叫低代码，这叫劳动力外包。国内这类 伪低代码产品，靠着模板走量批发的模式。客户买的是人工，不是技术 • 低代码平台与企业技术 栈的融合能力成为一个 重要的考验指标 • 有的企业系统已经运行 了几十年，拥有自己的 UI 体系、数据库体系和 中台体系，完全更改是 不现实的，低代码平台 SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式，资源 使用地位不对等，以私有云为主体。 控制台 控制台 高级能力-多云（资源角度） 调研机构Gartner公司指出，80％的内部部署开发软件现在支持云计算或云原生，不断发展的云计算生态系统使企业能够更快、 更灵活、更实时地运营，从而带来竞争压力。接受云原生和多云方法作为一种新常态，意味着企业可以避免云计算供应商锁定， 可以提供超过5

的基石;云上原生的安全能力让成本、效率、安全可以兼得，上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失，所以当安全投入 的成本大于能够避免的资产损失价值时，变 得毫无意义！ 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率！ 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案！ 传 统 安 全 工 作 传 统 由 独 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克服其缺点，将SAST和DAST相结合，通过插桩 等手段在运行时进行污点跟踪，进而精准的发现问题。是DevSecOps的一 种推荐方式。 如果在被动模式下运行IAST，那么开发测试过程 中就可以完成安全扫描，不会像DAST一样导致业 务报警进而干扰测试，同时由于污点跟踪测试模 式，IAST可以像SAST一样精准的发现问题点 SCA（软件成分分析） 有大量的重复 可以自由伸缩，并自动故障转移，采用读写分离，适应 高负荷的场景。另外也需要进一步将计算和内存分离出 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能，也能得到传统数据库网络和性能上一样的体验。 • 底层Data Chunk，采用去中心存储，单体失败不影响数

企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 可预测性 不可预测 抽象性 操作系统抽象 依赖操作系统 弹性能力 弹性调度 资源冗余多 缺乏扩展能力 开发运维模式 DevOps 瀑布式开发 部门孤立 服务架构 微服务解耦架构 单体耦合架构 恢复能力 自动化运维 快速恢复 手工运维 恢复缓慢 云原生应用相比传统应用的优势(例子) 来实现计算资源向应用的无缝融合，以极简稳定的、 提升资源利用质量。 标准化能力-按需调度-Serverless 业务价值 架构 • 彻底消除传统服务端基础设施依赖，降低研发复杂性和运维难度 • 按实际调用量进行自动的容量扩缩 • 专注业务逻辑开发，无须关心基础设施 • 只需要将视频存入存储，接入极其简单，达到极致业务体验 • 按需加载资源，使用时调度，不使用时自动回收，达到极致 成本的体验。 • 并行执行，可以同时出产不同维度业务结果，达到极致性能

0及更高版本中，这可以 置为 go-sockaddr 模板 ● -bootstrap： 此标志用于控制服务器是否处于“引导”模式。重要的是，在此模式下，每个数据中 只能运行一台服务器。从技术上讲，允许自举模式的服务器作为Raft领导者自行选举。重要的是只有 个节点处于这种模式; 否则，无法保证一致性，因为多个节点能够自我选择。在引导群集后，建议不 使用此标志。 ● -bootstrap-expe ，或者该值必须与群 中的其他服务器一致。提供后，Consul将等待指定数量的服务器可用，然后引导群集。这允许自动选 初始领导者。这不能与传统-bootstrap标志一起使用。此标志需要-server模式。 ● -bind：应绑定到内部群集通信的地址。这是群集中所有其他节点都应该可以访问的IP地址。默认 况下，这是“0.0.0.0”，这意味着Consul将绑定到本地计算机上的所有地址，并将 第一个可用的私有 何文 ，以便以该格式进行解释。 原文链接：consul 命令行 ● data-dir：此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要，因为它们必须能够持久化群集状态。 外，该目录必须支持使用文件系统锁定，这意味着某些类型的已安装文件夹（例如VirtualBox共享文 夹）可能不适合。注意：服务器代理和非服务器

kubernetes/StatefulSet Kubernetes/Deployment K8s 的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 3. 不统一，每一个模式需要重新编 写发布对接 K8s-sigs 的 Application 1. 只描述了应用产品元数据， 研发、运维无从入手。 2. 无人维护、缺乏活跃度。 3. 信息不足以对接发布。 k 黑盒，不明确内部有哪些 资源。 2. 无法使用/对接云资源。 3. 发布能力缺失，使用 helm upgrade 没有灰度 能力。 Helm Chart 基于 CRD 自定义实现 需要大量 K8s 经验才能开发 某游戏公司自定义workload Pinterest 构建一个渐进式发布能力需要解决哪些 问题？ • 版本化 • 分批发布 • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 日志监控 • 对象模板 CUE 模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json schema) 示例：上线新功能 metrics 平台研发团队： ● 开发了一个新 Operator 叫做 metrics（监控） ● 编写一个 K8s 能力描述文件 metrics.yaml 平台管理员： ● 执行 $ kubectl apply -f metrics

Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置（鉴权模式等） 内容复制 垃圾回收(GC) 配额管理 扫描管理 用户管理 系统标签管理 P2P预热管理 Harbor 系统 系统级日志 搭建Harbor仓库服务 仅聚焦Harbor组件安装 • goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源 Members Images 制品的高效分发-复制 [1] 基于策略的内容复制机制：支持多种过滤器(镜像库、tag和标签）与多种触 发模式（手动，基于时间以及定时）且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 策略