24-云原生中间件之道-高磊如UEFI、loader、OS、应用等,可以确保在被入侵 修改时的阻断行为,另外可以将可信启动链的 Hash值上传云端管理,可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态:存储中、传输中、使用中,但 是对第三种场景,一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE(比如IntelSGX,蚂蚁的KubeTEE等)可以保护运行中的数据和 代码,完成了安全闭环。 依 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差0 码力 | 22 页 | 4.39 MB | 6 月前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 数据库中间件使用的约束: 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy MyCAT DBLE KingShard Vitess ? Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累; 1)引入框架,研发人员 2)引入中间件,研发人员+运维人员=》研发团队 3)引入数据库,0 码力 | 23 页 | 1.91 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊是一种以资源视角的云交付形式, 不同于混合云,底层云的资源使用 地位等同。 AWS Aliyun Azure 云中立 高级能力-分布式云(交付角度) 分布式云(Distributed Cloud)就是分布在不同地理位置的云,是公有云“进化”的最新形态 中心Region 传统公有云 分布式云 覆盖热点区域的 边缘数据中心 客户本地机房的边缘节点或者 边缘计算盒子 粗犷上云 低时延 高弹性 强合规 去中心云 靠近的小云相似 于混合云、多云 纳管或者分布式 整体服务对等 性能、安全可控, 满足可控信息互通 的要求 • 涵盖所有云,涵盖所有业务形态 • 满足性能、安全要求 • 满足云间通信 • 是未来下一代云,目前云厂商还在摸索阶段 • 有望成为云计算终极形式,云原生ServiceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年,全球数据存储总量预计为58ZB,平均每年增长 1倍。当前数据爆炸时代带来了三大问题。一、储存成 1倍。当前数据爆炸时代带来了三大问题。一、储存成 本问题: 通过当前的中心化云计算处理和存储海量新 增数据费用高昂;二、隐私和安全问题: 当前的中心 化云计算无法保证个人数据的隐私和安全性;三、数字 资产流动性问题: 数据是一种资产,互联网巨头数据 垄断无法实现数据权益的流动性;因此在面对数字经济 新纪元的到来,需要一个去中心化的云计算平台来解决 这些问题,预计到2022年,每10个字节的数据中,将有 7个字节的数据是没有数据中心的。0 码力 | 20 页 | 5.17 MB | 6 月前3
consul 命令行● data-dir:此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要,因为它们必须能够持久化群集状态。 外,该目录必须支持使用文件系统锁定,这意味着某些类型的已安装文件夹(例如VirtualBox共享文 夹)可能不适合。注意:服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌,因此 访问可以授予对服务器 保留供Consul内部使用。 ● 元数据值的长度必须介于0到512(含)之间。 ● 开头的密钥的元数据值rfc1035-在DNS TXT请求中逐字编码,否则元数据kv对根据RFC1464编 。 ● -pid-file:此标志提供代理程序存储其PID的文件路径。这对于发送信号很有用(例如,SIGINT 关 代理或SIGHUP更新检查确定 ● -protocol:要使用的Consul协议版本。默认为0 码力 | 5 页 | 346.62 KB | 1 年前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊分析&追踪&排错&探索 • 从稳定性目标出发,首先需要有提示应用出问题的手段 • 当提示出现问题后,就需要有定位问题位置的手段,进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图:是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警: 主动告诉我 问题发生了! 微服务部署后就像个黑盒子,如何发现问题并在 远端运维是主要的课题,那么就需要从宏观告知 研发人员,并且提供日志、跟踪、问题根因分析 策就会更加精确 根据运维场景和关注点的不同,以不同图表或者曲 线图来表示整体分布式应用的各维度情况,使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 多的依赖,常见的依赖有RDS,LB,MNS(SNS,SQS)等这类非容器资源。OAM在使用一体的“编排”语言即可将容器资源和非容器资源定义在一起。 比如要使用AWS的块存储 后续如果某个应用需要存储,可以直接引用。 而不需要关心底层到底是如何管理存储的。 OAM让应用本身从研发 的视角来声明“我是谁”、 “我要使用什么样的云 服务”,至于背后的实 现交个各个开源项目和 厂商去实现,譬如: kubevela。0 码力 | 24 页 | 5.96 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊与2019年全面云化相比,2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看,产品侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本: • 支持全 标准化能力-分布式操作系统核心-容器服务 向上提供抽象化自愈IT运营视角 高效稳定应用资源供给 价值主张 架构 云原生底座=控制器+调度器的组合+Docker=根据环境的变化而动+基于封装 一致性的大规模分发 服务编排基本原理: • 以度量为基础,以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 象层,因为应用很复杂,很容 易陷入差异化定制市场,抽象 层的市场范围会更广,作为开 源平台,更容易成为通用性市 场选择。通用性才能做到普适 定制化能力,才能成为云原生 的操作系统。 标准化能力-分布式操作系统核心-容器服务-Operator API Server Kubectl Controller Pod,Deploymen t,etc. API Server Kubectl Custom0 码力 | 42 页 | 11.17 MB | 6 月前3
25-云原生应用可观测性实践-向阳rights reserved. 2.0 服务:统一的可观测性平台 可观测性平台(Metrics、Tracing、Logging) 基础设施团队 业务团队A 业务团队B 业务团队C 业务团队D …… 存储、检索服务 观测数据 观测数据 观测数据 观测数据 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co. the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. Tag:统一的数据存储 InfluxDB DeepFlow 5.3 Elasticsearch DeepFlow 5.1 1x ClickHouse DeepFlow 5.7 3x 300x 100K 300K 100M growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生,水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据0 码力 | 39 页 | 8.44 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)安全管理的边界扩展到了容器层面,需要采用新的安全策略和工具来保护容 器的安全性,如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。 架构的变化 多云及混合云下的应用架构及工作负载更加复杂,需要采用分布式安全策略 和技术,如服务间的身份验证和授权、服务网格的加密通信、微服务的监测和异 常检测等。 管理模式的变化 云原生安全威胁分析与能力建设白皮书 15 云原生应用的快速迭代和部署频率也对安全治理模式提出了新的要求。传统 会造成镜像仓库和用户双方的安全风险。 2.2.4 敏感信息泄露攻击 当开发人员使用默认的或在容器镜像中保留硬编码的敏感数据,比如密码、 API 密钥、加密密钥、SSH 密钥、令牌等,或者在 Dockerfile 文件中存储了固 定密码等敏感信息并对外进行发布,都可能导致数据泄露的风险。攻击者会使用 扫描工具,比如 SecretScanner 等,探测镜像中存在的敏感信息,发现容器镜 像和文件系统中的敏感数据。 3.3 拒绝服务攻击 由于容器与宿主机共享 CPU、内存、磁盘空间等硬件资源,且 Docker 本 身对容器使用的资源并没有默认限制,如果单个容器耗尽宿主机的计算资源或存 储资源(例如进程数量、存储空间等),就可能导致宿主机或其他容器的拒绝服 务。 计算型 DoS 攻击:Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。0 码力 | 72 页 | 2.44 MB | 1 年前3
Apache Pulsar,云原生时代的消息平台 - 翟佳
持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io Pulsar: 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错 应⽤⽆感知 并发可控 数据恢复 streamnative.io 瞬时存储扩容 应⽤⽆感知 数据均匀分布 ⽆re-balance Pulsar: 云原⽣的架构优势 https://jack-vanlightly.com/sketches/2018/10/2/kafka-vs-pulsar-rebalancing-sketch0 码力 | 39 页 | 12.71 MB | 6 月前0.03
使用Chaos Mesh来保障云原生系统的健壮性-周强 TiD B TiD B TiD B Application via MySQL Protocol TiK V TiK V TiFlas h TiK V TiK V ... DistSQL API KV API ... Worker Worke r Worke r Spark Driver ... Spark SQL Spark Cluster DistSQL API P D P D P D PD Migratio n DM Master Upstream Database Downstrea m Database Backup & Recovery Lightnin g KV Importer KV Dumper Diagnosis Monitorin g TiDB Vision TiDB Insight TiDB Operator TiDB Ansible Schrodinge0 码力 | 28 页 | 986.42 KB | 6 月前3
共 23 条
- 1
- 2
- 3













