24-云原生中间件之道-高磊如UEFI、loader、OS、应用等,可以确保在被入侵 修改时的阻断行为,另外可以将可信启动链的 Hash值上传云端管理,可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态:存储中、传输中、使用中,但 是对第三种场景,一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE(比如IntelSGX,蚂蚁的KubeTEE等)可以保护运行中的数据和 代码,完成了安全闭环。 依 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差0 码力 | 22 页 | 4.39 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)会造成镜像仓库和用户双方的安全风险。 2.2.4 敏感信息泄露攻击 当开发人员使用默认的或在容器镜像中保留硬编码的敏感数据,比如密码、 API 密钥、加密密钥、SSH 密钥、令牌等,或者在 Dockerfile 文件中存储了固 定密码等敏感信息并对外进行发布,都可能导致数据泄露的风险。攻击者会使用 扫描工具,比如 SecretScanner 等,探测镜像中存在的敏感信息,发现容器镜 像和文件系统中的敏感数据。 3.3 拒绝服务攻击 由于容器与宿主机共享 CPU、内存、磁盘空间等硬件资源,且 Docker 本 身对容器使用的资源并没有默认限制,如果单个容器耗尽宿主机的计算资源或存 储资源(例如进程数量、存储空间等),就可能导致宿主机或其他容器的拒绝服 务。 计算型 DoS 攻击:Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。 。 存储型 DoS 攻击:针对存储资源,虽然 Docker 通过 Mount 命名空间实现 了文件系统的隔离,但 CGroups 并没有针对 AUFS 文件系统进行单个容器的存 储资源限制,因此采用 AUFS 作为存储驱动具有一定的安全风险。如果宿主机 上的某个容器向 AUFS 文件系统中不断地进行写文件操作,则可能会导致宿主 云原生安全威胁分析与能力建设白皮书 26 机存储设备空间0 码力 | 72 页 | 2.44 MB | 1 年前3
Apache Pulsar,云原生时代的消息平台 - 翟佳
持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper streamnative.io Pulsar: 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错 应⽤⽆感知 并发可控 数据恢复 streamnative.io 瞬时存储扩容 应⽤⽆感知 数据均匀分布 ⽆re-balance Pulsar: 云原⽣的架构优势 https://jack-vanlightly.com/sketches/2018/10/2/kafka-vs-pulsar-rebalancing-sketch0 码力 | 39 页 | 12.71 MB | 6 月前0.03
构建统一的云原生应用 可观测性数据平台统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. MultistageCodec:采集 ➔ 存储 ➔ 查询 DeepFlow Agent DeepFlow Ingester ClickHouse tagint DeepFlow Controller tagint tagint tagint tagint tagint tagint tagint …… tagint tagint 云API、K8s apiserver GUI Data …… ① 采集 ① 采集 ② 存储 ② 存储 ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. Stage-1:采集时的编码 • Controller同步云API、K8s apiserver complexity. Stage-2:存储时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Ingester下发编码后的Int标签 • 仅向Ingester下发需要持久化存储的标签 • 便于检索 • 如何选择需要随观测数据存储的标签 • 存储系统标签的:资源的标签、K8s的标签 • 不存储自定义标签:K8s label0 码力 | 35 页 | 6.75 MB | 1 年前3
09-harbor助你玩转云原生-邹佳[2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站:goharbor.io CNCF毕业项目 落地在很多企业级 产品中 Apache 2.0协议下 开源 GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 项目 存储 访问控制 制品资源 Members Images Guest: Developer: Administrator: docker pull ... docker pull/push ... Project operation & management Settings 提供以项目为单位的逻辑隔离,存储共享 不同角色具有不同的访问权限,可以与其它用户系统集成 资源清理与垃圾回收 [1] 通过Artifact保留策略实现资源清理:根据用户设置的保留策略计算得出需要保留的 资源而删除不需要保留的资源 不释放存储空间/释放配额 注意:不可变Tag一定会被保留 资源清理与垃圾回收 [2] 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V2.1之后实 现非阻塞式 释放并回收空间/可能释放配额 1 2 3 构建高可用(HA)仓库服务0 码力 | 32 页 | 17.15 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊是未来下一代云,目前云厂商还在摸索阶段 • 有望成为云计算终极形式,云原生ServiceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年,全球数据存储总量预计为58ZB,平均每年增长 1倍。当前数据爆炸时代带来了三大问题。一、储存成 本问题: 通过当前的中心化云计算处理和存储海量新 增数据费用高昂;二、隐私和安全问题: 当前的中心 化云计算无法保证个人数据的隐私和安全性;三、数字 资产流动性问题: 数据是一种资产,互联网巨头数据 这些问题,预计到2022年,每10个字节的数据中,将有 7个字节的数据是没有数据中心的。 综合IDC、麦肯锡报告、华为报告,在2019年,全球中 心化云计算市场规模为2602亿美元,云存储市场为 491.3亿美元;而与之对应的去中心化云存储市场约30 亿美元,去中心化云计算市场约100亿美元。未来,10 年到20年,去中心化云计算、云储存市场有望实现10年 100倍的增长,达到 的规模。 高级能力-精益化运维-云原生AIOps Saas向下整体打包计算价格,比如: • 创建容器集群、部署应用时将会消耗的计算、网络、存储等资源费用,包括BCC、CDS、EIP、BLB等。 这些资源将按照对应的云服务的计费标准单独计费,不会体现在PaaS的账单中。 • 在使用PaaS的过程中,为了保存您的应用元数据和状态信息、提供应用监控和日志采集、服务注册 和配置中心等功能,PaaS需要消耗公共的计算、存储和数据库等资源为您提供服务,因此PaaS将根据 您使用的工作空0 码力 | 20 页 | 5.17 MB | 6 月前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊多的依赖,常见的依赖有RDS,LB,MNS(SNS,SQS)等这类非容器资源。OAM在使用一体的“编排”语言即可将容器资源和非容器资源定义在一起。 比如要使用AWS的块存储 后续如果某个应用需要存储,可以直接引用。 而不需要关心底层到底是如何管理存储的。 OAM让应用本身从研发 的视角来声明“我是谁”、 “我要使用什么样的云 服务”,至于背后的实 现交个各个开源项目和 厂商去实现,譬如: kubevela。 标准化能力-微服务PAAS-OAM交付流程模式-抽象流程 • 基于CICD和服务市场,通过OAM 集群镜像式打包的方式向团队、 组织或者公司进行整体化交付, 并通过Docker+SDN+云原生存储 +K8S+OAM彻底隔离了不同环境 底层的细节和差异,可以整体化 交付到这些组织所在的数据中心 里去 标准化能力-微服务PAAS-OAM交付流程模式-场景流程 • 由于互联网迭代相对于其 他企业业务更新迭代更加0 码力 | 24 页 | 5.96 MB | 6 月前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫KingShard Vitess ? Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 通常是由一系列轻量级的网络代理组成的,它们与应用程序部署在一 起,但应用程序不需要知道它们的存在。 -- Willian Morgan / Linkerd CEO 4.数据库网格 数据面板+数据能力 存储面板+存储能力 控制面板+治理能力 4.数据库网格 微服务 MicroServices 服务网格 ServiceMesh 数据库网格 DatabaseMesh 云原生 Cloud-Native0 码力 | 23 页 | 1.91 MB | 6 月前3
25-云原生应用可观测性实践-向阳rights reserved. 2.0 服务:统一的可观测性平台 可观测性平台(Metrics、Tracing、Logging) 基础设施团队 业务团队A 业务团队B 业务团队C 业务团队D …… 存储、检索服务 观测数据 观测数据 观测数据 观测数据 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co. the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. Tag:统一的数据存储 InfluxDB DeepFlow 5.3 Elasticsearch DeepFlow 5.1 1x ClickHouse DeepFlow 5.7 3x 300x 100K 300K 100M BPF和eBPF怎么配合 实战3 如何与eBPF交互 实战4 eBPF kprobe挂在哪 实战5 eBPF uprobe挂在哪 实战6 怎样编码 实战7 怎样传输 实战8 怎样打标签 实战9 怎样存储与检索 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved0 码力 | 39 页 | 8.44 MB | 6 月前3
consul 命令行● data-dir:此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要,因为它们必须能够持久化群集状态。 外,该目录必须支持使用文件系统锁定,这意味着某些类型的已安装文件夹(例如VirtualBox共享文 夹)可能不适合。注意:服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌,因此 访问可以授予对服务器 元数据值的长度必须介于0到512(含)之间。 ● 开头的密钥的元数据值rfc1035-在DNS TXT请求中逐字编码,否则元数据kv对根据RFC1464编 。 ● -pid-file:此标志提供代理程序存储其PID的文件路径。这对于发送信号很有用(例如,SIGINT 关 代理或SIGHUP更新检查确定 ● -protocol:要使用的Consul协议版本。默认为最新版本。这应该仅在升级时设置。您可以通过运0 码力 | 5 页 | 346.62 KB | 1 年前3
共 15 条
- 1
- 2













