Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar Pulsar 的⽣态和社区 streamnative.io Apache Pulsar 简介 streamnative.io Apache Pulsar 是什么 streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 — 鉴权认证 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar

从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 MicroServices 服务网格 ServiceMesh 数据库网格 DatabaseMesh 云原生 Cloud-Native 5.数据库解决方案 Apache ShardingSphere 5.数据库解决方案 Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生 态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立，却又能够

云原生安全相关标准 序号 标准名称 简要内容 1 云原生安全配 置基线规范 由云安全产业联盟提出并归口，规定了云原生安全配置基线扫描应具备的基 础规范要求。云原生安全配置基线扫描规范要求包括 API Server 安全配置 要求、控制管理器安全配置要求、调度器安全配置要求、工作负载安全配置 要求、 etcd 安全配置要求、 kube-proxy 安全配置要求、 kubelet 安全配 置要求、 CNI 云原生安全威胁分析与能力建设白皮书 27 图 8 针对 k8s 进行攻击的路径分析 2.4.1k8s 组件攻击 攻击点 1 至攻击点 4，罗列了 k8s 各组件的不安全配置可能带来的安全风 险，即 API Server 未授权访问、etcd 未授权访问、kubelet 未授权访问、 kube-proxy 不安全配置。除此之外，还有很多组件都存在着类似的安全问题， 比如 dashboard、Docker 等组件也存在未授权访问的隐患，这些都是 可能存在的横向攻击内容包括攻击 API Server 以及攻击其他服务，如攻击 路径 7、8 所示。 攻 击 API Server ： k8s 集 群 的 pod 和 API Server 通 信 是 通 过 ServiceAccount 的 token 验证身份的，这里存在一个攻击点就是如果 pod 的 ServiceAccount 权限过大，便可以以高权限和 API Server 通信，则有可 能查看

Application Application Read Read Write DB Server User Space File system Data Router&Cache DB Server User Space File system Data Router&Cache DB Server User Space File system Data Router&Cache 中间件和服务以及其他组件一道组成一个完整应用，就像前面说的电商场景，如果服务云原生化了，中间件就成了 短板，这就是云原生领域一个著名的推断：云原生化能力是否落地往往主要影响要素在最短板的那一个-水桶效应。 MCP Server NameServer Citadel Mixer Pliot Galley Injector MQ Broker Envoy MQ Broker Envoy MQ Broker Envoy 总体改造成本比较高；另一方面， 需要在大数据应用的资源申请层面进行改造，使其具备直接向Kubernetes集群申请资源的特性，也称为Native on Kubernetes。目前Apache Spark、Apache Flink已经从框架内核不同程度的支持了该特性，但整体的完整对依赖于社 区的努力。 迁移风险高：一次变更引入的改动越多，引发故障的几率也越多。在Hadoop领域，大数据应用的资源，由

Realtek 的WiFi SDK漏洞 2021年12月，Apache开源组件Log4j被发现两个 相关漏洞，分别为任意代码执行漏洞和拒绝服务攻 击漏洞，攻击者可以通过构造特殊的请求进行任意 代码执行，以达到控制服务器、影响服务器执行的 目的。该漏洞已影响超6万个开源软件，涉及相关 版本软件包32万余个,被认为是“2021年最重要的 安全威胁之一” Apache Log4j2 漏洞 2022年3 月 30 https://A.com/xx app.js http://A.com/apixxx 链路跟踪： http://C.com/apixxx3 refer:https://A.com/xx fosf://...... Web 部署IAST agent java 部署IAST agent • API用于内部/外部应用可调用的接口，包括 http/https、定制TCP、RPC等协议。 • • 微服务架构下，暴露API指数级增加 doubo java 部署IAST agent 其他外部应 用直接访问 a.html 移动APP、 外部Web、 外部服务等 http://C.com/apixxx3 https://B.com/apixxx2 传统认知的 web入口 新型入口 fosf://xxx.serv ices.user.id 序号 含义 API1 失效的对象级授权

[2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站：goharbor.io CNCF毕业项目 落地在很多企业级 产品中 Apache 2.0协议下 开源 GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 Harbor基于开源的Notary项目实现镜像的签名（兼容DTR） 制品安全分发-签名 [1] $ export DOCKER_CONTENT_TRUST=1 $ export DOCKER_CONTENT_TRUST_SERVER=https://:4443 制品安全分发-签名 [2] Harbor基于Helm社区支持的GPG实现对Helm V2 chart的签名支持 helm package

Nocalhost 组件（默认读取 ~/.kube/config 集群）。init 结束后，得到管理员和 ⾃动创建的开发者两个⻆⾊默认的账号密码，并输出了 Nocalhost Web 控制台的登陆地址： http://81.71.77.28 打开登陆地址，使⽤默认管理员⽤户名 admin@admin.com 和密码 123456 登陆 Web 控制台，控制台能够 管理⽤户、集群和应⽤。init 阶段⾃动使⽤部署 发的循环反馈效率。 开源与社区共建 Nocalhost ⽬前是 100% 开源的，代码托管在 Github：https://github.com/nocalhost/nocalhost.git，并遵循 Apache-2.0 开源协议，可以免费使⽤。 想了解更多关于 Nocalhost 的信息，欢迎访问官⽹：https://nocalhost.dev 获取。

⽤户函数示例 ▲ 函数注册机制 ▶ package userfunction import ( "fmt" "net/http" ) �� HelloWorld writes "Hello, World!" to t func HelloWorld(w http.ResponseWriter, r fmt.Fprint(w, "Hello, World!\n") } func func register(fn interface{}) error { ��� if fnHTTP, ok �� fn.(func(http.ResponseWriter, *http.Request)); ok { if err �� functionframeworks.RegisterHTTPFunction(ctx, fnHTTP); err �� nil } ��� } package Serving 4 种函数调⽤类型（CNCF Serverless ⽩⽪书） Function Serving 同步函数: HTTP / blocking / Req & Resp 运⾏时： Knative Serving KEDA + KEDA http-add-on(Beta) + Deployment 异步函数: Event driven 运⾏时： KEDA + Deployment

提供此值，或者该值必须与群 中的其他服务器一致。提供后，Consul将等待指定数量的服务器可用，然后引导群集。这允许自动选 初始领导者。这不能与传统-bootstrap标志一起使用。此标志需要-server模式。 ● -bind：应绑定到内部群集通信的地址。这是群集中所有其他节点都应该可以访问的IP地址。默认 况下，这是“0.0.0.0”，这意味着Consul将绑定到本地计算机上的所有地址，并将 。这可以在Consul 0.7.1及更高版本中找到。在Consul 1.0及更高版本中，可以将其设置为 go-socka dr 模板 ● -client：Consul将绑定客户端接口的地址，包括HTTP和DNS服务器。默认情况下，这是“127.0.0. ”，仅允许环回连接。在Consul 1.0及更高版本中，可以将其设置为以空格分隔的要绑定的地址列表 或者设置为 可以解析为多个地址的 go-sockaddr模板。 hcl：HCL配置片段。此HCL配置片段将附加到配置中，并允许在命令行上指定配置文件的所有选项 可以多次指定此选项。这是在Consul 1.0中添加的。 ● http-port：要监听的HTTP API端口。这将覆盖默认端口8500.将Consul部署到通过环境传输HTTP 口的环境（例如CloudFoundry等PaaS）时，此选项非常有用，允许您通过Procfile直接设置端口。 ● join：启动时加入的

使用CK字典解码Int化的系统标签 SELECT dictGet( deepflow.pod_map, ('name’), (toUInt64(pod_id_0)) ) AS pod_name_0 FROM http_requests ... CREATE DICTIONARY deepflow.pod_map ( `id` UInt64, `name` String ) PRIMARY KEY id SOURCE(MYSQL( SELECT dictGet( deepflow.pod_label_env, (‘value’), (toUInt64(pod_id_0)) ) AS pod_label_env_0 FROM http_requests ... 看云网更清晰 Simplify the growing complexity. MultistageCodec：采集 ➔ 存储 ➔ 查询 DeepFlow Agent 看云网更清晰 Simplify the growing complexity. 生产环境数据：Server端资源消耗<1% • 监控600+个K8s Node（~8000个POD），共600*16vCPU • 每秒写入1M Row（50MB字节），每行100~150 Column • Server端共6*16vCPU，总计CPU消耗<150%，总计Load<60 1. 可观测性数据平台的挑战