 万亿级数据洪峰下的消息引擎Apache RocketMQ万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名:誓嘉 l真名:王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人, PPMC Member,Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化0 码力 | 35 页 | 993.29 KB | 1 年前3 万亿级数据洪峰下的消息引擎Apache RocketMQ万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名:誓嘉 l真名:王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人, PPMC Member,Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化0 码力 | 35 页 | 993.29 KB | 1 年前3
 万亿级数据洪峰下的消息引擎 Apache RocketMQ万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名:誓嘉 l真名:王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人, PPMC Member,Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化0 码力 | 35 页 | 5.82 MB | 1 年前3 万亿级数据洪峰下的消息引擎 Apache RocketMQ万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名:誓嘉 l真名:王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人, PPMC Member,Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化0 码力 | 35 页 | 5.82 MB | 1 年前3
 Harbor - 企业级Docker 私有仓库Harbor - 企业级 Docker 私有仓库 一、安装底层需求 一、安装底层需求 Python应该是 应该是2.7或更高版本 或更高版本 Docker引擎应为 引擎应为1.10或更高版本 或更高版本 Docker Compose需要为 需要为1.6.0或更高版本 或更高版本 docker-compose: :curl -L https://github.com/docker/comp :目标的主机名或者完全限定域名 ui_url_protocol: :http或 或https。默认为 。默认为http db_password:用于 :用于db_auth的 的MySQL数据库的根密码。更改此密码进行任何生产用途 数据库的根密码。更改此密码进行任何生产用途 max_job_workers:(默认值为 :(默认值为3)作业服务中的复制工作人员的最大数量。对于每个映像复制作业, )作业服务中的 原理说明 1、软件资源介绍 、软件资源介绍 Harbor是 是VMware公司开源的企业级 公司开源的企业级DockerRegistry项目,项目地址为 项目,项目地址为https://github.com/vmware/harbor。其目 。其目 标是帮助用户迅速搭建一个企业级的 标是帮助用户迅速搭建一个企业级的Dockerregistry服务。它以 服务。它以Docker公司开源的 公司开源的registry为基础,提供了管理0 码力 | 4 页 | 171.12 KB | 1 年前3 Harbor - 企业级Docker 私有仓库Harbor - 企业级 Docker 私有仓库 一、安装底层需求 一、安装底层需求 Python应该是 应该是2.7或更高版本 或更高版本 Docker引擎应为 引擎应为1.10或更高版本 或更高版本 Docker Compose需要为 需要为1.6.0或更高版本 或更高版本 docker-compose: :curl -L https://github.com/docker/comp :目标的主机名或者完全限定域名 ui_url_protocol: :http或 或https。默认为 。默认为http db_password:用于 :用于db_auth的 的MySQL数据库的根密码。更改此密码进行任何生产用途 数据库的根密码。更改此密码进行任何生产用途 max_job_workers:(默认值为 :(默认值为3)作业服务中的复制工作人员的最大数量。对于每个映像复制作业, )作业服务中的 原理说明 1、软件资源介绍 、软件资源介绍 Harbor是 是VMware公司开源的企业级 公司开源的企业级DockerRegistry项目,项目地址为 项目,项目地址为https://github.com/vmware/harbor。其目 。其目 标是帮助用户迅速搭建一个企业级的 标是帮助用户迅速搭建一个企业级的Dockerregistry服务。它以 服务。它以Docker公司开源的 公司开源的registry为基础,提供了管理0 码力 | 4 页 | 171.12 KB | 1 年前3
 数据迁移数据迁移 数据迁移 存量 存量 MySQL 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移, 及增量数据同步。 可协助⽤⼾在不停机的情况下轻松将业务从MySQL 切换⾄ TiDB。 ⾃建 ⾃建 TiDB 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB服务。 ⽤⼾在源TiDB开启Pump ⽤⼾在源TiDB开启Pump, Drainer 可进⾏数据增量同步。 UDTS与源端Pump, Drainer⼀起可协助⽤⼾在不停机的情况下轻松将业 务从⾃建TiDB 切换⾄ TiDB 服务。 为 为 TiDB 服务建⽴ 服务建⽴ MySQL 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ MySQL 数据库。 ⽤⼾在TiDB服务上开启 Binlog 可将数据增量同步⾄下游MySQL。 UDTS 与 TiDB 服务建⽴ TiDB 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB 数据库。 ⽤⼾在源TiDB服务上开启 Binlog 可将数据增量同步⾄下游TiDB。 UDTS 与 TiDB Binlog服务⼀起可协助⽤⼾轻松建⽴TiDB从 数据迁移 Copyright © 2012-2021 UCloud 优刻得 1/2 库。 数据迁移 Copyright © 2012-2021 UCloud0 码力 | 2 页 | 42.01 KB | 6 月前3 数据迁移数据迁移 数据迁移 存量 存量 MySQL 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移, 及增量数据同步。 可协助⽤⼾在不停机的情况下轻松将业务从MySQL 切换⾄ TiDB。 ⾃建 ⾃建 TiDB 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB服务。 ⽤⼾在源TiDB开启Pump ⽤⼾在源TiDB开启Pump, Drainer 可进⾏数据增量同步。 UDTS与源端Pump, Drainer⼀起可协助⽤⼾在不停机的情况下轻松将业 务从⾃建TiDB 切换⾄ TiDB 服务。 为 为 TiDB 服务建⽴ 服务建⽴ MySQL 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ MySQL 数据库。 ⽤⼾在TiDB服务上开启 Binlog 可将数据增量同步⾄下游MySQL。 UDTS 与 TiDB 服务建⽴ TiDB 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB 数据库。 ⽤⼾在源TiDB服务上开启 Binlog 可将数据增量同步⾄下游TiDB。 UDTS 与 TiDB Binlog服务⼀起可协助⽤⼾轻松建⽴TiDB从 数据迁移 Copyright © 2012-2021 UCloud 优刻得 1/2 库。 数据迁移 Copyright © 2012-2021 UCloud0 码力 | 2 页 | 42.01 KB | 6 月前3
 华为企业级PaaS 微服务应用org github.com/apache?q=servicecomb servicecomb.apache.org github.com/apache?q=servicecomb 华为企业级PaaS 微服务应用 2019-6 田晓亮 servicecomb.apache.org github.com/apache?q=servicecomb 个人介绍 10年软件⾏业经验,2012年进⼊云计算领域,对PaaS, 微服务架构模式 ServiceComb实践 案例 Agenda servicecomb.apache.org github.com/apache?q=servicecomb 面向开发者的数据中心演进 数据中心服务器虚拟化: Google,亚马逊等公司 以资源为中心: • AWS EC2,S3,Route53 • OpenStack • CloudStack • 混合云 以应用为中心: ARM CCI 虚机 CCE servicecomb.apache.org github.com/apache?q=servicecomb 围绕应用构建平台功能 • 操作的起点为应用 • 数据库,缓存服务,容器平台等围绕应用创建 应用 RDS DDM DMS DCS CCE ECS ELB 监控 软件中心 流水线 servicecomb.apache.org github0 码力 | 17 页 | 3.42 MB | 1 年前3 华为企业级PaaS 微服务应用org github.com/apache?q=servicecomb servicecomb.apache.org github.com/apache?q=servicecomb 华为企业级PaaS 微服务应用 2019-6 田晓亮 servicecomb.apache.org github.com/apache?q=servicecomb 个人介绍 10年软件⾏业经验,2012年进⼊云计算领域,对PaaS, 微服务架构模式 ServiceComb实践 案例 Agenda servicecomb.apache.org github.com/apache?q=servicecomb 面向开发者的数据中心演进 数据中心服务器虚拟化: Google,亚马逊等公司 以资源为中心: • AWS EC2,S3,Route53 • OpenStack • CloudStack • 混合云 以应用为中心: ARM CCI 虚机 CCE servicecomb.apache.org github.com/apache?q=servicecomb 围绕应用构建平台功能 • 操作的起点为应用 • 数据库,缓存服务,容器平台等围绕应用创建 应用 RDS DDM DMS DCS CCE ECS ELB 监控 软件中心 流水线 servicecomb.apache.org github0 码力 | 17 页 | 3.42 MB | 1 年前3
 金融级云原生 PaaS 探索与实践金融级云原生 PaaS 探索与实践 王成昌(晙曦)蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 业务可复制  业务敏捷  SaaS 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境; • 基础资源管控; • 应用发布运维体系; • 业务实时监控,日志收集; • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 应用层流量调拨 跨集群状态 分发/汇聚 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配 (DRM/Scheduler/Message) Mesh流调拨和治理 弹性建站/下站 容器腾挪/迁移 容灾切换和恢复 应急预案管理 … 分钟级容灾切换和恢复 全面变更风险管理 无限弹性可扩展0 码力 | 20 页 | 1.71 MB | 6 月前3 金融级云原生 PaaS 探索与实践金融级云原生 PaaS 探索与实践 王成昌(晙曦)蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 业务可复制  业务敏捷  SaaS 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境; • 基础资源管控; • 应用发布运维体系; • 业务实时监控,日志收集; • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 应用层流量调拨 跨集群状态 分发/汇聚 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配 (DRM/Scheduler/Message) Mesh流调拨和治理 弹性建站/下站 容器腾挪/迁移 容灾切换和恢复 应急预案管理 … 分钟级容灾切换和恢复 全面变更风险管理 无限弹性可扩展0 码力 | 20 页 | 1.71 MB | 6 月前3
 云原生企业级安全的最佳实践Li Ma 云原生企业级安全的最佳实践 Cloud Native Security Cluster Security • Securing the cluster components that are configurable • Securing the applications which run in the cluster AKS Security Network Security Store CSI Driver Log & Monitor Log & Monitor Azure Policy Secure Center Li Ma Microsoft 云原生企业级安全的最佳实践0 码力 | 14 页 | 13.52 MB | 1 年前3 云原生企业级安全的最佳实践Li Ma 云原生企业级安全的最佳实践 Cloud Native Security Cluster Security • Securing the cluster components that are configurable • Securing the applications which run in the cluster AKS Security Network Security Store CSI Driver Log & Monitor Log & Monitor Azure Policy Secure Center Li Ma Microsoft 云原生企业级安全的最佳实践0 码力 | 14 页 | 13.52 MB | 1 年前3
 Service Mesh 在蚂蚁金服生产级安全实践Service Mesh 在蚂蚁金服生产级安全实践 彭泽文 蚂蚁金服高级开发工程师 2019.8.11 Service Mesh Meetup #6 广州站基于 Secret Discovery Service Sidecar 的证书管理方案 使用可信身份服务构建敏感数据下发通道 Service Mesh Sidecar 的 TLS 生产级落地实践 分享内容基于 Secret Discovery Agent请求证书  Citadel Agent 会将Sidecar 的请求包装成CSR 请求Citadel ,Citadel 会先检查缓存中是否已有证书,如果不 存在的话,会基于Citadel 启动时配置的二级ROOTCA签发证书基于 Secret Discovery Service Sidecar证书管理方案 Istio With Envoy SDS Benefits:  The private key Citadel 对接内部密钥管理系统  使用 AppLocalToken 替换 Service Account  支持多种Sidecar 通过Citadel Agent 获取证书使用可信身份服务构建敏感数据下发通道 背景介绍 通过应用Pod 中增加一个安全 Sidecar,以API接口的形式为APP及其他Sidecar 提供基础的身 份颁发、身份验证功能  解耦应用的业务逻辑与认证授权逻辑,减少开发量;0 码力 | 19 页 | 808.60 KB | 6 月前3 Service Mesh 在蚂蚁金服生产级安全实践Service Mesh 在蚂蚁金服生产级安全实践 彭泽文 蚂蚁金服高级开发工程师 2019.8.11 Service Mesh Meetup #6 广州站基于 Secret Discovery Service Sidecar 的证书管理方案 使用可信身份服务构建敏感数据下发通道 Service Mesh Sidecar 的 TLS 生产级落地实践 分享内容基于 Secret Discovery Agent请求证书  Citadel Agent 会将Sidecar 的请求包装成CSR 请求Citadel ,Citadel 会先检查缓存中是否已有证书,如果不 存在的话,会基于Citadel 启动时配置的二级ROOTCA签发证书基于 Secret Discovery Service Sidecar证书管理方案 Istio With Envoy SDS Benefits:  The private key Citadel 对接内部密钥管理系统  使用 AppLocalToken 替换 Service Account  支持多种Sidecar 通过Citadel Agent 获取证书使用可信身份服务构建敏感数据下发通道 背景介绍 通过应用Pod 中增加一个安全 Sidecar,以API接口的形式为APP及其他Sidecar 提供基础的身 份颁发、身份验证功能  解耦应用的业务逻辑与认证授权逻辑,减少开发量;0 码力 | 19 页 | 808.60 KB | 6 月前3
 SQLite 数据转 MysqlSQLite 数据转 Mysql InsMsgServer 3.7.6 当前 InsMsgServer 环境 以下过程在 win7 sp1 x64 系统下完成,如果您的系统不能运行以下相关程序,请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成 利用 InsMsgServer 生成 Mysql 数据库 确保 确保 mysql 数据库中没有 IM 相关库 调整使用 Mysql 作为数据库,并点击启动 确认启动后数据库正确建立 退出 InsMsgServer,确保导入过程中不影响 InsMsgServer 运行 下载 SQLite Data Wizard 地址: http://www.sqlite.org/cvstrac/wiki?p=ConverterTools0 码力 | 17 页 | 1.40 MB | 1 年前3 SQLite 数据转 MysqlSQLite 数据转 Mysql InsMsgServer 3.7.6 当前 InsMsgServer 环境 以下过程在 win7 sp1 x64 系统下完成,如果您的系统不能运行以下相关程序,请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成 利用 InsMsgServer 生成 Mysql 数据库 确保 确保 mysql 数据库中没有 IM 相关库 调整使用 Mysql 作为数据库,并点击启动 确认启动后数据库正确建立 退出 InsMsgServer,确保导入过程中不影响 InsMsgServer 运行 下载 SQLite Data Wizard 地址: http://www.sqlite.org/cvstrac/wiki?p=ConverterTools0 码力 | 17 页 | 1.40 MB | 1 年前3
 Egg & Node.js 从⼩⼯坊⾛向企业级开发Egg & Node.js 从⼩小⼯工坊⾛走向企业级开发 天猪 / 阿⾥里里游戏前端负责⼈人,Egg 核⼼心开发者 ⾃自我简介 ▸ 天猪 ▸ 阿⾥里里游戏前端负责⼈人,@⼴广州 @Alibaba UC ▸ Node.JS / EggJS / Scrat / Vue ▸ Follow me at : @atian25 @liuyong25 @liuyong25 功能之间的顺序不不能简单的交给开发者,需要统⼀一编排,管理理。 ▸ 对于企业级应⽤用来说,还⽐比较基础,往往还需要⾮非常多的上层封装才能使⽤用。 WIKI:koa-vs-express.md Specification [3/8] 先思考⼏几个问题: 企业级开发中需要关注的有哪些点? ⽽而开发⼈人员和团队技术负责⼈人,关注点⼀一样么? 理理想的企业级 Web 开发的核⼼心要素 编程模型约束 丰富的扩展点 进程:egg-cluster ▸ 安全: egg-security ▸ 模板:egg-view-nunjucks / … ▸ ⽇日志:egg-logger / egg-tracer / … ▸ 数据库:egg-mysql / egg-sequelize ▸ 统⼀一登录:egg-passport-xxx ▸ 兼容 Koa 中间件⽣生态 ▸ ⼤大部分的插件都只需对社区模块简单包装… Koa0 码力 | 70 页 | 7.57 MB | 1 年前3 Egg & Node.js 从⼩⼯坊⾛向企业级开发Egg & Node.js 从⼩小⼯工坊⾛走向企业级开发 天猪 / 阿⾥里里游戏前端负责⼈人,Egg 核⼼心开发者 ⾃自我简介 ▸ 天猪 ▸ 阿⾥里里游戏前端负责⼈人,@⼴广州 @Alibaba UC ▸ Node.JS / EggJS / Scrat / Vue ▸ Follow me at : @atian25 @liuyong25 @liuyong25 功能之间的顺序不不能简单的交给开发者,需要统⼀一编排,管理理。 ▸ 对于企业级应⽤用来说,还⽐比较基础,往往还需要⾮非常多的上层封装才能使⽤用。 WIKI:koa-vs-express.md Specification [3/8] 先思考⼏几个问题: 企业级开发中需要关注的有哪些点? ⽽而开发⼈人员和团队技术负责⼈人,关注点⼀一样么? 理理想的企业级 Web 开发的核⼼心要素 编程模型约束 丰富的扩展点 进程:egg-cluster ▸ 安全: egg-security ▸ 模板:egg-view-nunjucks / … ▸ ⽇日志:egg-logger / egg-tracer / … ▸ 数据库:egg-mysql / egg-sequelize ▸ 统⼀一登录:egg-passport-xxx ▸ 兼容 Koa 中间件⽣生态 ▸ ⼤大部分的插件都只需对社区模块简单包装… Koa0 码力 | 70 页 | 7.57 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100














 
  
  
 