 Java Chassis通信处理详解 - 通信优化实践Java Chassis通信处理详解 通信优化实践 议题  问题不挑战  整体线程模型  Consumer  Producer 问题不挑战 消费者 编程 模型 透明 RPC Spring MVC Transport Highway Vertx REST Servlet REST 生产者 编程 模型 透明 业务线程 Eventloops Executor 线程 …… 线程 队列 Executor 线程 …… 线程 队列 …… Consumer 消费端,主要需要处理的问题是如何更 高效地将请求推送到对端去,然后拿到 应答信息。 透明RPC Consumer业务线程 Consumer Eventloop 连接 业务线程 hello 业务线程 Socket.write(composite buffer) Producer  丌同于消费者,生产者主要的工作就是等待消费者 的请求,在处理之后,返回应答 在这一端我们更加关注:“如何高效地接收和处理 数据”这件事情  同步模式下,业务逻辑不IO逻辑分离,且根据 “隔离仓”原则,为了保证整个系统更加稳定和高 效地运行,业务逻辑本身也需要在丌同的隔离的区0 码力 | 17 页 | 2.22 MB | 1 年前3 Java Chassis通信处理详解 - 通信优化实践Java Chassis通信处理详解 通信优化实践 议题  问题不挑战  整体线程模型  Consumer  Producer 问题不挑战 消费者 编程 模型 透明 RPC Spring MVC Transport Highway Vertx REST Servlet REST 生产者 编程 模型 透明 业务线程 Eventloops Executor 线程 …… 线程 队列 Executor 线程 …… 线程 队列 …… Consumer 消费端,主要需要处理的问题是如何更 高效地将请求推送到对端去,然后拿到 应答信息。 透明RPC Consumer业务线程 Consumer Eventloop 连接 业务线程 hello 业务线程 Socket.write(composite buffer) Producer  丌同于消费者,生产者主要的工作就是等待消费者 的请求,在处理之后,返回应答 在这一端我们更加关注:“如何高效地接收和处理 数据”这件事情  同步模式下,业务逻辑不IO逻辑分离,且根据 “隔离仓”原则,为了保证整个系统更加稳定和高 效地运行,业务逻辑本身也需要在丌同的隔离的区0 码力 | 17 页 | 2.22 MB | 1 年前3
 ServiceComb介绍负载均衡 分布式追踪 动态配置 服务注册 服务度量量 通信协议 (Rest&RPC) 边缘服务 熔断/容错 Token认证 Saga事务⼀一致性 服务契约 平滑上云 拥抱开源⽣生态 处理理链 微服务脚⼿手架 服务安全 治理理UI ⾃自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio Apollo Skywalking … 运⾏行行模型 围绕服务契约进⾏行行开发以及运维 异步化⽀支持 • 基于Vertx提供的异步内核 • 保持⾼高性能的同时⽀支持同步调⽤用⽅方式 • 将通信线程与业务处理理线程分离 • 操作级别线程池控制,⽀支持隔离仓 • ⽀支持多种异步编程接⼝口 • CompletableFuture • RxJava • Reactive Stream • ……. • 关注ServiceComb微信⼩小助⼿手, 加⼊入微信群与⼤大家进⾏行行交流 • 官⽹网 http://servicecomb.incubator.apache.org/ • 视频讲座 http://www.itdks.com/member/organizer/261 • 邮件列列表 dev@servicecomb.apache.org • 问题反馈 https://issues0 码力 | 16 页 | 877.58 KB | 1 年前3 ServiceComb介绍负载均衡 分布式追踪 动态配置 服务注册 服务度量量 通信协议 (Rest&RPC) 边缘服务 熔断/容错 Token认证 Saga事务⼀一致性 服务契约 平滑上云 拥抱开源⽣生态 处理理链 微服务脚⼿手架 服务安全 治理理UI ⾃自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio Apollo Skywalking … 运⾏行行模型 围绕服务契约进⾏行行开发以及运维 异步化⽀支持 • 基于Vertx提供的异步内核 • 保持⾼高性能的同时⽀支持同步调⽤用⽅方式 • 将通信线程与业务处理理线程分离 • 操作级别线程池控制,⽀支持隔离仓 • ⽀支持多种异步编程接⼝口 • CompletableFuture • RxJava • Reactive Stream • ……. • 关注ServiceComb微信⼩小助⼿手, 加⼊入微信群与⼤大家进⾏行行交流 • 官⽹网 http://servicecomb.incubator.apache.org/ • 视频讲座 http://www.itdks.com/member/organizer/261 • 邮件列列表 dev@servicecomb.apache.org • 问题反馈 https://issues0 码力 | 16 页 | 877.58 KB | 1 年前3
 ServiceComb雄关漫道限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信协议 (Rest&RPC) 边缘服务 熔断/容错 Token认证 Saga事务一致性 服务契约 平滑上云 拥抱开源生态 处理链 微服务脚手架 服务安全 治理UI 自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio Apollo Skywalking Zipkin (OpenAPI) 服务发现 熔断 负载均衡 配置 跟踪 … 运行模型 围绕服务契约进行开发以及运维 异步化支持 • 基于Vertx提供的异步内核 • 保持高性能的同时支持同步调用方式 • 将通信线程与业务处理线程分离 • 操作级别线程池控制,支持隔离仓 • 支持多种异步编程接口 • CompletableFuture • RxJava • Reactive Stream • ……. Process 如何加入到ServiceComb社区 • 线上 • 关注ServiceComb微信小助手, 加入微信群与大家进行交流 • 官网 http://servicecomb.incubator.apache.org/ • 视频讲座 http://www.itdks.com/member/organizer/261 • 邮件列表 dev@servicecomb.apache.org • 问题反馈 https://issues0 码力 | 20 页 | 4.00 MB | 1 年前3 ServiceComb雄关漫道限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信协议 (Rest&RPC) 边缘服务 熔断/容错 Token认证 Saga事务一致性 服务契约 平滑上云 拥抱开源生态 处理链 微服务脚手架 服务安全 治理UI 自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio Apollo Skywalking Zipkin (OpenAPI) 服务发现 熔断 负载均衡 配置 跟踪 … 运行模型 围绕服务契约进行开发以及运维 异步化支持 • 基于Vertx提供的异步内核 • 保持高性能的同时支持同步调用方式 • 将通信线程与业务处理线程分离 • 操作级别线程池控制,支持隔离仓 • 支持多种异步编程接口 • CompletableFuture • RxJava • Reactive Stream • ……. Process 如何加入到ServiceComb社区 • 线上 • 关注ServiceComb微信小助手, 加入微信群与大家进行交流 • 官网 http://servicecomb.incubator.apache.org/ • 视频讲座 http://www.itdks.com/member/organizer/261 • 邮件列表 dev@servicecomb.apache.org • 问题反馈 https://issues0 码力 | 20 页 | 4.00 MB | 1 年前3
 华为企业级PaaS 微服务应用业务增长对性能要求高,增加机器不能解决问 题 • 一个业务问题影响整个系统,风险高 基于微服务引擎Mesher功能将PHP应用接入微服务治理 Mesher 工作流服务 Mesher 故障处理服务 Mesher 资产管理服务 Mesher 物料管理服务 Mesher 统计报表服务 微服务注册中心 灵活扩展 应用零改造 微服务化 快速迭代,加 快上线速度 非侵入式接入微服务 “随时更新维护” 弹性伸缩,成本可控 提升整体性能 servicecomb.apache.org github.com/apache?q=servicecomb 应用 市场 游戏中 心 视频 阅读 音乐 天际通 生活 服务 华为 钱包 主题 HiBoard 智能家 居 浏览器 华为消费者云服务 6500万 应用市场日 活用户 4100万 日增照片 4.5亿+ 用户 举例:华为音0 码力 | 17 页 | 3.42 MB | 1 年前3 华为企业级PaaS 微服务应用业务增长对性能要求高,增加机器不能解决问 题 • 一个业务问题影响整个系统,风险高 基于微服务引擎Mesher功能将PHP应用接入微服务治理 Mesher 工作流服务 Mesher 故障处理服务 Mesher 资产管理服务 Mesher 物料管理服务 Mesher 统计报表服务 微服务注册中心 灵活扩展 应用零改造 微服务化 快速迭代,加 快上线速度 非侵入式接入微服务 “随时更新维护” 弹性伸缩,成本可控 提升整体性能 servicecomb.apache.org github.com/apache?q=servicecomb 应用 市场 游戏中 心 视频 阅读 音乐 天际通 生活 服务 华为 钱包 主题 HiBoard 智能家 居 浏览器 华为消费者云服务 6500万 应用市场日 活用户 4100万 日增照片 4.5亿+ 用户 举例:华为音0 码力 | 17 页 | 3.42 MB | 1 年前3
 消费者云CSE微服务实践微博、微信:Nettying 公众号:Netty乊家 • 华为消费者云业务简介 • 微服务框架技术选型 • CSE在消费者云业务的实践 议题 华为消费者云业务包括 华为应用市场、华为视频、华为钱包、华为运 劢健康等服务,为华为和荣耀手机提供精品云服务,提升用户体验 华为消费者云业务简介 微服务框架技术选型-业务服务化目标  系统解耦,功能内聚,提升需求交付效率:通过业务的拆分和解耦,让系统敏 微服务框架技术选型-微服务安全  有些业务场景对微服务调用安全要求较高,需要微服务框架支持 SSL传输、API鉴权和认证等  对于一些敏感信息,例如用户账号、金额等,在记录日志等落盘 和采集时需要做脱敏处理、资源占用要合理  敏感运维操作,需要记录安全日志,例如服务上线和下线、服务 的流控阈值修改等 微服务框架技术选型-服务治理能力  服务框架丌能只单单解决分布式RPC调用、服务注册&发现和路0 码力 | 22 页 | 1.39 MB | 1 年前3 消费者云CSE微服务实践微博、微信:Nettying 公众号:Netty乊家 • 华为消费者云业务简介 • 微服务框架技术选型 • CSE在消费者云业务的实践 议题 华为消费者云业务包括 华为应用市场、华为视频、华为钱包、华为运 劢健康等服务,为华为和荣耀手机提供精品云服务,提升用户体验 华为消费者云业务简介 微服务框架技术选型-业务服务化目标  系统解耦,功能内聚,提升需求交付效率:通过业务的拆分和解耦,让系统敏 微服务框架技术选型-微服务安全  有些业务场景对微服务调用安全要求较高,需要微服务框架支持 SSL传输、API鉴权和认证等  对于一些敏感信息,例如用户账号、金额等,在记录日志等落盘 和采集时需要做脱敏处理、资源占用要合理  敏感运维操作,需要记录安全日志,例如服务上线和下线、服务 的流控阈值修改等 微服务框架技术选型-服务治理能力  服务框架丌能只单单解决分布式RPC调用、服务注册&发现和路0 码力 | 22 页 | 1.39 MB | 1 年前3
 Apache ServiceComb 开源微服务社区融合开源生态的一站式微服务解决方案 • 团队协作困难 • 问题定位困难 • 资源利用率低 • 对现有系统改动小 • 提升性能和硬件 利用率 • 提升定位问题效率 Apache ServiceComb 插件式处理链 SpringMVC 编程模型 限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信模型 REST 边缘服务 熔断/容错 安全认证 分布式事务 标准契约管理 微服务脚手架 科研系统 人事系统 … 独立烟囱 (12个) 云容器引擎,微服务引擎,EI服务 微服务公共组件 数据平台 教学 科研 人事 … 案例:助力某大学教学管理信息系统上云 应用市场 游戏中心 视频 阅读 音乐 天际通 生活服务 华为钱包 主题 HiBoard 智能家居 浏览器 华为消费者云服务 1.8亿+ 应用市场月活 用户 8080万 日增照片 4亿+ 用户 • 传统单体架构升级、维护、扩容成本高0 码力 | 15 页 | 2.86 MB | 1 年前3 Apache ServiceComb 开源微服务社区融合开源生态的一站式微服务解决方案 • 团队协作困难 • 问题定位困难 • 资源利用率低 • 对现有系统改动小 • 提升性能和硬件 利用率 • 提升定位问题效率 Apache ServiceComb 插件式处理链 SpringMVC 编程模型 限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信模型 REST 边缘服务 熔断/容错 安全认证 分布式事务 标准契约管理 微服务脚手架 科研系统 人事系统 … 独立烟囱 (12个) 云容器引擎,微服务引擎,EI服务 微服务公共组件 数据平台 教学 科研 人事 … 案例:助力某大学教学管理信息系统上云 应用市场 游戏中心 视频 阅读 音乐 天际通 生活服务 华为钱包 主题 HiBoard 智能家居 浏览器 华为消费者云服务 1.8亿+ 应用市场月活 用户 8080万 日增照片 4亿+ 用户 • 传统单体架构升级、维护、扩容成本高0 码力 | 15 页 | 2.86 MB | 1 年前3
 微服务架构与领域驱动设计 - 王磊中国⾸首批EXIN DevOps Master教练 • ⻄西安DevOps Meetup 联合发起⼈人 • 《消费者驱动契约测试-Pact》译者 • 《使⽤用SpringBoot/Cloud构建微服务》视频作者(StuQ) 微服务架构与DDD 领域驱动设计的核⼼心 基于事件⻛风暴暴的DDD实践 01 02 03 �4 什什么是微服务架构 微服务架构 �5 Martin Fowler0 码力 | 28 页 | 1.84 MB | 1 年前3 微服务架构与领域驱动设计 - 王磊中国⾸首批EXIN DevOps Master教练 • ⻄西安DevOps Meetup 联合发起⼈人 • 《消费者驱动契约测试-Pact》译者 • 《使⽤用SpringBoot/Cloud构建微服务》视频作者(StuQ) 微服务架构与DDD 领域驱动设计的核⼼心 基于事件⻛风暴暴的DDD实践 01 02 03 �4 什什么是微服务架构 微服务架构 �5 Martin Fowler0 码力 | 28 页 | 1.84 MB | 1 年前3
 Linux Con Workshop Quick Start Demo 殷湘 姜宁archive是否该内容 请求有处理记录 6. 如有处理记录,Manager将历史处理结果 直接返回给用户 7. 无处理记录,Manager从Bulletin board 获取有能力匹配人员的联系方式 8. Manager将请求发送给符合条件的 Worker/Beekeeper 9. Worker/Beekeeper处理请求并返回 处理结果给Manager 10. Manager返回处理结果给用户 Manager可以就近获取结果,不必再购买Worker/Beekeeper提 供的计算服务,节省项目组开支 Human Resource从运维层面保证服务的可靠性,主要功能有 • 弹性伸缩:保证用户请求量超过Worker处理能力的某个阈值后,招聘更多Worker加入项目; 当请求量回落后,裁剪Worker以节省项目组开支 • 健康检查:保证Worker告病时,能有替补接手任务 • 滚动升级:保证项目需要新技能时,能替换、培训Worker0 码力 | 12 页 | 2.10 MB | 1 年前3 Linux Con Workshop Quick Start Demo 殷湘 姜宁archive是否该内容 请求有处理记录 6. 如有处理记录,Manager将历史处理结果 直接返回给用户 7. 无处理记录,Manager从Bulletin board 获取有能力匹配人员的联系方式 8. Manager将请求发送给符合条件的 Worker/Beekeeper 9. Worker/Beekeeper处理请求并返回 处理结果给Manager 10. Manager返回处理结果给用户 Manager可以就近获取结果,不必再购买Worker/Beekeeper提 供的计算服务,节省项目组开支 Human Resource从运维层面保证服务的可靠性,主要功能有 • 弹性伸缩:保证用户请求量超过Worker处理能力的某个阈值后,招聘更多Worker加入项目; 当请求量回落后,裁剪Worker以节省项目组开支 • 健康检查:保证Worker告病时,能有替补接手任务 • 滚动升级:保证项目需要新技能时,能替换、培训Worker0 码力 | 12 页 | 2.10 MB | 1 年前3
 ServiceComb 介绍W W 线 程 池 • 框架以事件驱劢为基础 • 异步操作提升应用处理效率 • 支持Restful以及RPC 异步事件操作保证系统性能 分布式调用追踪 • 支持标准追踪协议 • Zipkin • 支持@span扩展事务追踪 • 提供调用追踪扩展 • 可以配置自定义的追踪处理器 • 支持适配自定义追踪格式 http://github.com/ServiceComb ServiceComb-Saga • 长时间运行事务处理框架 ServiceComb组件的新特性 • Service-Center 0.2.0 • 提供了管理控制台,对注册的服务实例提供管理功能 • Java-Chassis 0.3.0 • 支持通过@Span注释的方式定义事务 • 统一了Http请求处理,支持对Rest调用进行定制处理 • Saga 0.1.0 • • 提供了初步的Saga调用服务,支持顺序以及并发的调用处理 社区贡献 01/ 提交BUG 02/ 完善文档 03/ 参与邮件列表 04/ 提交Patch • 线上: – 关注微信公众获取信息 – 加入微信群进行交流 – 通过邮件列表参与讨论 – 通过Github发起PR • 线下: – 月度Meetup – 不定期沙龙探讨 如何参与到ServiceComb社区0 码力 | 16 页 | 1.26 MB | 1 年前3 ServiceComb 介绍W W 线 程 池 • 框架以事件驱劢为基础 • 异步操作提升应用处理效率 • 支持Restful以及RPC 异步事件操作保证系统性能 分布式调用追踪 • 支持标准追踪协议 • Zipkin • 支持@span扩展事务追踪 • 提供调用追踪扩展 • 可以配置自定义的追踪处理器 • 支持适配自定义追踪格式 http://github.com/ServiceComb ServiceComb-Saga • 长时间运行事务处理框架 ServiceComb组件的新特性 • Service-Center 0.2.0 • 提供了管理控制台,对注册的服务实例提供管理功能 • Java-Chassis 0.3.0 • 支持通过@Span注释的方式定义事务 • 统一了Http请求处理,支持对Rest调用进行定制处理 • Saga 0.1.0 • • 提供了初步的Saga调用服务,支持顺序以及并发的调用处理 社区贡献 01/ 提交BUG 02/ 完善文档 03/ 参与邮件列表 04/ 提交Patch • 线上: – 关注微信公众获取信息 – 加入微信群进行交流 – 通过邮件列表参与讨论 – 通过Github发起PR • 线下: – 月度Meetup – 不定期沙龙探讨 如何参与到ServiceComb社区0 码力 | 16 页 | 1.26 MB | 1 年前3
 ServiceComb java SDK详解tcher的扩展 • 通过getOrder声明相对其他dispatcher的执行顺序 • 自己能处理的url,拦截处理 – 根据自定义规则获取目标微服务名、版本规则、新url等等参数 – 通过EdgeInvocation转发请求 • 自己不能处理的url,放通给其他dispatcher处理 Metrics-架构 • 基于netflix spectator • Foundation-metrics通过SPI机制加载所有0 码力 | 21 页 | 1.15 MB | 1 年前3 ServiceComb java SDK详解tcher的扩展 • 通过getOrder声明相对其他dispatcher的执行顺序 • 自己能处理的url,拦截处理 – 根据自定义规则获取目标微服务名、版本规则、新url等等参数 – 通过EdgeInvocation转发请求 • 自己不能处理的url,放通给其他dispatcher处理 Metrics-架构 • 基于netflix spectator • Foundation-metrics通过SPI机制加载所有0 码力 | 21 页 | 1.15 MB | 1 年前3
共 21 条
- 1
- 2
- 3













