 Curve支持S3 数据缓存方案© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程0 码力 | 9 页 | 179.72 KB | 6 月前3 Curve支持S3 数据缓存方案© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程0 码力 | 9 页 | 179.72 KB | 6 月前3
 Nacos架构&原理阿里云开发者“藏经阁” 海量电子手册免费下载 特别鸣谢: 目录 作者 6 推荐序 7 前⾔ 9 序言 9 简介 13 Nacos 简介 13 Nacos 架构 17 Nacos 总体设计 17 Nacos 架构 17 Nacos 配置模型 21 Nacos 内核设计 28 Nacos ⼀致性协议 28 Nacos 自研 Distro 协议 38 Nacos 通信通道 42 平滑迁移 Nacos 方案 281 Nacos 打通 CMDB 实现就近访问 288 跨注册中心服务同步实践 298 配置管理最佳实践 310 Nacos 限流最佳实践 310 Nacos 无缝支持 confd 配置管理 320 结语 326 结语 326 作者 < 6 作者 李艳林(彦林) 李晓双 孙立(涌月) 柳遵飞(翼严) 廖春涛(春少) 杨翊(席翁) 程露 钱陈(潕量) 卿亮 许进 7 > 推荐序 推荐序 阿里巴巴合伙人 - 蒋江伟(小邪) 随着企业加速数字化升级,越来越多的系统架构采用了分布式的架构,主要目的是为了解决集中化 和互联网化所带来的架构扩展性和面对海量用户请求的技术挑战。这里面其中有⼀个关键点是软负 载。因为整个分布式架构需要有⼀个软负载来协作各个节点之间的服务在线离线状态、数据⼀致性、 以及动态配置数据的推送。这里面最简单的需求就是将⼀个配置准时的推送到不同的节点。即便如0 码力 | 326 页 | 12.83 MB | 9 月前3 Nacos架构&原理阿里云开发者“藏经阁” 海量电子手册免费下载 特别鸣谢: 目录 作者 6 推荐序 7 前⾔ 9 序言 9 简介 13 Nacos 简介 13 Nacos 架构 17 Nacos 总体设计 17 Nacos 架构 17 Nacos 配置模型 21 Nacos 内核设计 28 Nacos ⼀致性协议 28 Nacos 自研 Distro 协议 38 Nacos 通信通道 42 平滑迁移 Nacos 方案 281 Nacos 打通 CMDB 实现就近访问 288 跨注册中心服务同步实践 298 配置管理最佳实践 310 Nacos 限流最佳实践 310 Nacos 无缝支持 confd 配置管理 320 结语 326 结语 326 作者 < 6 作者 李艳林(彦林) 李晓双 孙立(涌月) 柳遵飞(翼严) 廖春涛(春少) 杨翊(席翁) 程露 钱陈(潕量) 卿亮 许进 7 > 推荐序 推荐序 阿里巴巴合伙人 - 蒋江伟(小邪) 随着企业加速数字化升级,越来越多的系统架构采用了分布式的架构,主要目的是为了解决集中化 和互联网化所带来的架构扩展性和面对海量用户请求的技术挑战。这里面其中有⼀个关键点是软负 载。因为整个分布式架构需要有⼀个软负载来协作各个节点之间的服务在线离线状态、数据⼀致性、 以及动态配置数据的推送。这里面最简单的需求就是将⼀个配置准时的推送到不同的节点。即便如0 码力 | 326 页 | 12.83 MB | 9 月前3
 陌陌Service Mesh架构实践0 陌陌Service Mesh架构实践 高飞航 陌陌中间件架构师1/24 讲师简介 高飞航,陌陌中间件架构师 2011年 毕业于东北大学 加入淘宝网 交易平台团队 负责交易流程业务研发 2013年 加入陌陌 基础平台组 负责多项中间件产品研发、多机房架构建设 在微服务领域具备丰富的经验 当前关注Service Mesh、云原生等技术方向2/24 /01 /02 /03 背景 背景 问题 实践 微服务体系演进历程 架构痛点与解决思路 Service Mesh落地方案3/24 背景 /01 陌陌微服务体系演进历程4/24 单体应用到微服务 单体应用 微服务架构 应用拆分 加入PHP API层 PHP API层成为后续多语言服务治理的关键挑战5/24 微服务体系演进 MOA 1.0微服务体系演进历程 自研服务框架产品MOA(Momo service Oriented Oriented Architecture)于2013年初上线推广 微服务体系的其他产品也均为自研方案6/24 MOA 1.0微服务体系整体架构 注册中心 • Redis作为底层存储 • 跨语言地址发现服务Lookup • 中心化存活检测 多语言支持 • Java、PHP、Python、Go、NodeJs • Redis传输协议 / 复用Redis客户端 • 服务发布Proxy /0 码力 | 25 页 | 1.25 MB | 6 月前3 陌陌Service Mesh架构实践0 陌陌Service Mesh架构实践 高飞航 陌陌中间件架构师1/24 讲师简介 高飞航,陌陌中间件架构师 2011年 毕业于东北大学 加入淘宝网 交易平台团队 负责交易流程业务研发 2013年 加入陌陌 基础平台组 负责多项中间件产品研发、多机房架构建设 在微服务领域具备丰富的经验 当前关注Service Mesh、云原生等技术方向2/24 /01 /02 /03 背景 背景 问题 实践 微服务体系演进历程 架构痛点与解决思路 Service Mesh落地方案3/24 背景 /01 陌陌微服务体系演进历程4/24 单体应用到微服务 单体应用 微服务架构 应用拆分 加入PHP API层 PHP API层成为后续多语言服务治理的关键挑战5/24 微服务体系演进 MOA 1.0微服务体系演进历程 自研服务框架产品MOA(Momo service Oriented Oriented Architecture)于2013年初上线推广 微服务体系的其他产品也均为自研方案6/24 MOA 1.0微服务体系整体架构 注册中心 • Redis作为底层存储 • 跨语言地址发现服务Lookup • 中心化存活检测 多语言支持 • Java、PHP、Python、Go、NodeJs • Redis传输协议 / 复用Redis客户端 • 服务发布Proxy /0 码力 | 25 页 | 1.25 MB | 6 月前3
 Service Mesh 微服务架构设计Service Mesh 微服务架构设计 杨彪 美团点评高级架构师 2019.10.26 Service Mesh Meetup #7 成都站原蚂蚁金服专家,著有《分布式服务架构:原理、 设计与实战》和《可伸缩服务架构:框架与中间件》 两本书。有近10年互联网、游戏和支付相关的工作 经验,目前从事产业互联网。 杨彪,美团高级架构师1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Service Mesh微服务设计 4 Service Mesh的框架介绍1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 Service Mesh的框架介绍我过往的经历情况 类型:传统互联网 模式:CS/BS模式 类型:互联网 模式:单体模式 类型:游戏 模式:单体模式 类型:互联网金融 模式:微服务模式Java版本演进史 JDK J2ME 10 Java SE 11应用架构演进史 C/S (Client/Server) B/S (Browser/Server) MVC (Model View Controller) SOA (Service-Oriented Architecture) 注 册 中 心 服 务 治 理 MSA (Microservice Architecture)基础架构演进史 Hardware0 码力 | 36 页 | 26.53 MB | 6 月前3 Service Mesh 微服务架构设计Service Mesh 微服务架构设计 杨彪 美团点评高级架构师 2019.10.26 Service Mesh Meetup #7 成都站原蚂蚁金服专家,著有《分布式服务架构:原理、 设计与实战》和《可伸缩服务架构:框架与中间件》 两本书。有近10年互联网、游戏和支付相关的工作 经验,目前从事产业互联网。 杨彪,美团高级架构师1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Service Mesh微服务设计 4 Service Mesh的框架介绍1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 Service Mesh的框架介绍我过往的经历情况 类型:传统互联网 模式:CS/BS模式 类型:互联网 模式:单体模式 类型:游戏 模式:单体模式 类型:互联网金融 模式:微服务模式Java版本演进史 JDK J2ME 10 Java SE 11应用架构演进史 C/S (Client/Server) B/S (Browser/Server) MVC (Model View Controller) SOA (Service-Oriented Architecture) 注 册 中 心 服 务 治 理 MSA (Microservice Architecture)基础架构演进史 Hardware0 码力 | 36 页 | 26.53 MB | 6 月前3
 网易云Service Mesh的产品架构与实现163yun.com 网易云Service Mesh的产品架构与实现 刘超 网易研究院云计算技术部首席架构师www.163yun.com 关于我 • 刘超 • 网易云 解决方案总架构师 • 10余年云计算领域研发及架构经验,先后在EMC,CCTV证券资 讯频道,HP,华为,网易从事云计算和大数据架构工作 • 毕业于上海交通大学。 • 曾出版《Lucene应用开发揭秘》 • 多 多次作为邀请讲师参加Dockone容器技术大会,Segmentfault 开发者大会,InfoQ全球架构师峰会(明星讲师),CSDN SDCC大 会,51CTO WOTA大会等 • 知名技术博主,博客可搜索popsuper1982,多篇文章推荐至全 球最大IT社区CSDN首页及《程序员》杂志 • 在工作中积累了大量运营商系统,互联网金融系统,电商系统等 容器化和微服务化经验01 目录 02 03 微服务与Docker、Kubernetes 网易云微服务框架介绍 基于容器服务的微服务架构实践163yun.com 一、微服务与Docker、Kubernetes163yun.com 应用架构 数据架构 IT架构 微服务的交付形式Kubernetes 轻量级的IT运维模式Swarm 资源利用率高的任务执行模式Mesos 快速迭代 高并发 OPEX CAPEX 大数据分析,运营0 码力 | 35 页 | 6.33 MB | 6 月前3 网易云Service Mesh的产品架构与实现163yun.com 网易云Service Mesh的产品架构与实现 刘超 网易研究院云计算技术部首席架构师www.163yun.com 关于我 • 刘超 • 网易云 解决方案总架构师 • 10余年云计算领域研发及架构经验,先后在EMC,CCTV证券资 讯频道,HP,华为,网易从事云计算和大数据架构工作 • 毕业于上海交通大学。 • 曾出版《Lucene应用开发揭秘》 • 多 多次作为邀请讲师参加Dockone容器技术大会,Segmentfault 开发者大会,InfoQ全球架构师峰会(明星讲师),CSDN SDCC大 会,51CTO WOTA大会等 • 知名技术博主,博客可搜索popsuper1982,多篇文章推荐至全 球最大IT社区CSDN首页及《程序员》杂志 • 在工作中积累了大量运营商系统,互联网金融系统,电商系统等 容器化和微服务化经验01 目录 02 03 微服务与Docker、Kubernetes 网易云微服务框架介绍 基于容器服务的微服务架构实践163yun.com 一、微服务与Docker、Kubernetes163yun.com 应用架构 数据架构 IT架构 微服务的交付形式Kubernetes 轻量级的IT运维模式Swarm 资源利用率高的任务执行模式Mesos 快速迭代 高并发 OPEX CAPEX 大数据分析,运营0 码力 | 35 页 | 6.33 MB | 6 月前3
 02 TiDB Operator 架构与实现 付业成0 码力 | 47 页 | 1.73 MB | 6 月前3 02 TiDB Operator 架构与实现 付业成0 码力 | 47 页 | 1.73 MB | 6 月前3
 大规模微服务架构下的Service Mesh探索之路大规模微服务架构下的 Service Mesh探索之路 敖小剑6月初在深圳举行的GIAC全球互联网架构大会上,蚂蚁金服第一次对外 透露了开发中的Service Mesh产品——Sofa Mesh。 今天我们将展开更多细节,详细介绍蚂蚁金服Sofa Mesh的技术选型, 架构设计以及开源策略。 前言技术选型 Technical 1ü 性能要求 • 以蚂蚁金服的体量,性能不够好则难于接受 以蚂蚁金服的体量,性能不够好则难于接受 • 架构与性能之间的权衡和取舍需要谨慎考虑 ü 稳定性要求 • 以蚂蚁金服的标准,稳定性的要求自然是很高 • 高可用方面的要求很非常高 ü 部署的要求 • 需要用于多种场合:主站,金融云,外部客户 • 需要满足多种部署环境:虚拟机/容器,公有云/私有云,k8s • 需要满足多种体系:Service Mesh,Sofa和社区主流开发框架 Service Mesh落地要面临的实际要求选择开源产品,还是选择自研? Mesh Istio • 第一选择,重点关注对象 • 奈何迟迟不能发布生产可用版本 • 性能和稳定性远远不能满足蚂蚁的 要求 • 但我们非常认可Istio的理念和方向 Conduit • 只支持k8s,而蚂蚁尚未普及k8s • 数据平面由Rust编写,过于小众,难于 从社区借力。 • 同样存在技术栈问题 • 公司和产品在社区知名度和影响力有限国内公司的选择之一:自研 华为:CES0 码力 | 37 页 | 7.99 MB | 6 月前3 大规模微服务架构下的Service Mesh探索之路大规模微服务架构下的 Service Mesh探索之路 敖小剑6月初在深圳举行的GIAC全球互联网架构大会上,蚂蚁金服第一次对外 透露了开发中的Service Mesh产品——Sofa Mesh。 今天我们将展开更多细节,详细介绍蚂蚁金服Sofa Mesh的技术选型, 架构设计以及开源策略。 前言技术选型 Technical 1ü 性能要求 • 以蚂蚁金服的体量,性能不够好则难于接受 以蚂蚁金服的体量,性能不够好则难于接受 • 架构与性能之间的权衡和取舍需要谨慎考虑 ü 稳定性要求 • 以蚂蚁金服的标准,稳定性的要求自然是很高 • 高可用方面的要求很非常高 ü 部署的要求 • 需要用于多种场合:主站,金融云,外部客户 • 需要满足多种部署环境:虚拟机/容器,公有云/私有云,k8s • 需要满足多种体系:Service Mesh,Sofa和社区主流开发框架 Service Mesh落地要面临的实际要求选择开源产品,还是选择自研? Mesh Istio • 第一选择,重点关注对象 • 奈何迟迟不能发布生产可用版本 • 性能和稳定性远远不能满足蚂蚁的 要求 • 但我们非常认可Istio的理念和方向 Conduit • 只支持k8s,而蚂蚁尚未普及k8s • 数据平面由Rust编写,过于小众,难于 从社区借力。 • 同样存在技术栈问题 • 公司和产品在社区知名度和影响力有限国内公司的选择之一:自研 华为:CES0 码力 | 37 页 | 7.99 MB | 6 月前3
 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束: 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy0 码力 | 23 页 | 1.91 MB | 6 月前3 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束: 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy0 码力 | 23 页 | 1.91 MB | 6 月前3
 2024 中国开源开发者报告AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 数最多的开源组织(成员5人及以上) 收获 Star 数方面,更加注重创 新和技术探索「民间」开源组织 更加「接地气」,受到了更多开 发者的喜爱。 虽然面临资源的挑战,但它们的 灵活性和社区驱动力使得它们获 得了更多开发者的支持。 9 / 111 本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异,反映了它 们在开发活跃度、社区参与度和 技术成熟度上的不同战略。 技术大厂主导的项目往往具有较 对开源社区的生态评 估体系,希望通过这些数据洞察中国开源开发者在 AI 技术 领域的活跃度、生产力和创新能力。 OSS Compass 提供了一个公共的平台用来评估开源项目 和社区的健康度,该平台对整个社区开放,支持 GitHub 和 Gitee 等平台托管的开源项目。 16 / 111 OSS Compass Insight 生产力-协作开发指数 本部分图表仅用于数据展示,不涉及先后排名 作为国内及业内领先的0 码力 | 111 页 | 11.44 MB | 8 月前3 2024 中国开源开发者报告AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 数最多的开源组织(成员5人及以上) 收获 Star 数方面,更加注重创 新和技术探索「民间」开源组织 更加「接地气」,受到了更多开 发者的喜爱。 虽然面临资源的挑战,但它们的 灵活性和社区驱动力使得它们获 得了更多开发者的支持。 9 / 111 本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异,反映了它 们在开发活跃度、社区参与度和 技术成熟度上的不同战略。 技术大厂主导的项目往往具有较 对开源社区的生态评 估体系,希望通过这些数据洞察中国开源开发者在 AI 技术 领域的活跃度、生产力和创新能力。 OSS Compass 提供了一个公共的平台用来评估开源项目 和社区的健康度,该平台对整个社区开放,支持 GitHub 和 Gitee 等平台托管的开源项目。 16 / 111 OSS Compass Insight 生产力-协作开发指数 本部分图表仅用于数据展示,不涉及先后排名 作为国内及业内领先的0 码力 | 111 页 | 11.44 MB | 8 月前3
 清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单将数据转化为统计图、热力图、网络关系图、词云、树形 图等,用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质:以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能:在模型大小和 性能之间取得平衡,适合 中等规模任务。  多模态支持:支持文本和 图像处理,扩展应用场景。  可解释性:注重模型输出 的可解释性和透明性。 DeepSeek 轻量化设计:模型结构优化, 资源占用少,适合边缘设备 和移动端。  多任务支持:支持多种任务, 如文本生成、分类和问答。 Kimi k1.5  垂直领域优化:针对特定领域 (如医疗、法律)进行优化, 提供高精度结果。  长文本处理:擅长处理长文本 和复杂文档,适合专业场景。  定制化能力:支持用户自定义 训练和微调,适应特定需求。 Open AI o3 mini 因素影响,仅供参考,无法作为决策制定、质量评估或产品验证的最终依据。 爬虫数据采集  目前DeepSeek R1、Open AI o3mini、Kimi k1.5支持联网查询网址,Claude 3.5 sonnet暂不支持;  四个模型均能根据上传的网页代码,对多个网址链接进行筛选、去重,完全提取出符合指令要求的所有网址链接并形成列表;  在复杂爬虫任务上,DeepSeek R1与Open0 码力 | 85 页 | 8.31 MB | 8 月前3 清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单将数据转化为统计图、热力图、网络关系图、词云、树形 图等,用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质:以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能:在模型大小和 性能之间取得平衡,适合 中等规模任务。  多模态支持:支持文本和 图像处理,扩展应用场景。  可解释性:注重模型输出 的可解释性和透明性。 DeepSeek 轻量化设计:模型结构优化, 资源占用少,适合边缘设备 和移动端。  多任务支持:支持多种任务, 如文本生成、分类和问答。 Kimi k1.5  垂直领域优化:针对特定领域 (如医疗、法律)进行优化, 提供高精度结果。  长文本处理:擅长处理长文本 和复杂文档,适合专业场景。  定制化能力:支持用户自定义 训练和微调,适应特定需求。 Open AI o3 mini 因素影响,仅供参考,无法作为决策制定、质量评估或产品验证的最终依据。 爬虫数据采集  目前DeepSeek R1、Open AI o3mini、Kimi k1.5支持联网查询网址,Claude 3.5 sonnet暂不支持;  四个模型均能根据上传的网页代码,对多个网址链接进行筛选、去重,完全提取出符合指令要求的所有网址链接并形成列表;  在复杂爬虫任务上,DeepSeek R1与Open0 码力 | 85 页 | 8.31 MB | 8 月前3
共 186 条
- 1
- 2
- 3
- 4
- 5
- 6
- 19














 
 