 Traefik 在⼜拍云的应⽤和改造Traefik 在⼜拍云的应⽤和改造 陈卓 ⼜拍云系统开发⼯程师 公开课 分享内容 • Traefik 简介 • Traefik 跟 Ingress-Nginx 比较 • 我们为什么使用 Traefik • Traefik 改造之路 Traefik 简介 Traefik 简介 Edge Router Auto Service Discovery Traefik 简介 Traefik 中间件 记录响应status和size 增加⼀个类似gin的 Traefik 中间件动态加载 Traefik 提供的中间件 Traefik 热更新⼆进制⽂件 Traefik 其它的⼀些改造 1.Traefik Hash算法跟 OpenResty 不同 2.Traefik 的超时设置 3.Traefik retry 算法 4.Traefik 日志格式 关注⼜拍云微信公众号,0 码力 | 22 页 | 1.91 MB | 1 年前3 Traefik 在⼜拍云的应⽤和改造Traefik 在⼜拍云的应⽤和改造 陈卓 ⼜拍云系统开发⼯程师 公开课 分享内容 • Traefik 简介 • Traefik 跟 Ingress-Nginx 比较 • 我们为什么使用 Traefik • Traefik 改造之路 Traefik 简介 Traefik 简介 Edge Router Auto Service Discovery Traefik 简介 Traefik 中间件 记录响应status和size 增加⼀个类似gin的 Traefik 中间件动态加载 Traefik 提供的中间件 Traefik 热更新⼆进制⽂件 Traefik 其它的⼀些改造 1.Traefik Hash算法跟 OpenResty 不同 2.Traefik 的超时设置 3.Traefik retry 算法 4.Traefik 日志格式 关注⼜拍云微信公众号,0 码力 | 22 页 | 1.91 MB | 1 年前3
 Curve文件系统元数据持久化方案设计1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案? redis + muliraft 存在的问题? redis 改造 vs 自己实现? redis 中哈希表实现的优点? 参考 前言 根据之前讨论的结果,元数据节点的架构如下图所示,这里涉及到两部分需要持久化/编码的内容: Raft Log:记录 operator redis 改造 vs 自己实现? 结论:从目前元数据持久化的需要来看,更倾向于自己实现,理由如下: redis 目前不支持单独持久化 redis 中的某个 DB (一个 redis 实例可包含多个 DB) 或数据结构,这对于在要使用 multiraft 的场景下,每个 raft 实例需要独立的快照并不合适 如果改造 redis,初步评估了下,其工作量要比自己实现持久化的逻辑要大一些,改造主要是为了让 了让 redis 提供单独 dump/load 一个 DB 的功能: 如果改造,dump/load 的逻辑都得动,而且会牵扯到一些其他逻辑(如主从复制,因为 redis 主从全量复制发送的就是一整个 RDB 文件,即使我们不需要这个功能,这部分代码也是有耦合的)© XXX Page 11 of 12 1. 2. 3. 如果自己实现,只是一个简单的 sava/load 逻辑,比较清晰0 码力 | 12 页 | 384.47 KB | 6 月前3 Curve文件系统元数据持久化方案设计1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案? redis + muliraft 存在的问题? redis 改造 vs 自己实现? redis 中哈希表实现的优点? 参考 前言 根据之前讨论的结果,元数据节点的架构如下图所示,这里涉及到两部分需要持久化/编码的内容: Raft Log:记录 operator redis 改造 vs 自己实现? 结论:从目前元数据持久化的需要来看,更倾向于自己实现,理由如下: redis 目前不支持单独持久化 redis 中的某个 DB (一个 redis 实例可包含多个 DB) 或数据结构,这对于在要使用 multiraft 的场景下,每个 raft 实例需要独立的快照并不合适 如果改造 redis,初步评估了下,其工作量要比自己实现持久化的逻辑要大一些,改造主要是为了让 了让 redis 提供单独 dump/load 一个 DB 的功能: 如果改造,dump/load 的逻辑都得动,而且会牵扯到一些其他逻辑(如主从复制,因为 redis 主从全量复制发送的就是一整个 RDB 文件,即使我们不需要这个功能,这部分代码也是有耦合的)© XXX Page 11 of 12 1. 2. 3. 如果自己实现,只是一个简单的 sava/load 逻辑,比较清晰0 码力 | 12 页 | 384.47 KB | 6 月前3
 高效智能运维[云+社区技术沙龙第29期] - 冲上云霄—腾讯海量业务上云实践Docker/K8S/TKE CKafka CDB/Mysql IEG PCG WXG CDG CISG TEG ⚫公有云专线与自研互通 ⚫使用公有云服务 ⚫改造较大的搬迁组件上云 ⚫使用云原生PaaS ⚫边上云边改造 CFS 业务上云五部曲 规划 设计 实施 验证 维护 信息收集 需求评估 应用分析 风险分析 上云策略 方案设计 风险应对 上云计划 技术准备0 码力 | 26 页 | 2.39 MB | 1 年前3 高效智能运维[云+社区技术沙龙第29期] - 冲上云霄—腾讯海量业务上云实践Docker/K8S/TKE CKafka CDB/Mysql IEG PCG WXG CDG CISG TEG ⚫公有云专线与自研互通 ⚫使用公有云服务 ⚫改造较大的搬迁组件上云 ⚫使用云原生PaaS ⚫边上云边改造 CFS 业务上云五部曲 规划 设计 实施 验证 维护 信息收集 需求评估 应用分析 风险分析 上云策略 方案设计 风险应对 上云计划 技术准备0 码力 | 26 页 | 2.39 MB | 1 年前3
 MySQL 兼容性可以做到什么程度Maxwell Debezium A: PolarDB-X 全局 Binlog:完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明:下游系统或工具改造成本为零 • 实现复杂度高 Q: 分布式数据库有哪些问题要考虑Demo for Global Binlog with Flink CDCPolarDB-X Global Binlog 特性详情0 码力 | 18 页 | 3.02 MB | 6 月前3 MySQL 兼容性可以做到什么程度Maxwell Debezium A: PolarDB-X 全局 Binlog:完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明:下游系统或工具改造成本为零 • 实现复杂度高 Q: 分布式数据库有哪些问题要考虑Demo for Global Binlog with Flink CDCPolarDB-X Global Binlog 特性详情0 码力 | 18 页 | 3.02 MB | 6 月前3
 爱奇艺 CDN 运维平台实践-张强日常运维效率提升百 倍. 运维效率 运维任务模型化、易上 手、可交付、加快整体运 营迭代效率 运维可交付 释放运维潜力、运维 开发转型 运维开发 展望 5G时代挑战 容器化改造 传统的CDN大部分是物理机部署,带来的问题是软件服务都是单点,更多的依赖监控、HTTP调度、DNS调度等系统联动 实现自动摘除,未来需要思考启用容器化,实现云部署 运维智能化 5G时代海量0 码力 | 34 页 | 1.75 MB | 1 年前3 爱奇艺 CDN 运维平台实践-张强日常运维效率提升百 倍. 运维效率 运维任务模型化、易上 手、可交付、加快整体运 营迭代效率 运维可交付 释放运维潜力、运维 开发转型 运维开发 展望 5G时代挑战 容器化改造 传统的CDN大部分是物理机部署,带来的问题是软件服务都是单点,更多的依赖监控、HTTP调度、DNS调度等系统联动 实现自动摘除,未来需要思考启用容器化,实现云部署 运维智能化 5G时代海量0 码力 | 34 页 | 1.75 MB | 1 年前3
 CurveFS方案设计扩展性/可用性/可靠性 使用 multi-raft, 扩展性、可用性和可靠性与元数据节点一致 对比结论 CurveFS 近期要能支持mysql所要接口,长期需要支持通用文件接口。 kv 虽然改造简单,短期内对基本功能的支持没有问题,但这个架构不利于 Curve 长期的规划和演进,因此选择通用的 dentry,inode 两层映射的元数据结构。对于 fs© XXX Page 4 of 140 码力 | 14 页 | 619.32 KB | 6 月前3 CurveFS方案设计扩展性/可用性/可靠性 使用 multi-raft, 扩展性、可用性和可靠性与元数据节点一致 对比结论 CurveFS 近期要能支持mysql所要接口,长期需要支持通用文件接口。 kv 虽然改造简单,短期内对基本功能的支持没有问题,但这个架构不利于 Curve 长期的规划和演进,因此选择通用的 dentry,inode 两层映射的元数据结构。对于 fs© XXX Page 4 of 140 码力 | 14 页 | 619.32 KB | 6 月前3
 Zadig 面向开发者的云原生 DevOps 平台工作流:效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021 年 5 月 2021 年 7 月 2021 年 9 月 2021 年 11 月 2021 年 12 月 1 个月功能改造 90% 功能实现开源 技术社区雏形搭建 2022 年 3 月 生态伙伴工具 + Zadig Zadig 企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景0 码力 | 59 页 | 81.43 MB | 1 年前3 Zadig 面向开发者的云原生 DevOps 平台工作流:效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021 年 5 月 2021 年 7 月 2021 年 9 月 2021 年 11 月 2021 年 12 月 1 个月功能改造 90% 功能实现开源 技术社区雏形搭建 2022 年 3 月 生态伙伴工具 + Zadig Zadig 企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景0 码力 | 59 页 | 81.43 MB | 1 年前3
 Zadig 面向开发者的云原生 DevOps 平台工作流:效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021年5月 2021年7 月 2021年9 月 2021年11 月 2021年12 月 1 个月功能改造 90% 功能实现开源 技术社区雏形搭建 2022年3月 生态伙伴工具 + Zadig Zadig 企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景 建立产品发展委员会0 码力 | 59 页 | 23.57 MB | 1 年前3 Zadig 面向开发者的云原生 DevOps 平台工作流:效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021年5月 2021年7 月 2021年9 月 2021年11 月 2021年12 月 1 个月功能改造 90% 功能实现开源 技术社区雏形搭建 2022年3月 生态伙伴工具 + Zadig Zadig 企业交付案例场景深化 开 发 者 场 景 挖 掘 3-5 个领域敏感型场景 建立产品发展委员会0 码力 | 59 页 | 23.57 MB | 1 年前3
 告警OnCall事件中心建设方法白皮书
见问题还有处理办法等等。 然后进行准入评审及准入测试,如果系统架构有明显问题,就没办法通过准入要求,不接受运维,如果老 板要求必须接,那就只能加人了,或者明确说明在架构调整好之前,不负责 SLA,反推业务改造。 上面介绍的两个告警规则优化原则,是最重要的两个原则。照做的话,可以搞定大部分无效告警。 除了原则方面,另一个应对过多告警的方法就是靠产品工具了,比如告警事件在哪些时间段发送、如何过0 码力 | 23 页 | 1.75 MB | 1 年前3 告警OnCall事件中心建设方法白皮书
见问题还有处理办法等等。 然后进行准入评审及准入测试,如果系统架构有明显问题,就没办法通过准入要求,不接受运维,如果老 板要求必须接,那就只能加人了,或者明确说明在架构调整好之前,不负责 SLA,反推业务改造。 上面介绍的两个告警规则优化原则,是最重要的两个原则。照做的话,可以搞定大部分无效告警。 除了原则方面,另一个应对过多告警的方法就是靠产品工具了,比如告警事件在哪些时间段发送、如何过0 码力 | 23 页 | 1.75 MB | 1 年前3
 openEuler 24.03 LTS 技术白皮书Compartmentalization) 全称硬件辅助的操作系统分治技术,旨在通过对操作系统内部结构进 行安全增强,以提升内核的抗攻击能力。HAOC 的核心技术是依据最小特权原则,对扁平化的 Linux 内核架构进行安全改造,形 成核内再次分层的架构,即复式内核架构。复式内核架构基于现有处理器硬件机制在特权级内部实现多层次的系统隔离,能够有 效阻止内核攻击的横向移动和权限提升能力。 复式内核架构的最内层,即中枢核0 码力 | 45 页 | 6.18 MB | 1 年前3 openEuler 24.03 LTS 技术白皮书Compartmentalization) 全称硬件辅助的操作系统分治技术,旨在通过对操作系统内部结构进 行安全增强,以提升内核的抗攻击能力。HAOC 的核心技术是依据最小特权原则,对扁平化的 Linux 内核架构进行安全改造,形 成核内再次分层的架构,即复式内核架构。复式内核架构基于现有处理器硬件机制在特权级内部实现多层次的系统隔离,能够有 效阻止内核攻击的横向移动和权限提升能力。 复式内核架构的最内层,即中枢核0 码力 | 45 页 | 6.18 MB | 1 年前3
共 13 条
- 1
- 2













