⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage

com 企业版咨询热线：400-696-6280 邮箱：info@leangoo.com 最敏捷的项目协作工具 如何使用影响地图发掘有价值的需求 Eric Liao 2 内容 • 什么是影响地图？ • 影响地图的价值？ • 影响地图有哪些的核心要素？ • 如何在实践中应用影响地图？ www.leangoo.com 3 什么是影响地图 www leangoo.com 8 影响地图的 特点 www.leangoo.com 9 结构性 整体性 协作性 整体性 可视化 影响地图的价值 1 0 从为什么开始，价值驱动 用户痛点、业务价值 业务解决方案， 如何解决问题 要做什么需求 和功能 www.leangoo.com 11 影响地图作为需求PK的依据 • 产品创意 • 体验优化和改善 投资人 • 其他干系人 • 人人都是产品经理（团队 自己也是用户） 需求来源 需求PK 需求化粪池 PK成功 PK失败 提交 打回修改 持 续 垫 底 高价值需求 提前排期开发 需求池 可以避免 范围蔓延 错误的解决方案 纯个人喜好的功能 错误的假设 混乱的优先级设定 www.leangoo.com 13 促进业务和开发的协作

YOLOv6-S V2.0 量化效果 我们希望通过分享本文的实践，进一步推动最新通用目标检测算法的落地。未来，我 们会和业界同行一道，探索更优的量化方案，持续提升量化精度和推理速度，助力降 本增效，深化业务价值。 5. 参考文献 [1] YOLOv6：又快又准的目标检测框架开源啦 [2] RepVGG: Making VGG-style ConvNets Great Again,https://arxiv 同，存在着不同的挑战：前者的数据规模庞大，涉及到数亿个用户在千级别数量异构 站点上的数十亿条浏览记录，对模型优化、融合有着严格的要求；后者则尤为关注推 荐系统中的偏差问题，要求参赛选手提出有效的解决方案，来缓解选择性偏差以及流 行度偏差，从而提高推荐系统的公平性。本节将分别介绍这两场比赛。 Kaggle Outbrain Ads Click Prediction：基于多层级多因子的模型融合方案 竞赛问题与挑战：竞赛要求在 偏差问题。本次比赛包含了以下挑战： 42 > 2022年美团技术年货 ● 赛题只提供点击数据，构造候选集时需要考虑选择性偏差问题。 ● 不同商品热度差异大，商品历史点击次数呈现一个长尾分布，数据存在严重的流 行度偏差问题，并且评估指标 NDCG@50_half 用于考察低热度商品的排序质量。 基于 i2i 游走的 Debiasing 排序方案：我们的方案为基于 i2i 建模的排序框架。如图 所示，整体流程包含四个阶段：i2i

Netty堆外内存泄露排查盛宴 32 ...................................................................... Oceanus：美团HTTP流量定制化路由的实践 47 ...................................................................... UAS-点评侧用户行为检索系统 b. 过滤性能问题 城市的过滤逻辑大体是这样：用户所在城市与从数据库获取到的城市列表（“1,2,3,4…… ”）进行匹配， 在每次匹配过程中都需要做字符串“split”的切割操作。这种操作的特点是流量越大，对机器CPU的消耗 越大。 解决方案：基于以上两点考虑，再结合Java语言提供的BitSet机制。我们从数据库里取出城市列表数据后 只做一次“split”切割操作，将数据转化为BitSe 通过SDK的配置总数监控，防止数量超过最大限制。 同时，对于非SDK的其他性能指标，我们采用统一的监控平台– CAT  进行监控，其中包括：APPKIT中 心服务的调用QPS，机器的性能，网络流量等通用指标。 五、底层模型–灵活性设计 五、底层模型–灵活性设计 5.1 从一个例子切入 5.1 从一个例子切入 数据模型往往与业务相关。业务越复杂，设计需要越简单，这样方能满足复杂业务的各种变化。因为数据

持续交付能⼒是企业核⼼竞争⼒ 持续测试能⼒保障业务⾜够可靠 持续测试是执⾏⾃动化测试的过程，作为软件 交付流⽔线的重要⼀环，持续测试帮助企业尽 快获得软件发布后业务⻛险的反馈。 保 证 交 付 ⾜ 够 快 保 证 业 务 ⾜ 够 稳 催⽣ 促进 为什么测试环节会成为持续交付中的瓶颈？ 03. 价值衡量 • 需求/⽤户故事的⻛险评估缺失； • 关键性核⼼业务测试评估不⾜。 02. 碎⽚化管理 中国开源项⽬评选 “最佳⼈⽓项⽬” • TesterHome 评选 “MTSC 2021 年度开源项⽬”、 “MTSC 2022 年度最佳开源项⽬” • 2022 年 GVP——Gitee 最有价值开源项⽬ 注：GitHub Star 数量统计截⽌⾄ 2023 年 9 ⽉ MeterSphere v2.10 LTS 发布 1500 + 社区贡献者 3 + 开源运营年数 7800 + Issues Postman Swagger JMeter 脚本、 CSV 脚本 MeterSphere Chrome 插件录 制脚本 压测集群 测试结果 测试报告 动态测试报告 配置 Job 或者流⽔线 登录 MeterSphere 界⾯ API 调⽤ ⾃动运⾏ 关联 对接⼝直接进⾏压测 缺陷同步 接⼝ 导⼊ 上传 维护 管理 调⽤ UI 测试 测试结果 Selenium

灵⻓长类动物接受培训之后， 能够进⾏行行VB编程 顺畅的高质量地交付 复杂产品、业务和组织 现实挑战 理理想期望 #1. 持续交付 ——可⻅见、可控、可度量量，加速价值交付 可⻅见：端到端拉通对⻬齐 ⽤用户价值驱动 左右模块对⻬齐 端到端的价值交付过程 �������������� ��� ��� �� ��� ��� ��� ��� ��� ��� �1� ��������������4-13 集成发布时⻓长 发布频率 单位时间交付需求数 创建/关闭缺陷分布 缺陷库存 单位时间线上缺陷 线上问题解决时⻓长 持续快速、高质量 地交付价值的能力 需求响应周期 持续发布能力 交付吞吐率 交付过程质量 交付质量 流动效率 用户价值在系统中的流动速度。如：用户需求从 提出到交付的时长（越短越好）；或者是过程中 等待时间的占比（越小越好）。 资源效率 各环节的资源利用率和产出情况。如：资源的忙 闲程度、使用率、代码产出和测试执行速度等。 质量量保障 交付过程和交付的质量。如：缺陷和故障数，及 其分布情况和解决时长等。 业务团队愿景⽬目标：2-1-1 示例例（1/2） 示例例（2/2） 加速~ 持续部署流⽔水线，让代码顺畅流动 集成测试环境 性能测试环境 系统测试环境 预发环境 线上环境 构建 静态检查 单元测试 打包部署 功能测试 性能测试 系统测试 发布上线 验收 Code Repo Package

链 链应 应 应用 用 用开 开 开发 发 发组 组 组件 件 件 743 i 23 整 整 整体 体 体架 架 架构 构 构 749 24 区 区 区块 块 块链 链 链交 交 交易 易 易流 流 流程 程 程 755 25 数 数 数据 据 据结 结 结构 构 构与 与 与编 编 编码 码 码协 协 协议 议 议 761 26 核 核 核心 心 心模 模 模块 块 块设 设 设计 计 计解 约 约：区块链底层内置C++语言编写的Precompiled合约，执行效率更高。 • 交 交 交易 易 易并 并 并行 行 行执 执 执行 行 行：基于DAG算法根据交易间互斥关系构建区块内交易执行流，最大化并行执行区块 内的交易。 • 交易生命周期的异步并行处理：共识、同步、落盘等各个环节的异步化以及并行处理。 1.5 安 安 安全 全 全性 性 性 考虑到联盟链的高安全性需求，除了节点之 新增预编译合约，地址0x9，实现blake2哈希函数 2.2. 更 更 更多 多 多版 版 版本 本 本 13 FISCO BCOS Documentation, 发 发 发布 布 布 v2.7.2 • 新增流控功能，实现可配置节点出带宽、最大QPS • 新增ChainGovernance预编译合约，地址0x1008，实现基于角色的权限管理 • 新增SDK连接节点支持国密SSL，可配置是否启用 • 新增账号管理可冻结解冻私钥对应的账号

链 链应 应 应用 用 用开 开 开发 发 发组 组 组件 件 件 729 i 23 整 整 整体 体 体架 架 架构 构 构 735 24 区 区 区块 块 块链 链 链交 交 交易 易 易流 流 流程 程 程 741 25 数 数 数据 据 据结 结 结构 构 构与 与 与编 编 编码 码 码协 协 协议 议 议 747 26 核 核 核心 心 心模 模 模块 块 块设 设 设计 计 计解 约 约：区块链底层内置C++语言编写的Precompiled合约，执行效率更高。 • 交 交 交易 易 易并 并 并行 行 行执 执 执行 行 行：基于DAG算法根据交易间互斥关系构建区块内交易执行流，最大化并行执行区块 内的交易。 • 交易生命周期的异步并行处理：共识、同步、落盘等各个环节的异步化以及并行处理。 1.5 安 安 安全 全 全性 性 性 考虑到联盟链的高安全性需求，除了节点之 新增预编译合约，地址0x7，实现椭圆曲线alt_bn128的乘法 • 新增预编译合约，地址0x8，实现椭圆曲线配对操作用于zkSNARK验证 • 新增预编译合约，地址0x9，实现blake2哈希函数 • 新增流控功能，实现可配置节点出带宽、最大QPS • 新增ChainGovernance预编译合约，地址0x1008，实现基于角色的权限管理 • 新增SDK连接节点支持国密SSL，可配置是否启用 • 新增账号管理可冻结解冻私钥对应的账号

约 约：区块链底层内置C++语言编写的Precompiled合约，执行效率更高。 • 交 交 交易 易 易并 并 并行 行 行执 执 执行 行 行：基于DAG算法根据交易间互斥关系构建区块内交易执行流，最大化并行执行区块 内的交易。 • 交易生命周期的异步并行处理：共识、同步、落盘等各个环节的异步化以及并行处理。 1.5 安 安 安全 全 全性 性 性 考虑到联盟链的高安全性需求，除了节点之 新增预编译合约，地址0x7，实现椭圆曲线alt_bn128的乘法 • 新增预编译合约，地址0x8，实现椭圆曲线配对操作用于zkSNARK验证 • 新增预编译合约，地址0x9，实现blake2哈希函数 • 新增流控功能，实现可配置节点出带宽、最大QPS • 新增ChainGovernance预编译合约，地址0x1008，实现基于角色的权限管理 • 新增SDK连接节点支持国密SSL，可配置是否启用 • 新增账号管理可冻结解冻私钥对应的账号 从流程、存储、协议三方面进行优化，提升性能。 2.2. 更 更 更多 多 多版 版 版本 本 本 15 FISCO BCOS Documentation, 发 发 发布 布 布 v2.7.1 1. 流 流 流程 程 程 • 异步提交RPC交易到交易池 • 并行化对交易池中交易的处理操作 • 优化特定数据的缓存策略 • 优化交易并行执行过程中锁粒度 • 优化部分对象的访问方式，减少拷贝花销

com/resources/library/app-dev-survey/ 什什么是微服务架构？ • 微服务架构是⼀一种架构模式，将单体应⽤用划分成⼀一组⼩小的服务，服务之间互相协作，为⽤用户提供最终价值 • 每个服务运⾏行行在其独⽴立的进程中，服务间采⽤用轻量量级的通信机制协作（通常是基于RESTful API） • 每个服务都围绕着具体业务进⾏行行构建，并且能够被独⽴立的部署到⽣生产环境、类⽣生产环境等 架构的演进基于业务、技术和团队的平衡 - 动态的平衡 演进式架构 - 痛苦的事提前做 识别问题并⽤用⾃自动化的⼿手段消除痛苦 演进式架构 - 运维意识是关键 架构只是抽象，直到真正投⼊入运维产⽣生价值 议题 • 微服务架构的核⼼心 • 微服务架构设计原则 • 微服务架构⽣生态系统 It is about architecture， BUT not only architecture…… ⾃自动化“⼀一切”- 交付流⽔水线 ⾃自动化“⼀一切”- 测试策略略与应⽤用 应⽤用部署⾃自动化（包/映像/容器器） 容器器部署 映像部署 包部署 ⾃自动化“⼀一切” - 基础设施与部署流程 议题 • 微服务架构的核⼼心 • 微服务架构设计原则 • 微服务架构⽣生态系统 • 分布式系统复杂性 • 服务的治理理与维护 • 测试策略略与契约测试 • 持续交付流⽔水线 • 基础设施(私有云/公有云)