⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage

1 © 2015 The MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 互联网、社交网络的普及，全社会的数字化转型，数据规模向PB级发展 ▪ Variety - 数据种类 ，数据种类繁多 结构化数据，半结构化数据，非结构化数据 ▪ Value - 数据价值，数据价值密度低 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 数据处理速度是决定大数据应用的关键 4 大数据带来的挑战 ▪ 传统的工具和方法不能有效工作

深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3 72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • 传播性强 Ø 存在问题 • 信息过载 • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 特征 目标 模型 效果 Ø CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 •

com 企业版咨询热线：400-696-6280 邮箱：info@leangoo.com 最敏捷的项目协作工具 如何使用影响地图发掘有价值的需求 Eric Liao 2 内容 • 什么是影响地图？ • 影响地图的价值？ • 影响地图有哪些的核心要素？ • 如何在实践中应用影响地图？ www.leangoo.com 3 什么是影响地图 www leangoo.com 8 影响地图的 特点 www.leangoo.com 9 结构性 整体性 协作性 整体性 可视化 影响地图的价值 1 0 从为什么开始，价值驱动 用户痛点、业务价值 业务解决方案， 如何解决问题 要做什么需求 和功能 www.leangoo.com 11 影响地图作为需求PK的依据 • 产品创意 • 体验优化和改善 投资人 • 其他干系人 • 人人都是产品经理（团队 自己也是用户） 需求来源 需求PK 需求化粪池 PK成功 PK失败 提交 打回修改 持 续 垫 底 高价值需求 提前排期开发 需求池 可以避免 范围蔓延 错误的解决方案 纯个人喜好的功能 错误的假设 混乱的优先级设定 www.leangoo.com 13 促进业务和开发的协作

释放工程师创造力 DevOps 价值链平台 产 业 数 字 化 核 心 资 产 是 软 件 和 数 据 ： 传 统 软 件 / 配 置 / 数 据 迭 代 方 式 已 经 无 法 适 应 ， 软 件 工 程 化 时 代 已 然 到 来 。 Z a d i g 软 件 工 程 平 台 是 国 内 落 地 程 度 最 深 、 使 用 范 围 最 广 （ 近 千 家 企 业 ） 的 云 原 设计思路：通过「平台工程」解决流程挑战，通过「技术升级」提升组织效能 01 04 02 03 工程化协同：“人、技术、流 程、工具” 四维协同基线，沉 淀全流程数据，从感知到赋 能，服务于工程师 释放云基建能力：链接任何云 及自建资源（容器、主机、车 机、端等），释放云原生价值 和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化 部署，现有服务 0 迁移成本 、体验丝滑接入容易、学习 使用门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主， Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 与现存 DevOps 方案对比： 现存方案 典型代表 方案特点分析 Zadig 优势 传统 Jenkins 方案 GitLab + Jenkins + 脚本化 运行效率低，管理维护成本高

释放工程师创造力 DevOps 价值链平台 产 业 数 字 化 核 心 资 产 是 软 件 和 数 据 ： 传 统 软 件 / 配 置 / 数 据 迭 代 方 式 已 经 无 法 适 应 ， 软 件 工 程 化 时 代 已 然 到 来 。 Z a d i g 软 件 工 程 平 台 是 国 内 落 地 程 度 最 深 、 使 用 范 围 最 广 （ 近 千 家 企 业 ） 的 云 原 设计思路：通过「平台工程」解决流程挑战，通过「技术升级」提升组织效能 01 04 02 03 工程化协同：“人、技术、流 程、工具” 四维协同基线， 沉淀全流程数据，从感知到赋 能，服务于工程师 释放云基建能力：链接任何云 及自建资源（容器、主机、车 机、端等），释放云原生价值 和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化部 署，现有服务 0 迁移成本、 体验丝滑接入容易、学习使用 门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主，Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 与现存 DevOps 方案对比： 现存方案 典型代表 方案特点分析 Zadig 优势 传统 Jenkins 方案 GitLab + Jenkins + 脚本化 运行效率低，管理维护成本高

信通院“大数据'星河'案例-行业大数据应用优秀案例” 信通院 OSCAR 尖峰开源创新（二次开发）奖 云计算开源产业联盟云原生十大优秀案例 infoQ 中国技术力量年度榜单 InfoQ2020 最有价值技术团队 InfoQ2020 最佳技术社区驱动力奖 思否 SegmentFault 中国技术品牌影响力企业 DTCC 第十一届中国数据库技术大会创新产品奖 《Gartner 2021 中国 ICT 计算最佳实践服务网格；“OSCAR尖峰开源技术创新奖（基于社区版本二次开发） 获得2019 CTDC 年度优秀微服务创新产品 产品荣誉 无侵入微服务治理 无侵入式接入，提供注册发现、路由分 流、熔断限流等丰富治理能力。 精细化流量管控 支持不同维度的流量治理，并具备丰富 的流量管控能力。 架构平滑演进 支持单体架构向微服务架构、微服务架 构向服务网格架构平滑演进。 开放兼容 全面覆盖主流微服务开发技术选型，增 联动数据链路多环节，从系统 层面加快业务高效运营和有 效决策。 灵活 组件式插件化产品架构，基于 用户的发展阶段，提供量身定 制的大数据产品和解决方案。 16 网易数帆旗下大数据技术与服务品牌 网易有数以“数据价值”为导向，聚焦于企业 “看数”、“管数”、“用数”等业务场景，提供全链路大数据技术及产品服 务，致力于盘活企业数据生产力，加速实现数字化转型。 数仓设计中心 指标设计 模型设计 数据治理中心

● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 个月核心重构 65% 功能实现开源 支撑开源社区开发者环境 易 用 性 增 强 接入：安装 10 分钟以内，成功率达 90% 集成环境：支持开发者 Remote debug 工作流：效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021 年 5 月 2021 年 7 月 2021 年 9 月 2021 年 11 月 2021 年 12 月 1 升级，工程师一线体验优化 推出效能看板，实时客观度量工程数据指标 效 率 优 化 、 开 发 者 体 验 增 强 2023 年 面向生态伙伴开放场景 面向开发者提供 IDE 插件 / 自测环境 通用工作流广泛链接生态赋能开发者 企业解决方案和最佳实践内置 发布 AI 增强解决方案 企 业 开 放 性 、 A I 能 力 增 强 产品发展历程 高频极速迭代： Zadig 开源 29

● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效/低质量/低效率/高成本： 源 1.5 个月核心重构 65% 功能实现开源 支撑开源社区开发者环境 易 用 性 增 强 接入：安装10分钟以内，成功率达 90% 集成环境：支持开发者 Remote debug 工作流：效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021年5月 2021年7 月 2021年9 月 2021年11 月 2021年12 月 1 个月功能改造 90% 升级，工程师一线体验优化 推出效能看板，实时客观度量工程数据指标 效 率 优 化 、 开 发 者 体 验 增 强 2023年 面向生态伙伴开放场景 面向开发者提供 IDE插件/ 自测环境 通用工作流广泛链接生态赋能开发者 企业解决方案和最佳实践内置 发布 AI 增强解决方案 企 业 开 放 性 、 A I 能 力 增 强 产品发展历程 高频极速迭代：Zadig 开源 29 个月共迭代 21

赢得了更多认可。 平衡发展与合规创新 中国在推动人工智能技术发展的同时，也在监管层面努力建立了完善、透明的治理机制。这 种监管创新为开源模型的发展提供了稳定的政策环境，同时确保技术应用符合社会价值导向。比 如 《人工智能示范法 2.0（专家建议稿）》对于免费且已开源方式提供人工智能研发的个人和 组织给予减轻或免承担法律责任；《生成式人工智能服务管理暂行办法》 则明确了人工智能技 术的使 应用场景细化。为了更好地展现这一 演进路径，我们在 Hugging Face 的中文模型社群中对各个领域的开源模型进行了系统整理。 展望 2024 年，中国开源模型的发展展现了技术、生态和社会价值之间的深度协同。无论是从技 术创新到社区建设，还是从行业实践到合规探索，中国开源生态体系的完善正在为全球人工智能 发展注入源源不断的动力。 在 Hugging Face，我们坚信开源是推动人工智能技术进步和生态繁荣的核心力量。开源 10 年以上国际化工作经验，足 迹遍及亚洲、非洲和欧洲。从社会科学研究员到科技公司项目专员，积累 了丰富的跨领域与跨文化经验。专注推动人工智能在中文开源社区的应用 与发展，为开发者和企业带来更多价值，助力知识共享与技术协作。 Lu Cheng Hugging Face Fellow，致力于推动 AI 和开源软件的采纳和开发者 体验。拥有超过十年的开发者关系、产品营销和开源生态构建的经验，