海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 w2 current w1 w2 w3 … … w1 w2 w3 … today lastday lastmonth 实时计算平台如何监控和报警？ 海尔实时计算平台技术选型与实践 平台监控 • Ganglia • Nagios 海尔实时计算平台技术选型与实践 开源技术改造经验－数据可视化 数据可视化目标 目标：为公司所有数据分析类项目，提供数据洞察和展示工具。 数据可视化可选方案 2、添加计算字段 3、字段分组 1、多层钻取 2、双轴异图支持 3、高级计算：同比、环比 4、度量维度排序 1、图表颜色分组 2、图形大小控制 3、图表标签控制 4、图形提示控制 选型后的实时平台技术架构

Production 微服务研发平台落地 落地优秀实践，守护架构，降低微服务 研发学习成本 企业研发⼯工具链⽣生态 敏敏捷协作平台 部署发布 平台 持续交付流⽔水线平台 ⾃自动测试 平台 微服务系统设计，研发与运维管理理 微服务 /API设 计 代码 ⽣生成 契约 服务 架构 演进 微服务 运维治 理理 部署架 构 设计 统⼀一协作平台 研发⼯工具连 为某企业做的微服务平台规划 为某企业做的微服务平台规划 部署架构设计 服务 契约 定义 契约 代码 评审 开 发 服务运⾏行行治理理 服务 部署 运⾏行行架构治理理 故障 分析 定义架构 约束条件 微服务架构设计 服务地图 设计 API设计 部署架构设计 微服务⼯工程创建 开发 框架 架构 ⻛风格 资源 配置 … 架构演进 服务 关系 分析 代码 质量量 分析 数据 库分 析 关联变更更到需求 需求 查看需求 我的任务 对接外部 系统 前台 后台/⽀支持 为MVP包含的功能范围 服务地图 产品服务 ⽤用户 产品 容器器 云 PaaS ELK 监控 发布 平台 运维服务 服务实例例 资源池 运⾏行行架构 175 ⽤用户认证服务 鉴权 会话 微服务设计服务 微服务 服务地 图 API 契约 外部系 统 部署架构服务 架构约

����������� 唐成 CONTENTS 01 什什么是物联⽹网平台 02 为什什么需要反应式架构 03 我们做了了什什么 什什么是物联⽹网平台 什什么是物联⽹网平台 Sensor / Actuator Platform Application Network 物联⽹网平台的构成 Message Hub Device Shadow Rules Engine Developer

讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自：中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟； 跨机房性能较慢 机房天然延迟 专线费用高； 专线不稳定 跨机房专线问题 依赖小服务，有一 定改造成本； 依赖外部服务 服务依赖问题 减少对业务开发影响； 需要封装屏蔽细节 业务开发影响 如何精准调度； 如何合理调度 分布式日志收集等 写多读少 汇聚模式 （多点写，单点读） 内容统计指标获取、内容榜单等 读写均衡 混合模式 （多点写，单点读， 单点写，多点读） 非核心业务 老版本兼容服务、运营活动、配置、管 理平台、官网、论坛等 N/A 本地模式 （单点读写） 设计思路 核心业务异地多活 精准流量调度 数据同步 多元化 最终一致性 依赖关系优化 配套系统支撑 主 从 多 主 汇 聚 混

基金、海关等多个行业大型业务系统的研发 • 有高级程序员、PMP、ScrumMaster证书 • TGO广州会员 简介 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 目录 1、当前政务移动应用APP发展情况 1、功能单一 大多政务服务APP功能单一，仍以政务信息发布为主，缺乏实用的网上办事和便民服务。 1 一次认证、全网通办 2 原生体验、 风格一致 4 实时运营、 即时反馈 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 4、一个特殊的移动政务应用项目 3 资源少：初期团队人员少、 业务推动阻力大 1 时间紧： 1月启动，5月上线 2 目标高：高频便民服务、 突出改革亮点，迎接大领 导视察 4 需求多：公积金、社 保、出入境、交管等， 服务很多，需要梳理 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 5、技术路线选型，APP 还是 小程序？ 对比项 微信小程序 政务APP 统一身份认证 无需注册直接登录，提供活体检测、人脸核身 需要注册，使用密码和手机盾认证

服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 VMS 全链路监控 Mercury 统一日志平台 dragonfly 任务调度平台 Saturn 统一配置中心 CfgCenter 统一鉴权中心 AuthCenter 服务网关 Janus 安全管理平台 Salus 有女初张成 唯品会弹性调度系统的架构与功 能窥探 域 应用包 作业 执行节点 1 1 * 作业调度器 控制台UI 消息系统 控制、调度结果下发 作业控制 结点监听 作业调度 执行日志 监控日志 日志查询 消息订阅 告警信息 执行结果 统一认证 架构体系 部署模型(跨机房) IDC-A IDC-B 接入域-A 执行结点 作业实现 ZK saturn-zk-* saturn.vip.com 控制台集群 (Tomcat) ZK Observe r 消息系统 控制、调度结果下发 作业控制 结点监听 作业调度 执行日志 监控日志 日志查询 消息订阅 报警系统 告警信息 执行结果 CAS认证 统一认证 授权中心 内部集成 容器平台 运维流程管理 报表统计 Demo Time Dashboard – 命名空间维度 Dashboard – Executor维度 Dashboard – Job维度 Dashboard

分片1复制 回写增量log 分片2复制 分片2复制 分片1复制 客户端 分片1&2 log Cellar—异地容灾 • 多机房建设 网络延迟大 专线稳定性差 • 异地容灾需求 跨集群数据同步 Cellar—异地容灾 集群节点同步 消息队列同步 复制延迟 低 高 系统复杂度 低 高 运维成本 低 高 实现难度 高 低 扩展性 低 高 • 低延迟 • 低复杂度（运维成本） value过大 • 单请求key过多 • ··· • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 系统研发 • 异地多活 • 跨机房自动容灾 • 磁盘粒度容灾 • 数据迁移优化 可运维性 • 容器化 • 自动扩缩容 Cellar规划 谢谢

管理理模型复杂度，适度拆分模块 • 实现业务逻辑 业务⼈人员关注的层 业务领域 腐化案例例: 亏空 ⼤大量量技术术语业务⼈人员完全看不不懂 模型: • 应⽤用服务 — 跨Bond Context DTO • 领域服务 — 跨聚合 • 聚合 实体 仓库 事件 DDD分层参考架构 访问外界系统（调⽤用外界系统）的技术相关实现。 前端应⽤用 API服务 业务领域 基础设施 ⼲干系⼈人:

Instacart Swiggy go-jek Doordash 美团外卖 饿了么 点我达 闪送 UU跑腿 海内外掀起一波创业浪潮 美团配送系统：机器与海量骑手协作，服务于全国商家与用户 履约能力 实现平台对运单调度的实时把控，对运单与运力的供需匹配 运营效率 加强对配送骑手的管控能力 提升配送全业务的运营效率，降低成本 履约流程：下单 -> 派单 -> 接单 -> 取货 -> 送达… 业务 提升运营系统迭代效率 骑手网关 规模化阶段：核心领域细分 主数据平台 （核心模型） 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 （送什么） 品类 重量 支付状态 运单中心 （配送任务） 运单归属 配送状态 调度中心 （工程框架） 需求池 运力池 计算平台 策略平台 （算法策略） 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量，系统质量、研发效率问题凸显 合同 骑手网关 规模化阶段：核心领域细分 主数据平台 （核心模型） 账号权限 组织架构

� 技术委员会主席、高级架构师、技术学院优秀讲师 � 技术委员会主席、技术总监 � 本质：程序员 58集团技术专场 目录-技术架构体系建设 问题 实践 总结 1. 服务化 2. 监控平台 3. 调用链跟踪 4. 服务治理 58集团技术专场 一、初创公司技术架构体系建设 常见问题 58集团技术专场 初创公司技术体系常见问题 体系割裂 系统耦合 DB耦合 出问题不知道 调用链跟踪（D-Tracker） � 服务治理（D-Watcher） 58集团技术专场 2. 监控平台 案例 问题 � 群内反馈 � 客服投诉 � 用户先感知 � 平台成本高 58集团技术专场 系统是否正常，我们知道么？ 58集团技术专场 误区：监控是运维的事情 58集团技术专场 2. 监控平台- 最佳实践 � 单维度正常，能说明系统正常吗？ � 什么是立体化监控？ � 怎么个多维度法？ 机器、操作系统监控 58集团技术专场 2. 监控平台-进程/端口/JVM • 两类思路：分发/汇总 • 分发类实现Tips （1）易扩展的配置 （2）远端接口探测，命令执行 （3）可以无需agent • 汇总类实现Tips （1）agent快速部署 （2）agent从中央获取配置 （3）快速的本地检测 58集团技术专场 2. 监控平台-日志 ERROR日志监控Tips （1）路径规范