ArchSummit 全球架构师峰会 深圳站 2015 中型创业公司的 技术管理之痛 By 龚银 何谓「中型创业公司」 创业 公司 中型 创业公司 成熟 公司 自我介绍 从事过传统IT、搞过硬件、短暂创业、玩过互联网、...... 金蝶 比格邦 天猫 一加 12 • 传统IT • ERP • 广电行业 • 硬件 • 重视规划和系统思维的作用，根据现状随时调整轻重缓急 充分的沟通机制和反馈机制，让大家都能有一致的理解 聚焦与系统思维 技术和管理比重随时调整和平衡 技术、业务和管理的平衡 技术管理者大多对技术热衷，对管理忽视 技术、业务、系统花费精力和时间太多，团队管理精力太少 平衡 时间的分配：轻重缓急，适度授权 根据团队规模和业务情况，选择合适自己的占比 制定规划，不同的时间点和阶段重心进行调整 个人的几点有效实践 锻炼身体，保持良好的体力和心态 每天写管理日志，如实记录，定期反思 保持学习，每天至少预留30分钟时间思考,30分钟时间学习 定期的一对一会谈 心态、视野、行动 不同公司不同阶段有不 同的关注点和解决方法 ，没有标准答案，思考 并实践，找到最合适自 己的路 文化 管理 组织 技术 “在担任CEO的8年多时间里 ，只有3天是顺境，剩下的8

163yun.com 设计要点十一：全链路监控 www.163yun.com 设计要点十二：全链路压测 www.163yun.com 微服务平台总览 容器平台 (多集群基础设施) Pod & Deployment 网络 Calico, OVS 存储 Ceph 滚动更新 弹性伸缩 日志中心 基础设施监控 开 发 集 群 测 试 集 群 生 维护 开关 API 监控 认证 鉴权 治理 文档 报表 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流 拓扑 依赖 配置 中心 服务 监控 服务 告警 认证 鉴权 统计 概览 知识 库 APM (应用运行期监控) 运行时 拓扑 性能 监控 服务 筛选 调用 调用 链 调用 栈 JVM 监控 数据库 监控 性能 告警 自定义 数据 服务 告警 监控 大屏 账户 审计 CICD (开发流程管理) 代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成，场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock

03 流量应对策略 04 关于监控 第一部分 宜人贷发展历程 宜人贷发展历程 2011.12 宜人贷成立 2012.3 网站上线 2013.9 移动APP上线 2015.12 纽交所上市 2017 财富管理平台 网贷平台 YEP 业务� 多元化发展� [部分] 网贷平台 财富管理平台 YEP 第二部分 移动后台架构演进 WEB AND/IOS/H5/Open 静态站 网贷服务 借款流程 Cache集群 安全加密 网贷服务 CDN 支付结算 订单 DB从 批 处 理 系 统 活动 DB主 DB从 版本管理 产品 ... 同步 …... 网站、基础服务 移动后台 业务和团队规模迅速扩张 粗粒度服务化，基础设施完善 CDN/页面缓存/静态站/缓存集群 移动后台旁路 流程double，冗余开始出现 2pizza团队，系统单体制约 商城 核心服务 业务 网贷 保险 基金 商城 财富圈 健康财富 加密 验签 拦截 校验 安全 性能 并发 幂等 交易 缓存 基础服务 消息 监控 配置 报警 MIS OpenAPI 微信 财富圈 移动后台 商城MIS WAP … … Android/ios/h5/php/openApi 积分系统 基础服务 优惠券 宜人币

需要解决的问题 1 6 4 3 2 … 异构／多语言难以支持 5 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾，高可 用 缺乏分布式处理 无法合理利用机器资源 难以问题追踪 选型对比 Crontab Quartz Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 TBSchedule Elatic-Job Java事实任务标准 功能单一，只支持Java，不支持 Shell(PHP)和消息驱动的作业调度 对任务超时、任务执行情况、监控逻辑 支持粒度功能较单一或缺乏 没有容器化选型？ 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址： Github.com/vipshop/Saturn 体系中的定位 服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 VMS 全链路监控 Mercury 统一日志平台 dragonfly 任务调度平台 Saturn 统一配置中心 CfgCenter 统一鉴权中心 AuthCenter 服务网关 Janus 安全管理平台 Salus 有女初张成 唯品会弹性调度系统的架构与功 能窥探 域 应用包 作业 执行节点

阴永俊 美团配送系统架构演进实践 阴永俊 美团点评资深技术专家、美团配送业务系统团队负责人 2010年大连理工大学毕业，曾先后任职于Hikvision、人人网，从事过视频 监控、广告、IM、DevOps、中间件、数据仓库等技术方向 2015年加入美团·大众点评，负责配送业务系统建设，重点负责系统质量 保证、运营体系建设、核心系统架构升级等方向，支持美团配送业务发展 美团配送业务介绍 用户：花了钱却饿着肚子 • 商家：出了餐却无人配送 • 骑手：投入的时间、劳动却少赚了钱 • 多业务线的共性与差异：专送、代理、众包⋯ • 运营复杂度高：定义科学的订单供给与运力结构，并精准调控 • 安全管理：用户安全、商家安全、骑手安全 履约SLA要求高，重线下业务运营 配送系统的技术定位与思路 初期造工具，解决能不能 长期造壁垒，实现降维打击能力 从支撑业务到驱动业务 美团配送业务介绍 01 核心链路MVP、主流程跑通 • 按照粗领域拆分系统边界 • 按照三大信息流（人、财、物）划分系统 • 如何支撑快速试错： • 项目制； PM、RD = QA； 区分履约服务与运营服务 骑手APP 管理端 DB 资金 运单 人员 外卖系统 从零到一 外卖 配送 美团配送业务介绍 01 Agenda 02 MVP阶段 03 规模化阶段 04 精细化阶段 规模化阶段 快速起量 系统质量、研发效率问题凸显

级是如 何实现的 • 缺乏UI、没有灵活的参数、策略略配置，没有预案制定管理理能⼒力力 业务保障平台建设之路路 业务保障平台建设之路路 服务管理理 策略略管理理 预案制定 线上演练 • 降级服务统⼀一注册管理理，通过降 级服务质量量数据从整体反映各应 ⽤用的降级点和可⽤用性保障措施 • 降级策略略集中管理理，通过参数 化、配置化、脚本化⽅方式实现线 上策略略的灵活调整 • 依据服务重要程度，从全局制定 依据服务重要程度，从全局制定 分级预案，对降级点进⾏行行预案编 排，并跟踪监控降级链路路的执⾏行行 • 发现潜在故障，多维度验证预案 有效性，评估系统可靠性，提供 降级策略略、参数调整的优化依据 整体架构 Agent 服务降级注册 降级熔断通知 元数据存储 控制 中⼼心 ETCD ETCD ETCD ETCD 服务注册监听 降级控制中⼼心 元数据 TurboMQ Application Application Application SDK 熔断 降级 流控 隔离 实时策略略推送 数据采集 应⽤用管理理 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心

无大小限制，调转较难 智能化服务能力 微信自带组件，对接更容易 需根据场景单独对接，如人脸识别、支付等 产品自主性 需依托微信平台 完全自主可控 数据安全性 微信前端数据通过HTTPS传输 全业务流程数据传输监控 使用路径 微信端二级应用 一级入口 从技术的角度来比对，小程序和APP各具优势：小程序具备轻量级、跨平台、成本低、功能强和易传播的特征； 而APP则在产品自主可控、数据全程管控、使用路径更短、功能灵活多样方面更具优势。 包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 12、系统部署架构反复评审论证 一、部署架构 1、政务云电子政务外网 ：数据库、应用服务 2、政务云互联网区：静态资源、网关 3、互联网区：小程序、云服务 二、安全防护 1、仅开放指定端口 80 443 2、域名须有HTTPS证书 3、白名单 13、安全渗透测试、运维监控 -- 确保系统稳定 一、业务应用上线前必须经过安全渗透测试。 一、业务应用上线前必须经过安全渗透测试。 1、在测试环境中扫描出：越权查询、SQL注入、明文传输等，要求整改 2、正式环境检查： 操作系统、数据库、中间件漏洞，建议打补丁 二、运维监控每日 1.采用ELK收集系统日志、监控异常信息 2. 对各业务系统API接口进行状态监控，每日输出报告 14、系统上线、系统截图 粤省事小程序码 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程

量用户的推送系统，对大规模分布式系统架构及设计有深入的理解。 自我介绍 • 极光推送服务架构 • 关于极光 • 消息推送系统面临的挑战 • 极光推送相关架构 • 极光推送后台系统架构 • 后台系统架构基本原则 • 链接管理 • 系统安全 • 新技术的应用 目录 关于极光 36.9 万 开发者 107.6 万 APP 198 亿 移动终端 10.4 亿 月独立 活跃设备 90 % 覆盖率 JCache JMQ DB 极光推送后台系统架构 02 01 06 03 07 05 04 08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响，更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 • 业务方透明 • 统一管理 • 屏蔽后端变化 • AutoScale，Failover，AutoRecover • JMQ - RabbitMQ, RocketMQ • JCache - Redis, LevelDB(PIKA) 极光推送后台系统架构 06 链接管理 • 量级大，网络复杂，DDOS攻击 • 动态管理 • 就近接入 • 自动化管理接入网关 • 自动扩容，应对网络攻击

已经处理的event数 Flume监控 日志数据获取实践 入库 解析 收集 采集 插码 实时数据采集新要求 业务系统无法配合修改，怎么办？ CDC的几种方法： • 触发器 • 时间戳 • 全表比对 • 日志对比 Change Data Capture（CDC） Oracle CDC建议方案－OGG OGG监控 OGG监控可选方案： • GoldenGate Director 吞吐量优先场景（Kafka/RocketMQ）： • 大规模数据的传输和收集 Kafka web管理界面： •Kafka Web Console •Kafka Manager •KafkaOffsetMonitor •Uber开源Kafka监控工具--Chaperone Kafka web监控管理界面 流式计算可选方案 仅流处理框架: • Storm • JStorm • Samza 方案二：经验值 w1 w2 current w1 w2 w3 … … w1 w2 w3 … today lastday lastmonth 实时计算平台如何监控和报警？ 海尔实时计算平台技术选型与实践 平台监控 • Ganglia • Nagios 海尔实时计算平台技术选型与实践 开源技术改造经验－数据可视化 数据可视化目标 目标：为公司所有数据分析类项目，提供数据洞察和展示工具。

业务模型 BUSINESS MODEL 服务/方案 基础产品 基础支撑 金融云服务 聚合支付 乐享理财 帮你贷 八方数据 … 资金管理 供应链 分期支付 扫码分销 … 基础支付1 SDK支付 扫码支付 分期支付 比特币 银行卡 开户 监控 报表 … 基础支付2 单笔代收 单笔代付 语音支付 余额查询 批量代收 身份鉴权 批量代付 快捷 … 账务 开户 记账 对账 对外付款 企业理财 企业报销 资金划拨 供应链 … 其他 贷款 理财 供应链 征信 … 数据分析 … 运营后台 用户系统 商户后台 官网 企业网银 个人网银 解决方案 实时监控 业务属性 BUSINESS ATTRIBUTES 实时性、一致性 安全性、中间账户 聚合的复杂性、第三方依赖性 金融系统 The complexity of aggregation, 线 程 工 作 线 程 服 务 服 务 服 务 服 务 服 务 任务队列 基于消息的分布式架构 MESSAGE - BASED DISTRIBUTED ARCHITECTURE 管理区 LVS-master C1 RabbitMq-1 数 据 库 服 务 器 区 LVS-slave Nginx-1 Nginx-2 C2 C3 C4 实时 oltp2 SSS-1