 刘道平-从0到1,移动政务应用小程序系统架构演化下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易 需根据场景单独对接,如人脸识别、支付等 13、安全渗透测试、运维监控 -- 确保系统稳定 一、业务应用上线前必须经过安全渗透测试。 1、在测试环境中扫描出:越权查询、SQL注入、明文传输等,要求整改 2、正式环境检查: 操作系统、数据库、中间件漏洞,建议打补丁 二、运维监控每日 1.采用ELK收集系统日志、监控异常信息 2. 对各业务系统API接口进行状态监控,每日输出报告 14、系统上线、系统截图 粤省事小程序码 目录 一、移动政务应用服务现状与痛点0 码力 | 35 页 | 15.60 MB | 1 年前3 刘道平-从0到1,移动政务应用小程序系统架构演化下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易 需根据场景单独对接,如人脸识别、支付等 13、安全渗透测试、运维监控 -- 确保系统稳定 一、业务应用上线前必须经过安全渗透测试。 1、在测试环境中扫描出:越权查询、SQL注入、明文传输等,要求整改 2、正式环境检查: 操作系统、数据库、中间件漏洞,建议打补丁 二、运维监控每日 1.采用ELK收集系统日志、监控异常信息 2. 对各业务系统API接口进行状态监控,每日输出报告 14、系统上线、系统截图 粤省事小程序码 目录 一、移动政务应用服务现状与痛点0 码力 | 35 页 | 15.60 MB | 1 年前3
 唯品会调度系统的前世今生传统调度系统的问题、产品的定 位与选型 需要解决的问题 1 6 4 3 2 … 异构/多语言难以支持 5 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾,高可 用 缺乏分布式处理 无法合理利用机器资源 难以问题追踪 选型对比 Crontab Quartz Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 TBSchedule Elatic-Job 提供多种业务开发模式,满足不同的业务需求 • 多种业务运行模式,即可分布式管理也可本地管理 • 通过异步消息实现业务编排* 多种作业类型 人工指定 运行节点 系统自动 平衡负载 资源利用 • 灵活的运维配置与部署 • 高效资源利用 • 简便的管理 人工指定 自动平衡 资源平衡调度算法 框架代码 与业务代 码隔离 集中化动 态增加与 删除作业 • 简化开发,避免冲突,业务无侵入 • 易于发布与维护 Loader Call 类加载 作业运行基本原理 更多。。。 超时控制 多ZK集群支持 监控体系 手动触发 批量处理 强行终止 Dashboard … 为什么需要容器化 资源利用 提高物理资源的 利用率 系统弹性 资源弹性伸缩 运维效率 上线周期、峰值 应对 作业隔离 不同业务间作业 隔离 容器化的调度系统选型 开源程度 场景切合(秒级调度) 异构体系 管理成本 长驻处理?0 码力 | 58 页 | 5.40 MB | 1 年前3 唯品会调度系统的前世今生传统调度系统的问题、产品的定 位与选型 需要解决的问题 1 6 4 3 2 … 异构/多语言难以支持 5 缺乏统一监控、统一管理 (进程假死、运行状态未知) 缺乏容错、容灾,高可 用 缺乏分布式处理 无法合理利用机器资源 难以问题追踪 选型对比 Crontab Quartz Linux系统级的定时任务执行器 缺乏分布式运算和集中管理功能 无法做到高可用 TBSchedule Elatic-Job 提供多种业务开发模式,满足不同的业务需求 • 多种业务运行模式,即可分布式管理也可本地管理 • 通过异步消息实现业务编排* 多种作业类型 人工指定 运行节点 系统自动 平衡负载 资源利用 • 灵活的运维配置与部署 • 高效资源利用 • 简便的管理 人工指定 自动平衡 资源平衡调度算法 框架代码 与业务代 码隔离 集中化动 态增加与 删除作业 • 简化开发,避免冲突,业务无侵入 • 易于发布与维护 Loader Call 类加载 作业运行基本原理 更多。。。 超时控制 多ZK集群支持 监控体系 手动触发 批量处理 强行终止 Dashboard … 为什么需要容器化 资源利用 提高物理资源的 利用率 系统弹性 资源弹性伸缩 运维效率 上线周期、峰值 应对 作业隔离 不同业务间作业 隔离 容器化的调度系统选型 开源程度 场景切合(秒级调度) 异构体系 管理成本 长驻处理?0 码力 | 58 页 | 5.40 MB | 1 年前3
 全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash何提高比特操作精度,是当 前研究的核心。 另外,在实验室我们同时面对温度的 大跨度变化,导致信号畸变和多路控 制信号串扰(crosstalk),接近量子 物理极限的信号放大。 量子调控:利用外场控制量子系统的技术,在量子计算机中是利用微波、激光或电流去操控量子芯片,是提高精度确保量 子计算机可用性的关键技术。 华为HiQ Pulse: 全面的云上脉冲设计平台方案 核心技术呈现 HiQ Pulse是针对 量子优化控制算法 品质 采用HiQ Pulse算法库优化单比特量子门操作, 保真度可达~99.7% 华为HiQ Pulse: 全面的云上脉冲设计平台方案 动态迭代 优化脉冲 布洛赫球 量子调控主要利用优化算法优化脉冲波形,精准操控实 际量子芯片;在当前嘈杂中型量子(NISQ)发展阶段, 提供具有很好鲁棒性的优化脉冲。通过GUI展现量子调 控的过程,为用户提供一个我们开发的HiQpulse平台, 为客户提供更好的服务。0 码力 | 34 页 | 5.57 MB | 1 年前3 全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash何提高比特操作精度,是当 前研究的核心。 另外,在实验室我们同时面对温度的 大跨度变化,导致信号畸变和多路控 制信号串扰(crosstalk),接近量子 物理极限的信号放大。 量子调控:利用外场控制量子系统的技术,在量子计算机中是利用微波、激光或电流去操控量子芯片,是提高精度确保量 子计算机可用性的关键技术。 华为HiQ Pulse: 全面的云上脉冲设计平台方案 核心技术呈现 HiQ Pulse是针对 量子优化控制算法 品质 采用HiQ Pulse算法库优化单比特量子门操作, 保真度可达~99.7% 华为HiQ Pulse: 全面的云上脉冲设计平台方案 动态迭代 优化脉冲 布洛赫球 量子调控主要利用优化算法优化脉冲波形,精准操控实 际量子芯片;在当前嘈杂中型量子(NISQ)发展阶段, 提供具有很好鲁棒性的优化脉冲。通过GUI展现量子调 控的过程,为用户提供一个我们开发的HiQpulse平台, 为客户提供更好的服务。0 码力 | 34 页 | 5.57 MB | 1 年前3
 海量用户推送后台系统架构实践-曾振波• 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 01 Segment Conn StatCenter OnlineMsg 异步化 • 充分利用资源,减少请求等待时间,提升系统吞吐量 • 消息化请求 • MQ - RabbitMQ, RocketMQ • 模块间解耦 • IDC数据同步 • 异步RPC • ICE - 负载均衡,AMI,AMD,多线程 服务安全 • 安全校验,异常行为识别,过载保护,白名单/黑名单,服务降级 • 监控及告警 • 多维度监控,告警系统 极光推送后台系统架构 08 K8S部署业务 • 原有系统的运维工作繁杂,资源利用率低 • 弹性扩容 • 配置统一管理 • 内外集群隔离 • Pod包含多个容器 - 辅助容器,业务容器 • 业务模块代码架构调整 • 监控体系调整 极光推送后台系统架构 09 结束语0 码力 | 23 页 | 1.26 MB | 1 年前3 海量用户推送后台系统架构实践-曾振波• 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 01 Segment Conn StatCenter OnlineMsg 异步化 • 充分利用资源,减少请求等待时间,提升系统吞吐量 • 消息化请求 • MQ - RabbitMQ, RocketMQ • 模块间解耦 • IDC数据同步 • 异步RPC • ICE - 负载均衡,AMI,AMD,多线程 服务安全 • 安全校验,异常行为识别,过载保护,白名单/黑名单,服务降级 • 监控及告警 • 多维度监控,告警系统 极光推送后台系统架构 08 K8S部署业务 • 原有系统的运维工作繁杂,资源利用率低 • 弹性扩容 • 配置统一管理 • 内外集群隔离 • Pod包含多个容器 - 辅助容器,业务容器 • 业务模块代码架构调整 • 监控体系调整 极光推送后台系统架构 09 结束语0 码力 | 23 页 | 1.26 MB | 1 年前3
 全球架构师峰会深圳2015/研发体系构建_龚银_中型创业公司的技术管理之痛技术简单化 不要追求炫酷,简单实用即可,根据团队成员能力量体裁衣 先跑起来,然后找合适时间进行优化,合适的平衡 简单清晰,效率优先,能用一个人解决的事情,决不安排两个人 利用开源和成熟产品,不重复发明轮子,比如使用AWS等 量体裁衣 聚焦业务,随时调整轻重缓急 NO TIME 业务永远做不完,基础建设怎么办? 聚焦,聚焦,集中火力开火 业务优先,区分核心业务,重要性四象限0 码力 | 36 页 | 2.49 MB | 1 年前3 全球架构师峰会深圳2015/研发体系构建_龚银_中型创业公司的技术管理之痛技术简单化 不要追求炫酷,简单实用即可,根据团队成员能力量体裁衣 先跑起来,然后找合适时间进行优化,合适的平衡 简单清晰,效率优先,能用一个人解决的事情,决不安排两个人 利用开源和成熟产品,不重复发明轮子,比如使用AWS等 量体裁衣 聚焦业务,随时调整轻重缓急 NO TIME 业务永远做不完,基础建设怎么办? 聚焦,聚焦,集中火力开火 业务优先,区分核心业务,重要性四象限0 码力 | 36 页 | 2.49 MB | 1 年前3
 从百度文件系统看大型分布式系统设计中的定式与创新Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片 - 简单、均衡 - 扩容复杂、易用性差 - 一致性哈希、虚拟节点 • 按范围、数据量分 - 使用简单 - 需要管理元数据 - 中心化与去中心化0 码力 | 24 页 | 937.45 KB | 1 年前3 从百度文件系统看大型分布式系统设计中的定式与创新Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片 - 简单、均衡 - 扩容复杂、易用性差 - 一致性哈希、虚拟节点 • 按范围、数据量分 - 使用简单 - 需要管理元数据 - 中心化与去中心化0 码力 | 24 页 | 937.45 KB | 1 年前3
 数字货币交易系统架构 Python实现 黄毅• 设计简单,运维方便 交易系统架构设计-关键点 • 内存撮合服务的状态持久化和高可用 • 消息处理顺序的保证 • 异步服务之间消息传送的可靠性 • K线:实时的分组聚合操作 • 高效利用关系数据库 交易系统架构设计-架构图 撮合 资金清算 行情推送 K线计算 历史成交 订单状态 PG Redis 下单 交易系统架构设计-撮合服务 • C++实现的Redis Module0 码力 | 24 页 | 799.65 KB | 1 年前3 数字货币交易系统架构 Python实现 黄毅• 设计简单,运维方便 交易系统架构设计-关键点 • 内存撮合服务的状态持久化和高可用 • 消息处理顺序的保证 • 异步服务之间消息传送的可靠性 • K线:实时的分组聚合操作 • 高效利用关系数据库 交易系统架构设计-架构图 撮合 资金清算 行情推送 K线计算 历史成交 订单状态 PG Redis 下单 交易系统架构设计-撮合服务 • C++实现的Redis Module0 码力 | 24 页 | 799.65 KB | 1 年前3
 美团点评旅游推荐系统的演进System d7 d2 d6 d5 … 。 。 d1 Model h 线上工程 问题建模 •GBDT •非线性 •High Level特征多 •XGBoost •泰勒展开,利用了二阶导数信息 •对数据预排序,性能更高 •多模型融合 •GBDT模型+FFM模型 问题建模 •FFM •矩阵分解+回归 •Low Level特征多 •情景推荐 •发现特征关联关系0 码力 | 49 页 | 5.97 MB | 1 年前3 美团点评旅游推荐系统的演进System d7 d2 d6 d5 … 。 。 d1 Model h 线上工程 问题建模 •GBDT •非线性 •High Level特征多 •XGBoost •泰勒展开,利用了二阶导数信息 •对数据预排序,性能更高 •多模型融合 •GBDT模型+FFM模型 问题建模 •FFM •矩阵分解+回归 •Low Level特征多 •情景推荐 •发现特征关联关系0 码力 | 49 页 | 5.97 MB | 1 年前3
 声明式自愈系统——高可用分布式系统的设计之道-王昕对象状态不依赖于连接状态 Ø 针对全局状态设计自愈容错机制 最佳实践分享 有关系统设计和运营 Ø 分开设计理想状态和实际状态 Desired State Realized State Ø 利用队列解耦系统 Ø 尽量不要依赖 DNS 做高可用 Ø 监控负载不均的情况 Ø 避免Self DoS 最佳实践分享 有关微服务架构的典型模式 Ø 限流 Throttling Ø 超时 Timeouts0 码力 | 44 页 | 2.47 MB | 1 年前3 声明式自愈系统——高可用分布式系统的设计之道-王昕对象状态不依赖于连接状态 Ø 针对全局状态设计自愈容错机制 最佳实践分享 有关系统设计和运营 Ø 分开设计理想状态和实际状态 Desired State Realized State Ø 利用队列解耦系统 Ø 尽量不要依赖 DNS 做高可用 Ø 监控负载不均的情况 Ø 避免Self DoS 最佳实践分享 有关微服务架构的典型模式 Ø 限流 Throttling Ø 超时 Timeouts0 码力 | 44 页 | 2.47 MB | 1 年前3
 付钱拉金融云系统架构演进和最佳实践开发人员如何提高代码质量,减少频繁迭代产生的bug? 线上环境突发事故,第一时间如何决策减少事故影响范围? 开发人员排查问题速度过慢? 随着业务的增长,问题越来越多,第一优先级需要解决什么? 系统突然CPU、内存利用率暴增,如何定位代码? 数据库连接数被耗尽,怎么办? 各种OOM如何预防? 随着系统交易量的增加,高可用系统的设计点很多,如何快速抓住建设要点? 有哪些困惑 WHAT IS THE CONFUSION0 码力 | 35 页 | 6.05 MB | 1 年前3 付钱拉金融云系统架构演进和最佳实践开发人员如何提高代码质量,减少频繁迭代产生的bug? 线上环境突发事故,第一时间如何决策减少事故影响范围? 开发人员排查问题速度过慢? 随着业务的增长,问题越来越多,第一优先级需要解决什么? 系统突然CPU、内存利用率暴增,如何定位代码? 数据库连接数被耗尽,怎么办? 各种OOM如何预防? 随着系统交易量的增加,高可用系统的设计点很多,如何快速抓住建设要点? 有哪些困惑 WHAT IS THE CONFUSION0 码力 | 35 页 | 6.05 MB | 1 年前3
共 11 条
- 1
- 2













