于量子领域的探索 摩尔定律： 集成电路上的晶体管数目 每隔18个月翻倍，性能也会 翻倍 一般业界认为量子 计算的应用如下： • 量子化学模拟 • 量子材料模拟 • 量子优化问题 • 量子机器学习 • 量子密码系统 • 量子精密测量 • 量子启发算法 量子计算优势 量子计算优势 Chemistry Simulation Material Design Web Security 2018年华为全联结大会首次发布 华为HiQ 2.0重点布局量子化学+量子调控：助力“专用”量子计算机研发 专用 vs 通用 “专用”量子计算机 “通用”量子计算机 主要应用 量子系统仿真 量子化学 组合优化 机器学习 大数分解 数据库搜 索 量子动力学 量子人工智 能 影响领域 学术界 制药、能源、材料、物流、网络等 电信、网络安全、大数据、金融、医药等 核心算法 Analog Sim VQE 量子退火/QAOA 合计算是发挥其应用潜力的最重要途径之一！ 华为量子计算云服务2.0，功能和性能全面大幅提升 量子应用 量子算法库 量子编程框架 量子控制 量子芯片 模拟器 化学模拟 组合优化 人工智能 模拟算法 优化算法 学习算法 编程语言 编译器 资源管理 资源调度 量子纠错 控制脉冲 量子-经典接口 超导 离子阱 金刚石色心 HiQ 1.0 展开 HiQ 2.0 展开 HiQ 2.0 量子化学 量子调控 编程框架

•从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 人工智能应用 Critical Physical World Critical Digital World Non-Critical Digital World Non-Critical Physical World 新美大酒旅 国内发展最快的一站式综合住宿服务 平台 国内最大的在线门票交易平台 酒旅搜索推荐 User 情侣 有车 九华山庄 南山滑雪场 标签在用户维度的分布 标签在POI维度的分布 用户标签偏好*标签权重*POI标签偏好*POI销量 召回策略演进过程 基于L2R的排序策略优化 机器学习流程 问题建模 推荐 推荐 访消率 •访购率为目标 •只看点击率没有反映出交易属性 •看最终收入 •消费受购买限制、退款条件等影响 •收入跟BD谈单毛利相关 •Pointwise •AUC •logloss •在线评估 •ABTest：按UUID分流 •线上迭代 •模型更新 •特征漂移：更新延迟 训练集表现 测试集表现 问题 <期望目标值 <期望目标值 Underfiting >期望目标值 接近或略逊于训练集 合适 >期望目标值 远差于训练集 Overfiting 模型调试 模型Debug工具 从海量大数据的离线计算到高并 发在线服务的推荐引擎架构设计 猜你喜欢

https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 • 总结与致谢 百度的集群环境 • 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus - 假设的服务器MTBF是30年 - 搭建一个1万台服务器的系统 - 每一两天就坏一个 • 典型数据中心 - 过热：5分钟内数千台机器宕机 - 供电异常： 500~1000台机器突然消失 - 机架晃动： 几十台机器出现50%丢包 - 交换机故障： 几十台机器突然消失 - 磁盘、单机故障 • 通过冗余应对故障 一个典型的数据处理场景 数据处理模块 数据接收模块 存储 主 从 从 1 引入MetaServer 提升系统扩展性 • 设计的可扩展性 - 保证在规模扩大5倍或10倍是正常工作 • BFS避免了过渡设计 - 用设计中的不可扩展达到最大的可扩展 • 最多支持6万台机器 • 最多支持100亿文件 分布式存储系统设计的特殊性 • 最基础服务的提供者 - 不可能做成无状态的 • 最底层的仲裁者 - 不能依赖ZooKeeper等系统选主 - 分布式的双主问题只从存储系统解决

误区：监控是运维的事情 58集团技术专场 2. 监控平台- 最佳实践 � 单维度正常，能说明系统正常吗？ � 什么是立体化监控？ � 怎么个多维度法？ （1）机器、操作系统 （2）进程、端口 （3）日志 （4）接口 58集团技术专场 机器、操作系统监控 58集团技术专场 2. 监控平台-进程/端口/JVM • 两类思路：分发/汇总 • 分发类实现Tips （1）易扩展的配置 （2）远端接口探测，命令执行 58集团技术专场 强调：统一组件真的很重要！ 58集团技术专场 三、总结 58集团技术专场 总结-初创公司技术体系怎么玩 � 服务化：统一框架，统一数据访问，解耦组件 � 监控平台：机器/操作系统，进程/端口，日志，接口 � 调用链跟踪：修改点，串联/时序/深度，数据收集，可视化 � 守望者平台：应用视角，上下游，数据收集，统一展现 统一组件 快速落地 58集团技术专场 Q&A

扛得了枪 吃得了苦 卖得了萌 受得了委屈 个人的几点有效实践 锻炼身体，保持良好的体力和心态 每天写管理日志，如实记录，定期反思 保持学习，每天至少预留30分钟时间思考,30分钟时间学习 定期的一对一会谈 心态、视野、行动 不同公司不同阶段有不 同的关注点和解决方法 ，没有标准答案，思考 并实践，找到最合适自 己的路 文化 管理

introduction A brief overview of Facebook Messenger Messenger 0.0 Messenger 1.0 系统难点 1. 信息传输的时效性 2.‘在线状态’跟踪 3. Queue（消息队列）+ 送达机制 4. 多并发连接 5. 消息的历史记录 1.0 Architecture Messenger 2.0 The New Facebook

管理规范： 1.服务谁提供，就由谁负责相应Mock数据的 制作。 2.mock数据可被使用者二次修改或替换。 3.mock数据独立工程管理。 静态匹配（json） 动态匹配（脚本） 在线抓取Mock数据 手工编写应用服务的mock数据往往工作量巨大，尤其是对一些数据驱动的业务，比如电信营业厅的套餐开户、基金业 务中的基金购买等，手工制作这些mock数据费时费力。通过对线上（一般是测试环境）实际服务调用的真实数据的抓

支持多语言、传统微服务和新兴ServiceMesh微服务 架构混合场景部署 • 有大型成功商用案例 • 无商业强绑定，高自由度，企业自主可控 • 完整的生态栈，涵盖开源主流微服务运维和安全领域 • 低学习成本，有编程语言基础即可快速上手 华为开源 ServiceMesh方案 Mesher ServiceCenter Java-chassis ServiceComb Pilot

observer同步强一致 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 存储节点Failover，越快越好？ • 数据补全对业务影响 • 机器宕机五分钟，数据补全两小时 节点升级，先切走流量再操作？ • 节点流量只能切到有其他副本的节点 • 升级后的节点缺少升级期间的写入 Cellar—节点高可用 Cellar—节点高可用 • 秒级容灾

Consumer Hadoop ES Spark kafka Web Web 专线/公网 容量合理规划 客户端 北京 50% 合肥 50% 广州 50% 1 1 2 冗余机器与其他系统复用，弹性伸缩 配套系统支撑 测试场景覆盖 灰度发布上线 机房流量调度 监控覆盖 故障模拟演练 数据恢复 配置平台 服务化平台 日常运维 大纲 • 产品发展中遇到的问题 •