1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 CgroupQuato Actions CMDBs IPs Dockers HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Cons

陈鹏 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 多点生活 平台架构-基础架构工程师 个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 多种公有云（腾讯云、微软 云等） 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护，日志 查看，故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控，可以查看每个实例的运行情况 • 支持离线日志查看，减少对容器的理解 客户端 • CI/CD流程耦合 2019～2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021～ • 多商家私有云适配 • HPA 支持 • …… https://github.com/symcn/sym-ops CRD AppSet： spec: chart: "****:v1" clusterTopology:

多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 多雲一體就是現在: Google Cloud 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境 整合，加速應用上線 Google Cloud Taiwan 優勢 Google Infrastructure event driven functions web apps & APIs orchestrate containers infrastructure 使用多層次的架構重塑雲端佈署 Cloud 提供技術的 Kubernetes 上部署、管理容器化應用程式及調整資源 為何 Google GKE 是佈署 K8S 的首選 全球佈署 業界最多的佈 署地區選擇 多重版本 支援最多的 GKE發佈版本 ，自動升級 高可用性 支援跨資料中 心自動配置叢 集 網路安全 毋須額外套件 過濾容器到容 器流量防護 自動擴展 隨需動態擴展 負載平衡 整合無流量上 限的Google

1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 18 1.3 实战：RocketMQ 学习环境搭建指南篇 28 1.4 RocketMQ HA 核心工作机制 39 1.5 踩坑记：rocketmq-console 消费 TPS 为 0，但消息积压数却在降低是个什么 “鬼” 49 1.6 RocketMQ 一个新的消费组初次启动时从何处开始消费呢？ 64 busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 有了新的称号，那就得更加努力，朝着优秀努力，在 2019 年我又陆续发表了 20 几篇 关于 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 RocketMQ

FRAMEWORK 常用术语表 2.4. OPERATOR LIFECYCLE MANAGER (OLM) 2.5. 了解 OPERATORHUB 2.6. 红帽提供的 OPERATOR 目录 2.7. 多租户集群中的 OPERATOR 2.8. CRD 第 第 3 章 章 用 用户 户任 任务 务 3.1. 从已安装的 OPERATOR 创建应用程序 3.2. 在命名空间中安装 OPERATOR 定义集群服务版本（CSV） 5.8. 使用捆绑包镜像 5.9. 遵守 POD 安全准入 5.10. 云供应商上的 OPERATOR 的令牌身份验证 5.11. 使用 SCORECARD 工具验证 OPERATOR 5.12. 验证 OPERATOR 捆绑包 5.13. 高可用性或单节点集群检测和支持 5.14. 使用 PROMETHEUS 配置内置监控 5.15. 配置领导选举机制 5.16 16. 为多平台支持配置 OPERATOR 项目 5.17. 基于 GO 的 OPERATOR 的对象修剪工具 4 4 4 5 6 6 7 23 25 64 66 68 70 79 79 80 90 90 107 108 111 113 116 120 121 127 147 151 154 161 176 176 177 179 200 231 260 279 307

Swarm Swarm mode 基本概念 创建 Swarm 集群 部署服务 使用 compose 文件 管理敏感数据 管理配置信息 安全 内核命名空间 控制组 服务端防护 内核能力机制 其它安全特性 总结 底层实现 基本架构 4 1.18.2 1.18.3 1.18.4 1.18.5 1.18.6 1.19 1.19.1 1.19.2 1.19.3 1 — 从入门到实践 0.9.0(2017-12-31) 修订说明：本书内容已基于 Docker CE v17.MM 进行了重新修订，2017 年底发布了 0.9.0 版 本。旧版本（Docker 1.13-）内容，请阅读 docker-legacy 分支的内容。 Docker 是个划时代的开源项目，它彻底释放了计算虚拟化的威力，极大提高了应用的运行效 率，降低了云计算资源供应的成本！使用 docker secret 相关内容 增加 docker config 相关内容 增加 LinuxKit 相关内容 更新 CoreOS 章节 更新 etcd 章节，基于 3.x 版本 删除 Docker Compose 中的 links 指令 替换 docker daemon 命令为 dockerd 替换 docker ps 命令为 docker container

关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书已尽可能地涵盖其中基础、主流并且前沿的算法知识，但是仍然有很 多算法无法涵盖，读者学习完本书后，可以自行搜索相关方向的研究论文或资料，进一步学 习。 深度学习是一个非常前沿和广袤的研究领域，鲜有人士能够对每一个研究方向都有深刻 的理解。作者自认才疏学浅，略懂 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出 现在 1956 年召开的达特茅斯会议上。这是一项极具挑战性的任务，人类目前尚无法对人脑 的工作机制有全面、科学的认知，希望能制造达到人脑水平的智能机器无疑是难于上青 天。即使如此，在某个方面呈现出类似、接近甚至超越人类智能水平的机器被证明是可行 游戏平台中的 49 个游戏上取得了 与人类相当甚至超越人类的水平；在围棋领域，DeepMind 提出的 AlphaGo 和 AlphaGo Zero 智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的 Dota2 游戏 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 冠军队伍 OG 队，展现出了大量专业级的高层智能操作。图 1.9 列出了 2006

运算符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.1.3 广播机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.1.4 索引和切片 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 10 注意力机制 381 10.1 注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 更多延迟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525 12.5 多GPU训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 528 12

全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力，降低使用者的人力成本和学习成本 可靠 • 所有组件无单点； • 平台本身支持热升级； • 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 • 管理机挂掉：对应用无影响 • 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 本地重启/跨机重启 • 黑名单机制 • 集群核心数据的备份和恢复 ① Etcd ② 核心数据库 • 云盘机制保护应用数据 • 举例：1.4升级1.9版本 • Pod Hash发生变化 • Container名称发生变化，点分隔改为了下划线分隔 • 容器标签发生变化 pause容器的标签io.kubernetes.container.name=POD改为 io.kubernetes.docker.type=podsandbox p挤占 ◼在某个cgroup没有用满其配额时，其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时，优先级高的优先； 优先级相同 时， 配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策