2 03 模型训练策略 本章目录 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 4 1.背景知识 图片分类的原理 5 2017年google的机器翻译团队在 Norm Linear Softmax Inputs Outputs (shifted right) Positional Encoding Positional Encoding 1.背景知识 6 为什么需要用transformer Transformer原本是用来做 NLP的工作的，所以ViT的 首要任务是将图转换成词 的结构，这里采取的方法 是如上图左下角所示，将 图片分割成小块，每个小 个全连接网络压缩成一定 维度的向量。 1.背景知识 7 为什么需要用transformer CNN（如ResNet）是图像分类的最 佳解决方案。 如果预训练的数据集足够大（至少一 亿张图像），则Vision Transformer （ViT）将击败CNN（小幅度） Vision Transformer（ViT）实际上就 是Transformer的encode网络。 1.背景知识 8 2.模型介绍

王成昌（晙曦）蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 高性能6/20 业务背景 业务诉求 • 运维成本 SaaS 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境； • 基础资源管控； • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 IaaS层（Ali 跨集群发现12/20 联邦架构 • 关系型存储；  数据量  容灾 • 基于部署单元分发 多集群管控13/20 三、发布运维体系 发布运维体系14/20 应用管理&交付 • 基于统一管控背景下的 Dockerfile 管理和生成； • 基于组件关联的 FedAppInstance + revision 版本控制； • 快速构建能力 - binary2Image 能力； 发布运维体系15/20

黄海广 副教授 2 目录 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 3 1. 机器学习概述 01 认识Python 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 4 机器学习与人工智能、深度学习的关系 人工智能：机器展现的人类智能 工智能 发展到一定阶段的必然产物。 12 机器学习发展史 13 机器学习发展史 14 2. 机器学习的类型 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 15 2. 机器学习的类型 16 ✓ 分类（Classification） ✓ 身高1.65m，体重100kg的男人肥胖吗？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ (??)代表 预测标签。 一般来说，若我们模型学习的效果好，则训练误差和测试误差接近一致。 27 3. 机器学习的背景知识 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 28 3. 机器学习的背景知识-希腊字母 大写 小写 英文注音 国际音标注音 中文注音 Α α alpha alfa 阿耳法 Β β beta

深度学习-引言 黄海广 副教授 2 本章目录 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 3 1. 深度学习概述 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 4 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 Representation 深度学习入门-NLP 21 深度学习入门-NLP 2022chatGPT 22 2. 神经网络的基础 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 23 简单神经网络 z = x1w1 +  +xk wk +  + xK wK + b A simple function z (z ) Activation Transformers for Language Understanding 深度学习的硬件 28 2. 深度学习的背景知识 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 29 3. 深度学习的背景知识-希腊字母 大写 小写 英文注音 国际音标注音 中文注音 Α α alpha alfa 阿耳法 Β β beta

喜欢开源，乐于分享。 https://github.com/wangfakang 目 录 MoE 背景介绍 01 MoE 方案介绍 02 MoE 实践效果 03 MoE Roadmap 04 MoE 背景介绍 MoE 是什么 为什么做 MoE 方案调研与分析 MoE 背景介绍 — 什么是 MoE 处理性能高 （C++） 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 领域，Envoy 和 MOSN 作为其数据面 sidecar 之一 ，用于解决传统服务治理体系下的痛点如： 多语言，中间件组件开发适配成本高、SDK 升级困难、 技术复用度差、治理体系不统一等。 MoE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一， 维护成本高 • Envoy C++ 编写，对于 业务方来说开发门槛高 技术趋势 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不方便 支持的库（SDK）相对较少 WASM Extension

本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 • Range 扫描读，支持快照读，支持分页 从leader RingBuffer 中获取 增量事件，达到 最终一致性 逻辑层 – 选主 逻辑层 – TSO 接入层 接入层 客户端 客户端 K8s 元信息存储的需求 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 性能优化 写优化 - 1 降低锁粒度 存储引擎替换 表锁 -> 行锁，增大了写的并发 写优化 - 2 单点写 ->

2017 Lenovo Internal. All rights reserved. 大纲 • 背景和挑战 • 企业级容器云设计与思考 • 让一切自动化 • 监控与日志 • Showcase • 那些坑，那些事 4 2017 Lenovo Internal. All rights reserved. 背景和挑战 • IT环境比较复杂 • 集中运维模式，人少活多 • 应用类型比较复杂 • 缺少标准和规范 Internal. All rights reserved. 背景和挑战 • 内部系统演进 每个项目自维护 难以规范和升级 01 脚本化 多个工具集成 最佳搭配 合力作战 03 平台化 抽象成工具 模板化 一键化 零散，不成体系 02 工具化 6 2017 Lenovo Internal. All rights reserved. 背景和挑战 • 挑战 依然不够自动化 服务割裂，申请流程 资源使用率低 底层资源使用率低 规范落地困难 系统分散，难以统一 自服务平台 高效协作，加速迭代 7 2017 Lenovo Internal. All rights reserved. 背景和挑战 • 容器之道 加速 交付 统一 规范 构建 平台 节约 资源 8 2017 Lenovo Internal. All rights reserved. 企业级容器云设计与思考

安信证券 蒋渐峰 安信证券DevOps探索与实践 转型背景 01 工具平台建设 02 试点项目实践 03 目录 CONTENTS 持续改进 04 目标：以研发团队为中心，在端到端流程串联、流程自动化、度量精化、质量增强、资源自助化几个重点方面发力， 打造研发管理平台，提供具备快速交付、高质量、过程透明、可度量的IT研发服务供应链。 证券业务的复杂性： 证券业务种类多，业务规则复杂，业 自研的项目，亟待建立研发管理体系，统一研 发过程和工具 外部 内部 转型背景 转型背景-实施思路 3 个支柱：人（People）、流程（Process）和平台（Platform） 3个关键方面：文化（Culture)、工具（Tool)、培训赋能（Skill) 工具平台建设 试点项目转型 转型背景 01 工具平台建设 02 试点项目实践 03 目录 CONTENTS 持续改进 可视化方式配置两部分，通过可视化配置 的部分需要考虑留痕和版本回溯的问题。 工具平台建设-面向应用的交付流水线 SIT提测 部署SIT环境 部署UAT环境 工具平台建设-面向应用的交付流水线 转型背景 01 工具平台建设 02 试点项目实践 03 目录 CONTENTS 持续改进 04 试点项目实践-配置管理 全流程可追溯：当出现问题，能够追溯源代码、测试报告、运行环境等数据。 针

• 支持 Istio 1.10 • 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 背景介绍 — 什么是 MOE 处理性能高 （C++） 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MOE = MOSN + Envoy 相互融合，各取所长 在 Service 领域，Envoy 和 MOSN 作为 其数据面 Sidecar 之一 ，用于解决传统服务治 理体系下的痛点如：多语言中间件组件开发适配 成本高、SDK 升级困难、技术复用度差、治理体 系不统一等。 MOE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一， 维护成本高 • Envoy C++ 编写，对于 业务方来说开发门槛高 技术趋势 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MOE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不 方便；支持的库（SDK）相对较 少 WASM Extension

GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 2. GAN的理论与实现模型 9 GAN的概念简介及提出背景 概念简介 提出背景 GAN (Generative Adversarial Networks) ，中文翻译为生成式对抗网络，是 Ian Goodfellow 等在2014 年提出的一种生成式模型。 GAN的基本思想源自博弈论的二人零和博弈, 由一个生成器和一个判别器构成, 通过对抗 学习的方式来训练. 目的是估测数据样本的潜在分布并生成新的数据样本。 2. GAN的理论与实现模型 10 概念简介 提出背景 GAN的概念简介及提出背景 2001年，Tony Jebara 在毕业论文中以最大熵 形式将判别模型与生成 模型结合起来联合学习 2007年，Zhuowen Tu 提出将基 于boosting分类器的判别模型与 大数据需求和深度学习热潮， 给出了一个大的理论框架及理 论收敛性分析。 起 源 发展 2. GAN的理论与实现模型 11 概念简介 提出背景 （一）人工智能的热潮 （二）生成式模型的积累 （三）神经网络的深化 （四）对抗思想的成功 GAN的概念简介及提出背景 2. GAN的理论与实现模型 12 GAN的理论与实现模型 GAN的基本原理 GAN的学习方法 GAN的衍生模型 2. GAN的理论与实现模型