阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化 开源 PAI平台（Platform of Artificial Intelligence） Deep Learning Container 数据量大而全 先进的模型结构 业务场景复杂 计算力强、性价比高 提供 支撑 支撑 支撑 促进 促进 开源生态 系统 硬件 模型 生态系统 外循环 内循环 贡献 对接 PAI平台的优势 1. 机器学习PAI: https://help

护。转载、摘编或利用其它方式使用本白皮书文字或者观 点的，应注明“来源：中国信息通信研究院”。违反上述声 明者，本院将追究其相关法律责任。 前 言 党的二十大报告提出，要构建新一代信息技术等一批新的增长 引擎，打造具有国际竞争力的数字产业集群。云计算是信息技术发 展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋 势，是信息时代国际竞争的制高点和经济发展新动能的助燃剂。云 计算引发了软件开发部署模式的创新，成为承载各类应用的关键基 深度挖掘云计算产业价值。我国政策指引云计算应用创新，持续推 动云计算与实体经济融合走深。 二是全球云计算市场稳定增长，我国保持快速发展。2022 年， 全球云计算市场规模为 4,910 亿美元，增速 19%，预计在大模型、 算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次发布云计算白皮书。本白皮书聚焦过去一年多来云计算 产业的新发展新变化，总结梳理国内外云计算政策、市场、技术、

高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强，满足更大吞 吐量 存储自动扩缩容 手工填加机器， 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写，性能高 易用程度 封闭体系，集成各 类优秀能力较差 据、交通数据、传感器数据实时 写入HBase中，分析结果输出到用户的监控前端系统展示，实现物联网数据的实时 监控分析。 优势 易接入： 轻松对接消息系统、流计算系统 高并发： 满足千万级并发访问 存算分离： 按需分别订购计算与存储，成本低、故障恢复快 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 DB计算层 分布式共享 杂的部署环境，小到IoT设备，大到自建IDC，都能以跟公有云同样易用的方式接入消息服务，且能轻易地满足云边端一体化、跨IDC、跨云等互 通需求，真正成为应用层的通信基础设施。 多样性 云原生消息服务将致力于建设大而全的消息生态，来涵盖丰富的业务场景，提供各式各样的解决方案，从而满足不同用户的多样性需求。云原生 消息队列要求建设多个子产品线来支撑丰富的业务需求，比如消息队列RocketMQ，Kafka，微消息队列等。 标准化 容器镜

定的通用性，但是如何设计特征，以及特 征方法的优劣性非常的关键，同时也比较困难。神经网络的出现，使得人为设计特征这一 部分工作可以让机器自动完成学习，不需要人类干预。但是浅层的神经网络的特征提取能 力较为有限，而深层的神经网络擅长提取高层、抽象的特征，因此具有更好的性能表现。 针对特定任务 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 的算法模型是非常有用的一个方向。 预览版202112 第 1 章 人工智能绪论 8 图 1.10 数据集样本数趋势 图 1.11 数据集大小趋势 1.3.2 计算力 计算能力的提升是第三次人工智能复兴的一个重要因素。实际上，现代深度学习的基 础理论在 1980 年代就已经被提出，但直到 2012 年，基于两块 GTX580 GPU 训练的 AlexNet Python 语言、定位底层运算的计算库，Theano 同时支持 GPU 和 CPU 运 算。由于 Theano 开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计

中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积 神经网络，性能最好的模型被证明还是通过注意力机制（attention mechanism）连接编码器和解码器，因而《Attention Is All You Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 非任务型人机交互场景，可分类为管道模式及端对端模式。 结构性的文本生成，首先通过注意力机制、多层感知器等系 统进行语句内容预选，对数值、时间等类型数据进行推理。 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transfor 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力 充足的条件下，根据 attention机制进行自学 有监督微调 （Supervised fine-tunning) 微调，用来修正模型理解力。 即小规模指导过程，让AI在 小样本数据下进行调整 结合形成了一种使用无监督预训练和有监督微调相结合的语言理解任务的“半监督方法”

. . . . . . . . . . . . . 378 10 注意力机制 381 10.1 注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.1 生物学中的注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10.1.3 注意力的可视化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384 10.2 注意力汇聚：Nadaraya‐Watson 核回归 . . . . . . . . . . . . . . . . 2.3 非参数注意力汇聚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388 10.2.4 带参数注意力汇聚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389 10.3 注意力评分函数 . .

Alibaba. W r i t e h e r e S o m e t h i n g a b o u t 01 Apache RocketMQ 简介 02 云原生时代的 RocketMQ 03 借力 APISIX 构建云原生接入体系 CONTENT Apache RocketMQ 简介 01 业务消息领域挑战 • 核心链路，稳定性要求高、时延敏感 • 容量峰值具有随机性，弹性要求高 • 普通云盘 ESSD 云盘 SA TA 独占/混部/独立交付…… • 集群节点异常成为常态 • 依赖服务随时可能在进行迁移或重启 • 对弹性的要求开始从物理资源变为逻辑资源 • IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路，膨胀的技术栈 ……. 面向失败 b o u t 借力 APISIX 构建云原生接入体系 03 RocketMQ Gateway • logger • limit-count • 安全 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系 借力 APISIX 构建云原生接入体系

目标：以研发团队为中心，在端到端流程串联、流程自动化、度量精化、质量增强、资源自助化几个重点方面发力， 打造研发管理平台，提供具备快速交付、高质量、过程透明、可度量的IT研发服务供应链。 证券业务的复杂性： 证券业务种类多，业务规则复杂，业 务链条长，业务发展快速，监管严格， 面向客户类型多，证券业务的多样性 和复杂性带来了IT建设和快速响应支 持的压力 行业供应商能力僵化倒逼： 行业信息系统服务商丰富，技术能力强， 已经行不通 数字化战略的导向： 基于行业的深度竞争以及公司业务的快速 发展，证券行业这几年纷纷加大了IT建设 投入，并提出数字化转型的战略，IT的自 主研发实力代表IT自主可控的核心竞争力， 是业务开展的速度、广度以及深度的保证， 这恰恰是行业所缺失的 IT规模扩展带来的管理问题： 近年证券行业的IT规模不断扩展，特别是在自 研领域，系统建设模式逐步转变为自主研发、 合作研发为主，开发团队规模逐渐壮大，安信 Bitbucket Svn 代码管理 构建与依赖 单元测试 代码扫描 安全 AWVS Burp Suit NPM Jacoco 发布 ITIL 1 ◼ 自主可控，又有核心竞争力 ◼ 高成本，高投入 自研 2 ◼ 经过长期积累 ◼ 可能会水土不服 ◼ 定制成本高 成熟产品 3 ◼ 基于原有经验积累 ◼ 快速补齐能力短板 基于开源及商业工具自建 ⚫ 工具平台建设初期方案选择

基于 KUBERNETES 的 容器器 + AI 平台 如何助⼒力力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider kubeflow/tf-operator • 定义 TFJob Spec (CRD) • 跟踪 TensorFlow 任务运⾏行行状态 • ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI ⼯工作流 • 探索开发 • 线上运⾏行行 关注并回复 kubecon18

支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源 现、积极贡献联邦集群、亲和反亲和等重要特性。 华为CCE在裸金属容器集群、windows容器、集群高可用、自动化运维、容器网络/存储、异构计算（ARM、GPU、FPGA）能力方面具有差 异化竞争力优势。 国内首发裸金属容器应对游戏高性能场景；独家提供ARM容器服务支撑低成本APP测试场景 全球首发云容器实例服务CCI ：更快的弹性，更高的资源利用率；国内首发windows容器、帮助企业实现海量Windows应用轻松容器化上云