[探索]聊天机器人 吴金龙@爱因互动 2017年04月17日 吴金龙 • 2005~2010：北大数学院 • 推荐系统 • 2010~2011：阿里云 • PC/手机输入法 • 2011~2017：世纪佳缘 • 用户推荐、网警等数据系统 • 技术部负责人 • 一个AI负责人 • 2017~现在：爱因互动 • 技术合伙人、算法负责人 • ChatbotsChina发起人 • •Microsoft Cortana •微软小冰 2016 •Facebook Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot：检索问答系统 IR-Bot：深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot：深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Tracking (DST) • 对话状态应该包含持续对话所需要的各种信息 • DST问题：依据最新的系统和用户动作，更新对话状态 • Q：如何表示对话状态 状态追踪 (DST) 旧状态 用户动作 系统动作 新状态 策略优化 Dialogue Policy Optimization (DPO) • 系统如何做出反馈动作 • 作为序列决策过程进行优化：增强学习 Milica Gašić (2014)

� ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1（基本特点） 1.1 User与推荐系统交互，7*24⼩时 流式学习 1.2 Item和User新增，离开/遗忘， Embedding空间动态变化。 短期命中的⾼频key随时间缓慢变化 少量的⾼频key占据了主要访问需求

化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 证、ISO9001质量管理体系认证、双软认证等最全面的企业服务资质。 权威认证的人工智能服务，可充分保障客户业务实践与业务安全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 1950S 1980s 1990s 2006~至今 以机器翻译为开端，作 为早期尝试，但不是很 成功 基于统计机器学习技术 及语料库，使用统计模 型，NLP发展产生革新 多数自然语言处理系统 基于规则，人工修订等 方式，包括问答、翻译、 搜索等 深度学习起步、发展及 成熟，同样影响NLP领 域，从传统的机器学习 逐渐过渡到深度学习 NLP技术层次 日常工作中各类常见的文本形式 文本挖掘的一些常见应用需求 风 险 智 能 审 核 功 能 达 观 智 能 文 档 审 阅 平 台 错 误 智 能 纠 正 功 能 文 档 智 能 比 对 功 能 常见应用场景 智能文档审阅系统：抽取核心算法 智能文档审阅系统：段落分析 PDF格式文本数据丢失段落信息 使用深度学习进行段落分析 生成式摘要 生成式摘要的深度学习网络基本结构 l 编码器/解码器结构，都是神经网络结构 l 输入的原文经过编码器编码变成向量

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库 Blink  场景丰富: 图像/视频/推荐/搜索  大数据+大模型: Model Zoo  跨场景+跨模态  开箱即用: 封装复杂性  白盒化, 可扩展性强  积极对接开源系统+模型 FTRL SGD Adam Solutions Librarys 优势: Components Framework EasyVision EasyRec GraphLearn EasyTransfer

内容但有一定的诱惑性，建议进行人工审 核； Ø 正常图片：不含不良内容的正常图片。 色情图片 性感图片 SACC2017 内容审核 – 图像暴恐内容识别 l 识别应用：腾讯云，微云，QQ群 Ø 对于输入的图片，系统将会通过对其内容的识别 分析给出其属于武装份子、管制刀具、枪支弹药、 人群聚集、火灾、血腥、极端主义或恐怖主义标 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 银行 卡、车牌、名片等等多个垂直场景 l 证件类OCR识别 l 落地应用 Ø 手Q名片识别，广点通营业执照识别： 在手Q的扫一 扫入口中，可以体验。 Ø Webank身份证识别，主播实名认证： 方便用户快速 的输入证件信息。 SACC2017 OCR识别 – 通用场景和手写 Ø 手写体手机/电话识别准确率可达99%以上。突破业界复杂手写体 识别的难题。 Ø 通用场景准确率和召回率均在88%以上。 含的 各类图标 l 烟雾，吸烟识别 Ø 基于视频直播监管需求， 提供吸烟，烟雾，涉嫌吸毒 等场景的识别能力 SACC2017 深度学习介绍 深度网络训练选择 加快训练 - 分布式训练系统 图像海量数据的积累 02 深度学习技术介绍 加快计算 - 深度学习算法加速 RPN SACC2017 技 术 发 展 应 用 突 破 1956 达特茅 斯会议 标志AI 诞生 1957

该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。 效果示例 如：经测评，当搜索词为“松下筒灯”， 易购网站返回6个相关结果， 美研方案返回64个相关结果 现有方案 原型系统 16 • 首先进行词语的矢量化 • 词语矢量作为各种深度学习模型的输入值 • 示例深度学习架构： dual RNN ( dual LSTM) • 利用用户反馈数据来补充训练样本 正在进行的探索 --Satya Nadella, Microsoft CEO 18 应用示例：苏宁易购机器人Sunny，百度度秘，Amazon Echo 19 问题分析与用户分析 网页前端 移动应用前端 系统架构图 会话分析 用户意图识别 检索模块 段落或句 子检索 文档检 索 专业检索接口： 商品参数接口 商品价格接口 商品信息接口 商品卖点接口 促销活动接口 订单信息接口 语法语义分析 适 就 退 不然 真 不 合 理]; a : [亲 ] q : [你 现在 到 unk 镇 哪里 提 就 不能 帮 我 查 下 吗]; a : [这个 是 苏宁 发货 的] q : [我的 增 票 认证 已经 成功 为什么 还 没有 给 我 寄 发票 呢]; a : [您好 请问 有 什么 可 以 帮 您 的 呢] q : [可以 有 人员 上门 帮忙 安装 调试 吗]; a : [安装 师傅 上门

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • 人力调度派单峰值为每人 800单/天 调度 系统 3.0 云端分组派单模式 A 组 B 组 • 系统综合考虑各因素进行 订单分组，然后再指派给 合适的骑士 订单云端分组 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单

未来都市 - 智慧城市与基于深度学习的 机器视觉 演讲者／陈宇恒 概要 • 我们是谁 • 智慧城市中机器视觉应用 • 我们是如何构建城市级AI+智慧城市系统 • 大规模深度学习实战系统的几点经验 l商汤科技联合创始人，架构师 lC++/Go/Rust/Ruby开发者 l多个开源项目贡献者 lNIPS国际会议论文作者 @chyh1990 2017.6 2016.3 2015 l10-100 Billion级别深度学习特征检索 - PB以上级别数据库存储 - 100PB级别抓拍图片存储 - 每秒万次并发检索请求 l大规模推广应用 l某种程度上说，城市内所有市民都是系统的用户 深度学习算法发展为平台系统赋能 首次超过人眼 2014 2015 98.52% 97.35% 97.45% 人眼 DeepID时代 99.55% 99.15% 30万张人脸训练 DeepID3 1/100万 错误概率 95% 通过率 6000万张人脸训练 2016 2017 What’s Next? 2018 自我演化的异构人工智能云 云原生的深度学习数据闭环 自进化深度学习系统 高度定制的 图片、特征仓库 深度学习 应用服务 场景相关业务 数据清洗-查询 深度学习训练平台 模型测试与验证 深度学习算法在产品应用中的挑战 • 深度学习算法也需要“深度”学习业务需求

、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些进步，我们现在可以制造比以往任何时候都更自主的汽车（不过 可能没有一些公司试图让大家相信的那么自主），可以自动起草普通邮件的智能回复系统，帮助人们从令人 压抑的大收件箱中解放出来。在围棋等棋类游戏中，软件超越了世界上最优秀的人，这曾被认为是几十年后 的事。这些工具已经对工业和社会产生了越来越广泛的影响，改变了电影的制作方式、疾病的诊断方式，并 描述了深度学习计算的各种关键组件，并为我们随后 实现更复杂的模型奠定了基础。接下来，在 6节 和 7节 中，我们介绍了卷积神经网络（convolutional neural network，CNN），这是构成大多数现代计算机视觉系统骨干的强大工具。随后，在 8节 和 9节 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 cd pytorch 注意：如果没有安装unzip，则可以通过运行sudo apt install unzip进行安装。 安装完成后我们可以通过运行以下命令打开Jupyter笔记本（在Window系统的命令行窗口中运行以下命令前， 需先将当前路径定位到刚下载的本书代码解压后的目录）： jupyter notebook 9 https://developer.nvidia.com/cuda‐downloads

足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 和 Geoffrey Hinton 等人将 BP 算法应用 在多层感知机上；1989 年 Yann LeCun 等人将 BP 算法应用在手写数字图片识别上，取得 了巨大成功，这套系统成功商用在邮政编码识别、银行支票识别等系统上；1997 年，现在 应用最为广泛的循环神经网络变种之一 LSTM 被 Jürgen Schmidhuber 提出；同年双向循环 神经网络也被提出。 遗憾的是，神经网络的研究随着以支持向量机(Support