4 路透社新闻主题分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 12.5 MNIST 手写字符数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 12.6 Fashion-MNIST 时尚物品数据集 compile 方法完成的。它接收三个参数： • 优化器 optimizer。它可以是现有优化器的字符串标识符，如 rmsprop 或 adagrad，也可以 是 Optimizer 类的实例。详见：optimizers。 • 损失函数 loss，模型试图最小化的目标函数。它可以是现有损失函数的字符串标识符，如 categorical_crossentropy 或 mse，也可以是一个目标函数。详见：losses。 mse，也可以是一个目标函数。详见：losses。 • 评估标准 metrics。对于任何分类问题，你都希望将其设置为 metrics = ['accuracy']。 评估标准可以是现有的标准的字符串标识符，也可以是自定义的评估标准函数。 # 多分类问题 model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])

4.2 有隐状态的循环神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 8.4.3 基于循环神经网络的字符级语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 315 8.4.4 困惑度（Perplexity） . . . . . . . 如果我们使用macOS，假设Python版本是3.9（我们的测试版本），将下载名称包含字符串“MacOSX”的bash脚 本，并执行以下操作： # 以Intel处理器为例，文件名可能会更改 sh Miniconda3-py39_4.12.0-MacOSX-x86_64.sh -b 如果我们使用Linux，假设Python版本是3.9（我们的测试版本），将下载名称包含字符串“Linux”的bash脚 本，并执行以下操作： 虽然回归模型可以很好地解决“有多少”的问题，但是很多问题并非如此。例如，一家银行希望在其移动应 用程序中添加支票扫描功能。具体地说，这款应用程序能够自动理解从图像中看到的文本，并将手写字符映 射到对应的已知字符之上。这种“哪一个”的问题叫做分类（classification）问题。分类问题希望模型能够预 测样本属于哪个类别（category，正式称为类（class））。例如，手写数字可能有10类，标签被设置为数字0～

合，伤害模型的泛化能力 (Goodfellow, Bengio, & Courville, 2016)，如图 3.8(c)所示。 ? ? ? ? ? ? （a）表达能力偏弱 （b）表达能力与数据模态匹配 （c）表达能力过强 图 3.8 模型表达能力与数据模态示意图 选择一个合适容量的模型非常重要，目前所采用的多神经元模型仍是线性模型，只有 一层，表达能力偏弱，类似于图 3.8(a)的情况，接下来将扩大模型容量来解决这两个问 张量的基础操作方法十分重要。只有掌握了这些操作方法，才能随 心所欲地实现各种复杂新奇的网络模型，也才能深刻理解各种模型算法的本质。 4.1 数据类型 首先来介绍 PyTorch 中的基本数据类型，包含数值类型和布尔类型。虽然字符串类型 在 Python 语言中使用频繁，但是机器学习主要以数值运算为主，因此 PyTorch 并没有对字 符串类型单独提供支持。 4.1.1 数值类型 数值类型的张量是 PyTorch 每个点的特征长度。 考虑自然语言处理(Natural Language Processing，简称 NLP)中句子的表示，如评价句 子的是否为正面情绪的情感分类任务网络，如图 4.3 所示。为了能够方便字符串被神经网 络处理，一般将单词通过嵌入层(Embedding Layer)编码为固定长度的向量，比如“a”编码 为某个长度 3 的向量，那么 2 个等长(单词数量为 5)的句子序列可以表示为 shape

搜索广告背景知识 信息需求 用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计 L.X Meng, Y.Li, M.Y Liu, P Shu. Skipping Word: A Character-Sequential Representation based CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 查询日志 点击日志 查询特征 广告特征 匹配特征 线性模型 非线性模型 Data Feature Model 线上Server CTR预估 Rank Online 特征抽取 CTR预估涉及技术 CTR预估 数据 模型 平台

• 如何将不同子序列上的相同特征点高效地匹配上？ • 如何高效地进行全局优化，消除重建漂移问题？ VisualSFM 结果 ENFT：高效的非连续帧特征跟踪 基于两道匹配的连续帧跟踪 • 抽取SIFT特征 • 第一道匹配：比较描述量 Global distinctive 平面运动分割 • 估计若干个平面运动 • 使用第一道匹配得到的内点匹配对（inlier matches） Alignment t H 第二道匹配 • 根据估计的平面运动进行匹配 Epipolar constraint Homography constraint 匹配结果比较 第一道匹配 (53个匹配对) 直接极线上搜索 (增加了11个匹配对) 第二道匹配 (增加了346个匹配对) 非连续帧上的特征点轨迹匹配 • 快速匹配矩阵估计 • 检测有公共内容的子序列进行特征轨迹匹配 快速匹配矩阵估计 • 每个轨迹有一组描述向量 每个轨迹有一组描述向量 • 特征轨迹描述量 • 采用分层的K-means方法进行轨迹描述量聚类 快速匹配矩阵估计 非连续特征轨迹匹配 • 同时进行图像对的特征匹配和优化匹配矩阵 • 根据选择的图像对的特征匹配结果对匹配矩阵进行优化； • 根据更新的匹配矩阵更可靠地选择出有公共内容的图像对进行特征匹配。 大尺度运动恢复结构的难点 • 全局集束调整（Global Bundle Adjustment）

根据业 务需求优先分配指定订单，其他的则根据KM算法找到骑士和 订单的最优分配方案 KM算法 （1） 初始化可行标杆 （2） 用匈牙利算法寻找完备匹配 （3） 若未找到完备匹配则修改可行标杆 （4） 重复（2）（3）直到找到相等子图的完备匹配 供需平衡 13 5.1 配送时长预估模型 • 基于现有状况、订单增速、消 化速度、天气、当前手段等多 维特征，使用XGBoost模型回 归预测未来五分钟进单的平均 供需平衡 14 5.2 单量调控模型 • 通过价格平衡未来的进单量 和系统可承载的单量 • 基于GBRT对未来进入单量的 实时预测 • 贪心算法求解系统最佳承载 单量 • 根据当前系统状态匹配最佳 的溢价手段使之回归至最大 可承载单量的调控模型 • 在供需失衡之时，实施最有 效的调控手段 5 总结—外卖订单智能调度要解决的核心问题 借助机器学习与深度学习实现，骑士到店时 间、等餐时间、骑士到用户时间、交付用户 时间等配送全流程节点时间预估 动态规划最优配送路线，且合理并单，以最 低的配送成本最大化满足用户配送体验。 建立配送成本及用户体验的评估模型，并基于多 场景多维度权衡骑士和待分配订单匹配程度 依据评价模型得出的订单和骑士匹配程 度，全局最优进行整体调度分配 借助机器学习实现精准的配送时长预估，预 测不同价格杠杆的效果，满足用户体验的情 况下，最大化的承载适合的单量 15 调度系统算法 1 2

• 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 将搜索词和商品全部数值矢量化， 将文字匹配转化为数值矢量计算  词语矢量化是进一步进行各种深度学习的基础。 • 矢量化模型介绍  Mikolov(Google员工)等人2013发表了两篇关于Word2Vec的文章， 产品类别过滤 产品频率过滤 矢量转换回商 品 14 原型评测结果 矢量化搜索引擎与易购传统引擎搜索效果对比 （2016-07-25测试结果） 15 • 该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。 效果示例 如：经测评，当搜索词为“松下筒灯”， 易购网站返回6个相关结果， 美研方案返回64个相关结果 现有方案 原型系统 16 • 首先进行词语的矢量化

normalize=True, tz='Asia/Hong_Kong') 25 时间序列的频率、偏移量 默认生成的时间序列数据是按天计算的，即 频率为“D”。 • “D”是一个基础频率，通过用一个字符串 的别名表示，比如“D”是“day”的别名 。 • 频率是由一个基础频率和一个乘数组成的 ，比如，“5D”表示每5天。 26 时间序列的频率、偏移量 通过一张表来列举时 间序列的基础频率。 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 33 创建时期对象 pd.Period(2018) 创建Period类对象的方式比较简单，只需要在构造 方法中以字符串或整数的形式传入一个日期即可。 Period类表示一个标准的时间段或时期，比 如某年、某月、某日、某小时等。 pd.Period('2017/6') 34 创建时期对象 Period对象能够参与数学运算。如果Period Period对象1 Period对象2 ... Period对象N 38 创建时期对象 除了使用上述方式创建PeriodIndex外，还 可以直接在PeriodIndex的构造方法中传入 一组日期字符串。 str_list = ['2010', '2011', '2012'] pd.PeriodIndex(str_list, freq='A-DEC') 39 创建时期对象 DatetimeIndex是用来指代一系列时间点

• conitnues特征 • one-hot 表示 • 假设检验方式 • 相关系数评估 • 特征组合 • GBDT+互信息——有效挖掘 非线性特征及组合 皮尔逊相关系数特征评估 标签匹配度特征相关系数特征评估 样本采集 Ø 存在问题 • 头部效应 • 实时反馈类收集与在线存在差异性 Ø 解决方案 • 正负样本比例严重失衡 • 对头部曝光进行降采样，长尾曝光上采样 • 数据对比分析 算法架构 互动行为 点击行为 阅读行为 能力标签 兴趣标签 亲密度 自然属性 账号属性 用户特征 关键词 类型属性 topic 内容标签 内容质量 内容特征 组合特征 标签匹配度 用户互动率 协同特征 实时互动率 app互动率 微博内容 关注数据 用户信息 视觉标签 打码日志 社交关系 用户特征 发博流 互动流 曝光流 模型服务 模型训练 模型优化

Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot：检索问答系统 IR-Bot：深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot：深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Learning Task-Bot: 任务对话机器人 Task-Bot: task-oriented