方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么

实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂 图像 搜索 推荐 语音 视频理解 NLP 广告 CNN RNN GNN MLP Tensorflow PyTorch Parameter Server Standard Solutions Continuous Optimization: Active learning Data Label Model Serving CV / NLP解决方案: EAS Web App Mobile App On-prem System 3 1 2 证件扫描 活体检测 人脸比对 • 卡证OCR • 人脸检测 • 活体检测 •人脸比对 eKYC eKYC Server eKYC SDK/API  多语言、国际化  多种证件版式  准确率领先同类产品  集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec GraphLearn Alink 排 序 模 型 模型训练评估 PAI-EAS – 模型推理 model1

业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 盖80%以上的案例 Ø 腾讯云，承担每天数亿的图像审核， 已经 累计支持上百家客户。 Ø 微云，QQ群，支持视频识别的解决方案， 成熟灵活的产品方案，帮助业务扫除掉互 联网暴力、恐怖内容，有效的降低业务风 险。 l 暴恐识别技术 武装份子 管制刀具 枪支弹药 人群聚集 火灾 血腥 极端主义、恐怖主义标识 SACC2017 xx-arm-gpu-sdk.c xx-android-arm.c xx-randroid-sdk.java xx-ios-arm-sdk.m xx-x86-sdk.cpp Rapidnet : 深度网络应用的解决方案 • 将深度网络SDK生成，分为解析，编译，运行三个阶段 • 一键生成深度学习SDK，一个模型到处应用 加快应用速度 - RapidNet Ncnn ： 移动端前向网络开源框 https://github

工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 目录 • 美团超大规模模型场景简介 AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； • 提供从召回到排序全流程的模型解决方案，为业务提供最佳实践； • 提供系统的平台化工具，为用户提供易用的界面操作； MLX模型能力 MLX平台架构 美团推荐场景的应用 漏斗模型 推荐的漏斗模型 候选集 召回 粗排 精排 策略漏斗模型 数千 数百 千万 展位 数十 • 模型的设计 • 样本&特征的设计 • 模型的通路 模型召回解决方案 • 基于双塔的模型召回架构  基于用户和item的DNN结构  产出用户和item两侧向量 • 基于ANN的向量相似度检索  Item侧离线计算，形成ANN词表  用户侧向量实时计算，通过ANN找出相

； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中 ai/t/2089 目录 15 16 目录 1 引言 时至今日，人们常用的计算机程序几乎都是软件开发人员从零编写的。比如，现在开发人员要编写一个程序 来管理网上商城。经过思考，开发人员可能提出如下一个解决方案：首先，用户通过Web浏览器（或移动应 用程序）与应用程序进行交互；紧接着，应用程序与数据库引擎进行交互，以保存交易历史记录并跟踪每个 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详 编写一个应用程序，接受一张图像，识别出该图像所包含的人，并在每个人周围绘制轮廓； • 编写一个应用程序，向用户推荐他们可能喜欢，但在自然浏览过程中不太可能遇到的产品。 在这些情况下，即使是顶级程序员也无法提出完美的解决方案，原因可能各不相同。有时任务可能遵循一种 随着时间推移而变化的模式，我们需要程序来自动调整。有时任务内的关系可能太复杂（比如像素和抽象类 别之间的关系），需要数千或数百万次的计算。即使人类的眼

现在，这个量化后的模型可以直接通过 llama.cpp 运行。 18 Chapter 1. 文档 Qwen 1.9.2 利用 AWQ scales 来量化你的模型 要提升量化模型的质量，一种可能的解决方案是应用 AWQ scales。具体操作步骤如下：首先，在使用 AutoAWQ 运行 model.quantize() 时，请务必记得添加 export_compatible=True 参数，如下所示： 可用性以及受管理的执行过程。其特性包括： • 通过跨区域和跨云充分利用多个资源池，以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot 在各区域和云平台中为您挑选最便宜的资源。无需任何托管解决方案的 额外加价。 • 将服务扩展到多个副本上，所有副本通过单一 endpoint 对外提供服务 • 所有内容均保存在您的云账户中（包括您的虚拟机和 bucket） • 完全私密 - 没有其他人能看到您的聊天记录

GBDT+互信息——有效挖掘 非线性特征及组合 皮尔逊相关系数特征评估 标签匹配度特征相关系数特征评估 样本采集 Ø 存在问题 • 头部效应 • 实时反馈类收集与在线存在差异性 Ø 解决方案 • 正负样本比例严重失衡 • 对头部曝光进行降采样，长尾曝光上采样 • 负样本进行下采样 • 后端样本预采样 模型评估 Ø 离线评估 • AUC / wAUC Ø 在线评估 •

模型本身也看做一个抽象特征 • 模型特征依赖于其它特征，通过计算得到新的特征 • 模型特征输出可作为CTR，也可作为特征为其它模型使用 • 限定ModelFeature的计算顺序，即可实现bagging/模型交叉等功能 解决方案（引入ModelFeature的概念） • 数据一致性 • 流程稳定 关键点 模型融合 PV Click Session Sample OneHot 特征 LR Train

Chitchat-Bot（成熟度： ） • 开域聊天 • 深度学习在NLP里的新舞台 • 通向强人工智能之路？ 爱因互动 EIN+: 深度定制对话服务 爱因互动 EIN+ • 为企业提供人工智能对话解决方案 • Conversation as a Service Bot应用场景 • 清晰的知识结构和边界 • 非标准化服务，信息不对称 • 能够通过数据积累提升服务质量 • 能够建立知识和技术壁垒

进行了合并，弥补了 PyTorch 在工业部署方面的不足。 目前来看，PyTorch 和 TensorFlow 框架是业界使用最为广泛的两个深度学习框架， TensorFlow 在工业界拥有完备的解决方案和用户基础，但是 TensorFlow 2 和 TensorFlow 1.x 版本并不兼容，导致几乎所有基于 TensorFlow 1.x 开发的算法、框架等都需要修改甚至重 写，因此可以将 TensorFlow 人类目前对于复杂大脑的感知和决策的研究尚处于初步探索阶段，如果只使用一个简 单的线性模型去逼近复杂的人脑图片识别模型，很显然不能胜任。 ❑ 表达能力 表达能力体现为逼近复杂分布的能力。上面的解决方案只使用了少量神经元 组成的一层网络模型，相对于人脑中千亿级别的神经元互联结构，它的表达能力明显 欠缺。 模型的表达能力与数据模态之间的关系如图 3.8 所示，图中绘制了带观测误差的采样 点的 模型，并成功商用于谷歌神经机器翻 译系统(GNMT)。其他的 RNN 变种还有 GRU、双向 RNN 等。我们将在第 11 章详细介绍 循环神经网络原理。 6.7.3 注意力(机制)网络 RNN 并不是自然语言处理的最终解决方案，近年来随着注意力机制(Attention Mechanism)的提出，克服了 RNN 训练不稳定、难以并行化等缺陷，在自然语言处理和图 片生成等领域中逐渐崭露头角，甚至基于自注意力 Self-attention