 构建基于富媒体大数据的弹性深度学习计算平台构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they? 内容审核团队 运营分析团队 AI? Content 分类 检测 分割 跟踪 描述 搜索 分析 … 描述:事件1-XXXX 事件2-XXXX 人物出现:id1, id2 场景二 … 用户行 为 用户数 据 推理结 果 推理服务 数据抽样 和整理 样本 训练 模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow0 码力 | 21 页 | 1.71 MB | 1 年前3 构建基于富媒体大数据的弹性深度学习计算平台构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they? 内容审核团队 运营分析团队 AI? Content 分类 检测 分割 跟踪 描述 搜索 分析 … 描述:事件1-XXXX 事件2-XXXX 人物出现:id1, id2 场景二 … 用户行 为 用户数 据 推理结 果 推理服务 数据抽样 和整理 样本 训练 模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow0 码力 | 21 页 | 1.71 MB | 1 年前3
 动手学深度学习 v2.0ine learning,ML)是一类强大的可 以从经验中学习的技术。通常采用观测数据或与环境交互的形式,机器学习算法会积累更多的经验,其性能 17 也会逐步提高。相反,对于刚刚所说的电子商务平台,如果它一直执行相同的业务逻辑,无论积累多少经验, 都不会自动提高,除非开发人员认识到问题并更新软件。本书将带读者开启机器学习之旅,并特别关注深度 学习(deep learning,DL)的基础 Kaggle Kaggle72是一个当今流行举办机器学习比赛的平台,每场比赛都以至少一个数据集为中心。许多比赛有赞助 方,他们为获胜的解决方案提供奖金。该平台帮助用户通过论坛和共享代码进行互动,促进协作和竞争。虽然 排行榜的追逐往往令人失去理智:有些研究人员短视地专注于预处理步骤,而不是考虑基础性问题。但一个 客观的平台有巨大的价值:该平台促进了竞争方法之间的直接定量比较,以及代码共享。这便于每个人都可以 -------+ 在PyTorch中,每个数组都有一个设备(device),我们通常将其称为环境(context)。默认情况下,所有 变量和相关的计算都分配给CPU。有时环境可能是GPU。当我们跨多个服务器部署作业时,事情会变得更加 棘手。通过智能地将数组分配给环境,我们可以最大限度地减少在设备之间传输数据的时间。例如,当在带 有GPU的服务器上训练神经网络时,我们通常希望模型的参数在GPU上。0 码力 | 797 页 | 29.45 MB | 1 年前3 动手学深度学习 v2.0ine learning,ML)是一类强大的可 以从经验中学习的技术。通常采用观测数据或与环境交互的形式,机器学习算法会积累更多的经验,其性能 17 也会逐步提高。相反,对于刚刚所说的电子商务平台,如果它一直执行相同的业务逻辑,无论积累多少经验, 都不会自动提高,除非开发人员认识到问题并更新软件。本书将带读者开启机器学习之旅,并特别关注深度 学习(deep learning,DL)的基础 Kaggle Kaggle72是一个当今流行举办机器学习比赛的平台,每场比赛都以至少一个数据集为中心。许多比赛有赞助 方,他们为获胜的解决方案提供奖金。该平台帮助用户通过论坛和共享代码进行互动,促进协作和竞争。虽然 排行榜的追逐往往令人失去理智:有些研究人员短视地专注于预处理步骤,而不是考虑基础性问题。但一个 客观的平台有巨大的价值:该平台促进了竞争方法之间的直接定量比较,以及代码共享。这便于每个人都可以 -------+ 在PyTorch中,每个数组都有一个设备(device),我们通常将其称为环境(context)。默认情况下,所有 变量和相关的计算都分配给CPU。有时环境可能是GPU。当我们跨多个服务器部署作业时,事情会变得更加 棘手。通过智能地将数组分配给环境,我们可以最大限度地减少在设备之间传输数据的时间。例如,当在带 有GPU的服务器上训练神经网络时,我们通常希望模型的参数在GPU上。0 码力 | 797 页 | 29.45 MB | 1 年前3
 阿里云上深度学习建模实践-程孟力阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战: 2.模型效果优 化困难 Parameter Server MPI TreeModel SQL MapReduce Blink  场景丰富: 图像/视频/推荐/搜索  大数据+大模型: Model Zoo  跨场景+跨模态  开箱即用: 封装复杂性  白盒化, 可扩展性强  积极对接开源系统+模型 FTRL SGD Adam Solutions Librarys 优势: Components SDK/API  多语言、国际化  多种证件版式  准确率领先同类产品  集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec GraphLearn Alink 排 序 模 型 模型训练评估 PAI-EAS – 模型推理 model1 model2 … PAI-ABTest0 码力 | 40 页 | 8.51 MB | 1 年前3 阿里云上深度学习建模实践-程孟力阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战: 2.模型效果优 化困难 Parameter Server MPI TreeModel SQL MapReduce Blink  场景丰富: 图像/视频/推荐/搜索  大数据+大模型: Model Zoo  跨场景+跨模态  开箱即用: 封装复杂性  白盒化, 可扩展性强  积极对接开源系统+模型 FTRL SGD Adam Solutions Librarys 优势: Components SDK/API  多语言、国际化  多种证件版式  准确率领先同类产品  集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec GraphLearn Alink 排 序 模 型 模型训练评估 PAI-EAS – 模型推理 model1 model2 … PAI-ABTest0 码力 | 40 页 | 8.51 MB | 1 年前3
 QCon北京2018-《未来都市--智慧城市与基于深度学习的机器视觉》-陈宇恒人工智能博士 唯一 深度学习 平台公司 累计融资 全球最大 核心技术 全球领先 商业营收 市占率 行业第一 400余家 大型客户伙伴 共同发展 AI+金融 AI+智慧城市 AI+芯片 AI+无人驾驶 AI+智能手机 AI+医疗图像 AI+智慧城市:以智能安防场景为例 特征向量 AI+智慧城市 2015-2017 l单机、简易分布式人脸检测、跟踪、比对平台 l处理数十路到数百路监控摄像头数据 Billion级别深度学习特征检索 - PB以上级别数据库存储 - 100PB级别抓拍图片存储 - 每秒万次并发检索请求 l大规模推广应用 l某种程度上说,城市内所有市民都是系统的用户 深度学习算法发展为平台系统赋能 首次超过人眼 2014 2015 98.52% 97.35% 97.45% 人眼 DeepID时代 99.55% 99.15% 30万张人脸训练 DeepID3 DeepID2 Next? 2018 自我演化的异构人工智能云 云原生的深度学习数据闭环 自进化深度学习系统 高度定制的 图片、特征仓库 深度学习 应用服务 场景相关业务 数据清洗-查询 深度学习训练平台 模型测试与验证 深度学习算法在产品应用中的挑战 • 深度学习算法也需要“深度”学习业务需求 - 处理特殊输入,如模糊、黑白照片 - 适配具有不同特征的数据源 - 在严肃应用中,客户追求100%准确率,算法性能提升永无止境0 码力 | 23 页 | 9.26 MB | 1 年前3 QCon北京2018-《未来都市--智慧城市与基于深度学习的机器视觉》-陈宇恒人工智能博士 唯一 深度学习 平台公司 累计融资 全球最大 核心技术 全球领先 商业营收 市占率 行业第一 400余家 大型客户伙伴 共同发展 AI+金融 AI+智慧城市 AI+芯片 AI+无人驾驶 AI+智能手机 AI+医疗图像 AI+智慧城市:以智能安防场景为例 特征向量 AI+智慧城市 2015-2017 l单机、简易分布式人脸检测、跟踪、比对平台 l处理数十路到数百路监控摄像头数据 Billion级别深度学习特征检索 - PB以上级别数据库存储 - 100PB级别抓拍图片存储 - 每秒万次并发检索请求 l大规模推广应用 l某种程度上说,城市内所有市民都是系统的用户 深度学习算法发展为平台系统赋能 首次超过人眼 2014 2015 98.52% 97.35% 97.45% 人眼 DeepID时代 99.55% 99.15% 30万张人脸训练 DeepID3 DeepID2 Next? 2018 自我演化的异构人工智能云 云原生的深度学习数据闭环 自进化深度学习系统 高度定制的 图片、特征仓库 深度学习 应用服务 场景相关业务 数据清洗-查询 深度学习训练平台 模型测试与验证 深度学习算法在产品应用中的挑战 • 深度学习算法也需要“深度”学习业务需求 - 处理特殊输入,如模糊、黑白照片 - 适配具有不同特征的数据源 - 在严肃应用中,客户追求100%准确率,算法性能提升永无止境0 码力 | 23 页 | 9.26 MB | 1 年前3
 AI大模型千问 qwen 中文文档评测结果。 1.4. llama.cpp 9 Qwen 1.4.5 在 LM Studio 使用 GGUF 如果你仍然觉得使用 llama.cpp 有困难,我建议你尝试一下 LM Studio 这个平台,它允许你搜索和运行本地的 大规模语言模型。Qwen1.5 已经正式成为 LM Studio 的一部分。祝你使用愉快! 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 LLM、AI 应用以及批量任务的框架,旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括: • 通过跨区域和跨云充分利用多个资源池,以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot 在各区域和云平台中为您挑选最便宜的资源。无需任何托管解决方案的 额外加价。 • 将服务扩展到多个副本上,所有副本通过单一 endpoint 对外提供服务 • Qwen 2 1 - 2 mins ago 1x GCP({'L4': 8}) READY us-east4- �→a 如下所示:该服务现由两个副本提供支持,一个位于 Azure 平台,另一个位于 GCP 平台。同时,已为服务 选择云服务商提供的最经济实惠的加速器类型。这样既最大限度地提升了服务的可用性,又尽可能降低了成 本。 3. 要访问模型,我们使用带有 curl -L (用于跟随重定向),将请求发送到0 码力 | 56 页 | 835.78 KB | 1 年前3 AI大模型千问 qwen 中文文档评测结果。 1.4. llama.cpp 9 Qwen 1.4.5 在 LM Studio 使用 GGUF 如果你仍然觉得使用 llama.cpp 有困难,我建议你尝试一下 LM Studio 这个平台,它允许你搜索和运行本地的 大规模语言模型。Qwen1.5 已经正式成为 LM Studio 的一部分。祝你使用愉快! 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 LLM、AI 应用以及批量任务的框架,旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括: • 通过跨区域和跨云充分利用多个资源池,以获得最佳的 GPU 可用性。 • 把费用降到最低——SkyPilot 在各区域和云平台中为您挑选最便宜的资源。无需任何托管解决方案的 额外加价。 • 将服务扩展到多个副本上,所有副本通过单一 endpoint 对外提供服务 • Qwen 2 1 - 2 mins ago 1x GCP({'L4': 8}) READY us-east4- �→a 如下所示:该服务现由两个副本提供支持,一个位于 Azure 平台,另一个位于 GCP 平台。同时,已为服务 选择云服务商提供的最经济实惠的加速器类型。这样既最大限度地提升了服务的可用性,又尽可能降低了成 本。 3. 要访问模型,我们使用带有 curl -L (用于跟随重定向),将请求发送到0 码力 | 56 页 | 835.78 KB | 1 年前3
 房源质量打分中深度学习应用及算法优化-周玉驰门店平均房源 2.1万 门店 10-25 经纪人熟悉房源 70% 跨店成交占比 1.87亿 房屋 3000万 月活跃用户 • 需要强大的房源质量盘点工具 • 找到好房难度大,成本高 挑战 200万 贝壳全部房源 2019 KE.COM ALL COPYRIGHTS RESERVED 7 目标&价值 平台  提升去化率 经纪人  提升效率和业绩 客户  降低看房成本0 码力 | 48 页 | 3.75 MB | 1 年前3 房源质量打分中深度学习应用及算法优化-周玉驰门店平均房源 2.1万 门店 10-25 经纪人熟悉房源 70% 跨店成交占比 1.87亿 房屋 3000万 月活跃用户 • 需要强大的房源质量盘点工具 • 找到好房难度大,成本高 挑战 200万 贝壳全部房源 2019 KE.COM ALL COPYRIGHTS RESERVED 7 目标&价值 平台  提升去化率 经纪人  提升效率和业绩 客户  降低看房成本0 码力 | 48 页 | 3.75 MB | 1 年前3
 机器学习课程-温州大学-01机器学习-引言scipy.stats 统计函数 69 Python模块-Matplotlib ⚫Matplotlib Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格 式和跨平台的交互式环境生成 出版质量级别的图形 。 通过 Matplotlib,开发者可以 仅需要几行代码,便可以生成 绘图,直方图,功率谱,条形 图,错误图,散点图等。 https://matplotlib0 码力 | 78 页 | 3.69 MB | 1 年前3 机器学习课程-温州大学-01机器学习-引言scipy.stats 统计函数 69 Python模块-Matplotlib ⚫Matplotlib Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格 式和跨平台的交互式环境生成 出版质量级别的图形 。 通过 Matplotlib,开发者可以 仅需要几行代码,便可以生成 绘图,直方图,功率谱,条形 图,错误图,散点图等。 https://matplotlib0 码力 | 78 页 | 3.69 MB | 1 年前3
 机器学习课程-温州大学-01深度学习-引言scipy.stats 统计函数 70 Python模块-Matplotlib ⚫Matplotlib Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格 式和跨平台的交互式环境生成 出版质量级别的图形 。 通过 Matplotlib,开发者可以 仅需要几行代码,便可以生成 绘图,直方图,功率谱,条形 图,错误图,散点图等。 https://matplotlib0 码力 | 80 页 | 5.38 MB | 1 年前3 机器学习课程-温州大学-01深度学习-引言scipy.stats 统计函数 70 Python模块-Matplotlib ⚫Matplotlib Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格 式和跨平台的交互式环境生成 出版质量级别的图形 。 通过 Matplotlib,开发者可以 仅需要几行代码,便可以生成 绘图,直方图,功率谱,条形 图,错误图,散点图等。 https://matplotlib0 码力 | 80 页 | 5.38 MB | 1 年前3
 Keras: 基于 Python 的深度学习库及的次数位居第二。Keras 还被大型科学组织的研究人员采用,特别是 CERN 和 NASA。 2.3 Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比,你的 Keras 模型可以轻松部署在更广泛的平台上: • 在 iOS 上,通过 Apple’s CoreML(苹果为 Keras 提供官方支持)。这里有一个教程。 • 在安卓上,通过 TensorFlow Android runtime,例如:Not TensorFlow 后端 • 微软的 CNTK 后端 • Theano 后端 亚马逊也正在为 Keras 开发 MXNet 后端。 如此一来,你的 Keras 模型可以在 CPU 之外的不同硬件平台上训练: • NVIDIA GPU。 • Google TPU,通过 TensorFlow 后端和 Google Cloud。 • OpenGL 支持的 GPU, 比如 AMD, 通过 PlaidML 权重的约束。 • shared_axes: 激活函数共享可学习参数的轴。例如,如果输入特征图来自输出形状为 (batch, height, width, channels) 的 2D 卷积层,而且你希望跨空间共享参数,以便 每个滤波器只有一组参数,可设置 shared_axes=[1, 2]。 参考文献 • Delving Deep into Rectifiers: Surpassing Human-Level0 码力 | 257 页 | 1.19 MB | 1 年前3 Keras: 基于 Python 的深度学习库及的次数位居第二。Keras 还被大型科学组织的研究人员采用,特别是 CERN 和 NASA。 2.3 Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比,你的 Keras 模型可以轻松部署在更广泛的平台上: • 在 iOS 上,通过 Apple’s CoreML(苹果为 Keras 提供官方支持)。这里有一个教程。 • 在安卓上,通过 TensorFlow Android runtime,例如:Not TensorFlow 后端 • 微软的 CNTK 后端 • Theano 后端 亚马逊也正在为 Keras 开发 MXNet 后端。 如此一来,你的 Keras 模型可以在 CPU 之外的不同硬件平台上训练: • NVIDIA GPU。 • Google TPU,通过 TensorFlow 后端和 Google Cloud。 • OpenGL 支持的 GPU, 比如 AMD, 通过 PlaidML 权重的约束。 • shared_axes: 激活函数共享可学习参数的轴。例如,如果输入特征图来自输出形状为 (batch, height, width, channels) 的 2D 卷积层,而且你希望跨空间共享参数,以便 每个滤波器只有一组参数,可设置 shared_axes=[1, 2]。 参考文献 • Delving Deep into Rectifiers: Surpassing Human-Level0 码力 | 257 页 | 1.19 MB | 1 年前3
 深度学习与PyTorch入门实战 - 01. 初见PyTorchs-part-i-cff0e3841750 静态图 综合评价 PyTorch TensorFlow 1 TensorFlow 2 性能 生态 工业界 学术界 上手难度 易用性 兼容性 发展前景 0 小结 VS PyTorch生态 TorchVision PyTorch能做什么? • GPU加速 • 自动求导 • 常用网络层 1. GPU加速 2. 自动求导0 码力 | 19 页 | 1.06 MB | 1 年前3 深度学习与PyTorch入门实战 - 01. 初见PyTorchs-part-i-cff0e3841750 静态图 综合评价 PyTorch TensorFlow 1 TensorFlow 2 性能 生态 工业界 学术界 上手难度 易用性 兼容性 发展前景 0 小结 VS PyTorch生态 TorchVision PyTorch能做什么? • GPU加速 • 自动求导 • 常用网络层 1. GPU加速 2. 自动求导0 码力 | 19 页 | 1.06 MB | 1 年前3
共 27 条
- 1
- 2
- 3













