 从 Swift 到机器学习 
 - 王巍从 Swift 到 机器器学习 CreateML - Swifter 通向 ML 的⾦金金钥匙 ? 王 巍 (onevcat) 2018.09.15, @Swift Conf. 后移动开发时代 Google Trends: “iOS Develop” WWDC 2013 转变⼀一般都会带来痛苦 如何评价 2017 年年初华为开始「清理理」34 岁以上的职员? 程序员能纯靠技术渡过中年年危机吗? 要 35 岁做不不到管理理就等于失业 我(们)的出路路在哪⾥里里 我(们)的出路路在哪⾥里里 ⼤大前端 React Native Weex ⼩小程序 Flutter 机器器学习 深度学习 计算机视觉 ⾃自然语⾔言处理理 ⻛风格化图像处理理 其余的出路路 区块链 P2P信贷 做个快乐的肥宅 ? 做个快乐的肥宅 I have an idea! App: 普尔亚后援会 识别照⽚片中的普尔亚⼿手势 • 收集到三张照⽚片获得奖励 HOW? 我(们)的出路路在哪⾥里里 ⼤大前端 React Native Weex ⼩小程序 Flutter 机器器学习 深度学习 计算机视觉 ⾃自然语⾔言处理理 ⻛风格化图像处理理 CreateML WWDC 2018 Session 703 https://developer.apple.com/0 码力 | 64 页 | 4.32 MB | 1 年前3 从 Swift 到机器学习 
 - 王巍从 Swift 到 机器器学习 CreateML - Swifter 通向 ML 的⾦金金钥匙 ? 王 巍 (onevcat) 2018.09.15, @Swift Conf. 后移动开发时代 Google Trends: “iOS Develop” WWDC 2013 转变⼀一般都会带来痛苦 如何评价 2017 年年初华为开始「清理理」34 岁以上的职员? 程序员能纯靠技术渡过中年年危机吗? 要 35 岁做不不到管理理就等于失业 我(们)的出路路在哪⾥里里 我(们)的出路路在哪⾥里里 ⼤大前端 React Native Weex ⼩小程序 Flutter 机器器学习 深度学习 计算机视觉 ⾃自然语⾔言处理理 ⻛风格化图像处理理 其余的出路路 区块链 P2P信贷 做个快乐的肥宅 ? 做个快乐的肥宅 I have an idea! App: 普尔亚后援会 识别照⽚片中的普尔亚⼿手势 • 收集到三张照⽚片获得奖励 HOW? 我(们)的出路路在哪⾥里里 ⼤大前端 React Native Weex ⼩小程序 Flutter 机器器学习 深度学习 计算机视觉 ⾃自然语⾔言处理理 ⻛风格化图像处理理 CreateML WWDC 2018 Session 703 https://developer.apple.com/0 码力 | 64 页 | 4.32 MB | 1 年前3
 4 Python机器学习性能优化Python机器学习性能优化 以BERT服务为例例,从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化,取决于热点部分的占⽐比和该部分的加速程度 No Free service-streamer • 请求排队组装成batch,再⼀一起送进GPU • ⼀一个GPU worker只会有⼀一条队列列,最⼤大batch size可控 • 多个GPU worker分布式处理理 • todo:补图 batch predict profile • 有了了service-streamer: ⽹网络服务性能 等价与 本地batch predict的性能 • 再加上正经多线程 model inference optimize • 终于到了了我们直觉的优化部分 • 先补了了补GPU和Cuda的知识 • ⼏几个可以选择的⽅方案: 1. 买更更多更更贵的机器器——fp16、v100、cpu化 2. 优化算法——知识蒸馏 3. 优化实现——jit/TensorRT PyTorch jit • 原理理介绍 • 转化为graph截图 TensorRT0 码力 | 38 页 | 2.25 MB | 1 年前3 4 Python机器学习性能优化Python机器学习性能优化 以BERT服务为例例,从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化,取决于热点部分的占⽐比和该部分的加速程度 No Free service-streamer • 请求排队组装成batch,再⼀一起送进GPU • ⼀一个GPU worker只会有⼀一条队列列,最⼤大batch size可控 • 多个GPU worker分布式处理理 • todo:补图 batch predict profile • 有了了service-streamer: ⽹网络服务性能 等价与 本地batch predict的性能 • 再加上正经多线程 model inference optimize • 终于到了了我们直觉的优化部分 • 先补了了补GPU和Cuda的知识 • ⼏几个可以选择的⽅方案: 1. 买更更多更更贵的机器器——fp16、v100、cpu化 2. 优化算法——知识蒸馏 3. 优化实现——jit/TensorRT PyTorch jit • 原理理介绍 • 转化为graph截图 TensorRT0 码力 | 38 页 | 2.25 MB | 1 年前3
 3 基于Azure的Python机器学习 王大伟基于Azure的Python机器学习 平安金融壹账通大数据研究院 微软MVP 王大伟 目录 CONTENTS Azure与Python 如何用Azure完成机器学习 Azure与自动机器学习 Azure的相关学习资料 Azure与Python 日渐流行的Python TIOBE给出的排行榜是具有权威性质的,是判断语言流行趋势的指标。 TIOBE排行榜的网址是:https://tiobe com/tiobe-index/ 日渐流行的Python 日渐流行的Python 日渐流行的Python 为什么用Python完成机器学习 Python的优势:易学习、大量不断更新的各领域库、尤其适合完成机器学习相关任务。 Python机器学习相关库介绍: Sklearn机器学习地图 Azure是什么? Azure 是一个不断扩展的云计算服务集合。通过 Azure,公司和组织可以加快发展步伐,提高工作 战。 如何用Azure完成机器学习 Azure机器学习 进入Azure服务页面 :https://portal.azure.com/#home Azure机器学习 通过点击“所有服务”,我们可以看到Azure可提供的服务非常多 找到我们本次需要的“AI + 机器学习” Azure机器学习 在“机器学习服务工作区”中可以看到已有的服务 Azure机器学习 选择“添加”按钮,填写相关信息0 码力 | 31 页 | 3.69 MB | 1 年前3 3 基于Azure的Python机器学习 王大伟基于Azure的Python机器学习 平安金融壹账通大数据研究院 微软MVP 王大伟 目录 CONTENTS Azure与Python 如何用Azure完成机器学习 Azure与自动机器学习 Azure的相关学习资料 Azure与Python 日渐流行的Python TIOBE给出的排行榜是具有权威性质的,是判断语言流行趋势的指标。 TIOBE排行榜的网址是:https://tiobe com/tiobe-index/ 日渐流行的Python 日渐流行的Python 日渐流行的Python 为什么用Python完成机器学习 Python的优势:易学习、大量不断更新的各领域库、尤其适合完成机器学习相关任务。 Python机器学习相关库介绍: Sklearn机器学习地图 Azure是什么? Azure 是一个不断扩展的云计算服务集合。通过 Azure,公司和组织可以加快发展步伐,提高工作 战。 如何用Azure完成机器学习 Azure机器学习 进入Azure服务页面 :https://portal.azure.com/#home Azure机器学习 通过点击“所有服务”,我们可以看到Azure可提供的服务非常多 找到我们本次需要的“AI + 机器学习” Azure机器学习 在“机器学习服务工作区”中可以看到已有的服务 Azure机器学习 选择“添加”按钮,填写相关信息0 码力 | 31 页 | 3.69 MB | 1 年前3
 分布式任务系统cronsun@Copyright Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology cron 的局限性 1. 单机 2. 无界面 3. 功能比较简单 4. 多机器的情况下任务维护成本较高 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab cmd1 cmd2 cmd3 ... @Copyright Sunteng Technology 我只是不爱动,不是懒 @Copyright Sunteng Technology 市面上的一些任务系统 1. Azkaban 2. Chronos0 码力 | 48 页 | 1.52 MB | 1 年前3 分布式任务系统cronsun@Copyright Sunteng Technology 分布式任务系统 cronsun 苏创绩 @Copyright Sunteng Technology 目录 01 任务系统 02 分布式任务系统 03 cronsun 04 心得体会 @Copyright Sunteng Technology Part One 01 任务系统 @Copyright Sunteng Technology cron 的局限性 1. 单机 2. 无界面 3. 功能比较简单 4. 多机器的情况下任务维护成本较高 @Copyright Sunteng Technology Part Two 02 分布式任务系统 @Copyright Sunteng Technology 分布式系统的特点 1. 分布性 2. 对等性 3. 并发性 4. 缺乏全局时钟 5. 故障总是会发生 故障总是会发生 @Copyright Sunteng Technology 分布式 cron 分布式crond 分布式crontab cmd1 cmd2 cmd3 ... @Copyright Sunteng Technology 我只是不爱动,不是懒 @Copyright Sunteng Technology 市面上的一些任务系统 1. Azkaban 2. Chronos0 码力 | 48 页 | 1.52 MB | 1 年前3
 Rust分布式账务系统 - 胡宇第三届中国 Rust 开发者大会 Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 Airwalle x 胡宇 Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 关于我们 E2 轮 Fintech 独角兽,业务遍布全球 关于我们: Airwallex 墨尔本 新加坡 伦敦 深圳 香港 北京 旧金山 上海 东京 提供高效,低成本的数字银行服务 关于我们: Airwallex 从设计架构到实现细节 项目介绍 分布式账务系统 Fintech 互联网 正确性 bug= 资损 bug 不可怕,快速迭代 可靠性 丢数据 = 资损 允许数据丢失 性能 超低延迟 + 高吞吐 超高吞吐 交易日志 审计,监管 调试使用 分布式账务系统 Fintech 领域中的软件与互联网软件的不同 需求分析 支付处理: ● 转账 高可用:在部分节点失效的情况下,依旧可以提供正确的 服务 超低延迟:实时交易,超低响应延迟 水平扩展性:利用分布式事务实现钱包集群的的水平扩 展,应对高达 100 万 TPS 的流量 可演化性:业务逻辑与底层 API 解耦,当业务发生改变 时,底层 API 不用改变 分布式账务系统 设计理念 - Rust 是我们可靠的基石 分布式账务系统 存算分离 API 解耦 读写分离 层级账号 Rust ● 事务层与账户层分0 码力 | 27 页 | 12.60 MB | 1 年前3 Rust分布式账务系统 - 胡宇第三届中国 Rust 开发者大会 Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 Airwalle x 胡宇 Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 关于我们 E2 轮 Fintech 独角兽,业务遍布全球 关于我们: Airwallex 墨尔本 新加坡 伦敦 深圳 香港 北京 旧金山 上海 东京 提供高效,低成本的数字银行服务 关于我们: Airwallex 从设计架构到实现细节 项目介绍 分布式账务系统 Fintech 互联网 正确性 bug= 资损 bug 不可怕,快速迭代 可靠性 丢数据 = 资损 允许数据丢失 性能 超低延迟 + 高吞吐 超高吞吐 交易日志 审计,监管 调试使用 分布式账务系统 Fintech 领域中的软件与互联网软件的不同 需求分析 支付处理: ● 转账 高可用:在部分节点失效的情况下,依旧可以提供正确的 服务 超低延迟:实时交易,超低响应延迟 水平扩展性:利用分布式事务实现钱包集群的的水平扩 展,应对高达 100 万 TPS 的流量 可演化性:业务逻辑与底层 API 解耦,当业务发生改变 时,底层 API 不用改变 分布式账务系统 设计理念 - Rust 是我们可靠的基石 分布式账务系统 存算分离 API 解耦 读写分离 层级账号 Rust ● 事务层与账户层分0 码力 | 27 页 | 12.60 MB | 1 年前3
 4 seata-golang 分布式事务框架微信号: scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说,就是 统的不同节点之上。简单的说,就是⼀次⼤的操作由不同的⼩操作组成,这些⼩的操作分布在不同的服务器 上,且属于不同的应⽤,分布式事务需要保证这些⼩操作要么全部成功,要么全部失败。本质上来说,分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题? Demo 演示 整体机制: • ⼀阶段:业务数据和回滚⽇志记录在同⼀个本地事务中提交,释放本地锁和连接资源。 • ⼆阶段: • 提交异步化,⾮常快速地完成。0 码力 | 14 页 | 3.23 MB | 1 年前3 4 seata-golang 分布式事务框架微信号: scottlewis 分布式事务框架 Seata-Golang 刘晓敏 H3C ⽬ 录 Demo 演示 01 Seata 原理 02 Mysql driver 原理 03 Mysql driver 接⼊ 04 TODO & QA 05 分布式事务就是指事务的参与者、⽀持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系 统的不同节点之上。简单的说,就是 统的不同节点之上。简单的说,就是⼀次⼤的操作由不同的⼩操作组成,这些⼩的操作分布在不同的服务器 上,且属于不同的应⽤,分布式事务需要保证这些⼩操作要么全部成功,要么全部失败。本质上来说,分布 式事务就是为了保证不同数据库的数据⼀致性。 什么是分布式事务问题? Demo 演示 整体机制: • ⼀阶段:业务数据和回滚⽇志记录在同⼀个本地事务中提交,释放本地锁和连接资源。 • ⼆阶段: • 提交异步化,⾮常快速地完成。0 码力 | 14 页 | 3.23 MB | 1 年前3
 华为云分布式事务DTM最佳实践servicecomb.apache.org github.com/apache?q=servicecomb 华为云分布式事务DTM最佳实践. 王启军 2 github.com/apache?q=servicecomb servicecomb.apache.org 王启军,华为云PaaS团队架构师,负责微服 务框架的开发。曾任当当网架构师,主导电商平台 架构设计;曾就职于搜狐负责手机微博的研发。 适用广泛性 一般 一般 高 低 产品成熟度 高 高 一般 低 方案对比 6 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务管理中间件 (Distributed Transaction Management,DTM) 7 github.com/apache?q=servicecomb servicecomb.apache0 码力 | 15 页 | 3.10 MB | 1 年前3 华为云分布式事务DTM最佳实践servicecomb.apache.org github.com/apache?q=servicecomb 华为云分布式事务DTM最佳实践. 王启军 2 github.com/apache?q=servicecomb servicecomb.apache.org 王启军,华为云PaaS团队架构师,负责微服 务框架的开发。曾任当当网架构师,主导电商平台 架构设计;曾就职于搜狐负责手机微博的研发。 适用广泛性 一般 一般 高 低 产品成熟度 高 高 一般 低 方案对比 6 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务管理中间件 (Distributed Transaction Management,DTM) 7 github.com/apache?q=servicecomb servicecomb.apache0 码力 | 15 页 | 3.10 MB | 1 年前3
 分布式异地多活架构实践之路业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读) 内容统计指标获取、内容榜单等 读写均衡 混合模式 (多点写,单点读, 单点写,多点读) 非核心业务 老版本兼容服务、运营活动、配置、管 Consumer Hadoop ES Spark kafka Web Web 专线/公网 容量合理规划 客户端 北京 50% 合肥 50% 广州 50% 1 1 2 冗余机器与其他系统复用,弹性伸缩 配套系统支撑 测试场景覆盖 灰度发布上线 机房流量调度 监控覆盖 故障模拟演练 数据恢复 配置平台 服务化平台 日常运维 大纲 • 产品发展中遇到的问题 •0 码力 | 36 页 | 1.66 MB | 1 年前3 分布式异地多活架构实践之路业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读) 内容统计指标获取、内容榜单等 读写均衡 混合模式 (多点写,单点读, 单点写,多点读) 非核心业务 老版本兼容服务、运营活动、配置、管 Consumer Hadoop ES Spark kafka Web Web 专线/公网 容量合理规划 客户端 北京 50% 合肥 50% 广州 50% 1 1 2 冗余机器与其他系统复用,弹性伸缩 配套系统支撑 测试场景覆盖 灰度发布上线 机房流量调度 监控覆盖 故障模拟演练 数据恢复 配置平台 服务化平台 日常运维 大纲 • 产品发展中遇到的问题 •0 码力 | 36 页 | 1.66 MB | 1 年前3
 Building Linux Distribution(Linux 分布式)- 贾晓宇0 码力 | 19 页 | 723.62 KB | 1 年前3 Building Linux Distribution(Linux 分布式)- 贾晓宇0 码力 | 19 页 | 723.62 KB | 1 年前3
 分布式 KV 存储系统 Cellar 演进之路分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部,存储研发团队负责人 • Cellar:分布式KV存储服务 • Databus:数据库变更实时传输服务 • Venus:图片服务 11年毕业于天津大学 11 年到 14 年任职于百度,负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • observer同步强一致 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 存储节点Failover,越快越好? • 数据补全对业务影响 • 机器宕机五分钟,数据补全两小时 节点升级,先切走流量再操作? • 节点流量只能切到有其他副本的节点 • 升级后的节点缺少升级期间的写入 Cellar—节点高可用 Cellar—节点高可用 • 秒级容灾0 码力 | 34 页 | 1.66 MB | 1 年前3 分布式 KV 存储系统 Cellar 演进之路分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部,存储研发团队负责人 • Cellar:分布式KV存储服务 • Databus:数据库变更实时传输服务 • Venus:图片服务 11年毕业于天津大学 11 年到 14 年任职于百度,负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • observer同步强一致 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 存储节点Failover,越快越好? • 数据补全对业务影响 • 机器宕机五分钟,数据补全两小时 节点升级,先切走流量再操作? • 节点流量只能切到有其他副本的节点 • 升级后的节点缺少升级期间的写入 Cellar—节点高可用 Cellar—节点高可用 • 秒级容灾0 码力 | 34 页 | 1.66 MB | 1 年前3
共 439 条
- 1
- 2
- 3
- 4
- 5
- 6
- 44














 
 