Q OctoML Open Source at O〇ctoML TVM Meetup 11/8/2019 Jared Roesch OctoML is a new company building DL deployment solutions using the Apache (incubating) TVM project. A goal is to nurture the TVM community

Growth We Have Not Seen Likes of Before • AI & Work Evolution = Real + Rapid 3 1 2 3 4 5 6 7 8 9-51 52-128 129-152 153-247 248-298 299-307 308-322 # 323-336 OutlineWeekly Active Users, 4/25 Mobile App Monthly Active Users, MM Details on Page 315 AI & Work Evolution = Real + Rapid 8 USA IT Jobs – AI vs. Non-AI Details on Page 302 +448% -9% 1/18 4/25 Source: University of Maryland’s USA IT Job Postings, Indexed to 1/18 (AI = Blue, Non-AI = Green) Details on Page 332 27% 19% 8/23 4/25 % of San Francisco Gross Bookings 34% 0% East Asia & Pacific Sub-Saharan Africa South Asia

LLaMA 1 33B LLaMA 1 65B LLaMA 2 13B LLaMA 2 34B LLaMA 2 70B LLaMA 3 8B LLaMA 3 70B Mistral 7B Mixtral 8x7B Mixtral 8x22B Command R Command R+ Grok-1 DBRX Qwen1.5 32B Qwen1.5 72B LLaMA Position Embedding . . . . . . . . . . . . . . . . . . . . 8 2.1.4 Comparison of Key-Value Cache . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2 DeepSeekMoE: Training Strong Models at Economical Costs v?, (6) o?,? = ?∑︁ ?=1 Softmax?( q? ?,?k?,? √ ?ℎ )v?,?, (7) u? = ??[o?,1; o?,2; ...; o?,?ℎ], (8) where q?,?, k?,?, v?,? ∈ R?ℎ denote the query, key, and value of the ?-th attention head, respectively;

Affiliates. All rights reserved. Quantization Overview • Represent FP32 numbers with a lower-precision INT8 numbers • Integer number stands as a proxy for FP32 number (not a downcast) • Quantized tensor is represented with a scale and a zero point http://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf 𝑟𝑒𝑎𝑙_𝑣𝑎𝑙𝑢𝑒 = 𝑠𝑐𝑎𝑙𝑒 ∗ (𝑞𝑢𝑎𝑛𝑡𝑖𝑧𝑒𝑑_𝑣𝑎𝑙𝑢𝑒 − Quantization Relay Int8 Graph Framework Pre-quantized Graph MXNet Parser TF Parser QNN Graph Using QNN Dialect QNN passes Target-independent Relay passes Target-optimized Int8 Relay Graph Intel x86

Orchestrator> • 7⃣ de´.«Model Routing¬5š›6¦ AI de•„G()µ¶Cš·¸¤> • *˜5MartiancOpenRoutercNot Diamond> • 8⃣ ¡¹gde«Foundational Models¬5bº AI de,»4 AI *+¼½()> • 9⃣ ETL«]^á²2¾¿¬5š›]^¥+CA+,ñ AI *+ÇÀÁ%WO> • * Agent%U[R\]+^Y_`+^Z • App Agent>jk23ø-{"4Ý–,ýAgentd5&‰G:}ú•,6×7C”8,9Œ{#,-0•ùÈGøï,t:ßg{¹LH IÁ%kðFG¾%x>$Œ|û;¨Ð©<&‰=*–[>?@Cñ%µÁ%>Þ#Œk2D<ÕÂ,L’36¦Á%kðGº»J KP-8Þ#ÕÂ> • û•()RPA>AppAgent•ÌQŸ%ã|4AíGmail™Î,XøBCM,)`D¦ 2cÕBzÕÂMa 3cReActJhž$ŒCoTm•º»öB !"#$%Bloomberg*&'()18 !"#$%&'() • ¶+)€5tHIAPPFN¨C5OÄÅk¨´ÇG]^Ç-8PQ°G™Î • ˜†5)RS°TUG=$>WWDCF,V=…M'kÇ©WéXCraig FederighiY{"#Ä#º»GZÍ,[L2\#]GZ^ž_È )RS°TUG=$>`P,Apple Intelligence

. . . . . . . . . . . . 7 3.1.1 核心创新 1：含 R1-Zero 的中间推理模型 . . . . . . . 8 3.1.2 核心创新 2：通用强化学习 . . . . . . . . . . . . . . . 8 3.2 含 R1-Zero 的中间推理模型训练过程 . . . . . . . . . . . . . . 9 3.3 通用强化学习训练过程 一键下载后安装就行，安装过程基本都是下一步。 不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个 软件，然后装上，可以拿着手机扫码下图1直达我的公众号： 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 图 1: 我的公众号：郭震 pull deepseek-r1:1.5b，下载大模型 deepseek- r1 到我们自己的电脑，如下图3所示： 图 3: DeepSeek-r1 下载到本地电脑命令 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 至此在我们本地电脑，DeepSeek

普通人学 AI 指南 作者：郭震 日期：2024 年 6 月 8 日 Contents 1 AI 大模型基础 4 1.1 AIGC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 AGI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.2 无损放大 Upscayl . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.3 背景消除 remove.bg . . . . . . . . . . . . . . . . . . . . . 8 2.2.4 SD (Stable Diffusion) . . . . . . . . . . . . . . . . 8 2.2.5 DALLE3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.6 Midjourney . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 AI 视频工具 . . . . . . . .

CPU 。 Support TFLite ( Open Source and Upstream Master ) 。， Optimize on INT8 & FP32 AiiOS ! 驱动万物智能 Alios TVM @ ARM CPU INT8 * Cache 芍四 Data FO Data FOData … QNNPACK Convolution 。，NHWC layout QNNPACK /NiiOS ! 驱动万物智能 P Cache 浆加 Data FO Data FOData … NHWC L2 da … FL2 da Alios TVM @ ARM CPU INT8 TVM /QNNPACK Speed Up @ Mobilenet V2 @ rasp 3b+ AARCH64 35 2.38 2.00 1.67 1.67 1 124有23152136 2 1.14 am omo oo Convolution Workload Performance AiOS 1驱动万物智能 Alios TVM @ ARM CPU INT8 Depthwise Convolution 。， NHWC layout 。 Using TVM schedule primitive completely, no tensorize 。 Some

(全-2)+o| current plan 1 = int16 * int16 erflow-aware int16 = int8 xint8 ent pl 1=int8 int8 * int8 int32 = int16 1 + int16 x int8 Alibaba Al.Labs 阿里巴巴人工智能实验室 CPU : MTK8167S (ARM32 A35 1.5GHz) Model 140 100 50 0 1 aTF Lite gbit aNCNN 8bit aQNNPACK 8bit aaMNN 8bit TVM Overflow-aware 四ACE Overflow-aware (Assembly) [和| Alibaba AL

计算平台事业部 。TensorCore AutoCodeGen in TVM “。FP16 Mixed-Precision Training on PAI 。INT8 Inference on PAI-Blade 计算平台事业部 COMPUTING PLATFORM TensorCore AutoCodeGen Background the CUDA WUMAA4 4AP1 FP16 or FP32 FP16 or FP32 Background 和 CUDA C half a[16x8] wmma::fragment a[1] a=Afindex] Matching 计算平台事业部 shared/global lecal 印16/int8 - fpl6/ints ecal globalyshared Vocal