GRU units and FC layers - 24kHz sampling frequency requires 40us sampling net runtime - First PyTorch model used a 3,400us sampling net runtime Image from LPCNetExit, Pursued By A Bear - 3400us (baseline) (baseline), 40us (target) - 85x speedup - Uh ohEnter, TVM and model co-design - PyTorch operator overhead makes interpreter infeasible - Reduce FLOPs with block-sparsified weight matrices - not trades off icache/ dcache - also available today in FBGEMMPyTorch and TVM - Lots of opportunity in PyTorch - Graph optimization - Existing fusion infrastructure fairly limited (CUDA-only, injective-only)

项目，Java (以及基于 JVM 的 Scala)是绝对主力，比如大家耳熟能详的 Hadoop, HBase, Spark 等，而开源的 AI 框架类项目，如：TensorFlow, PyTorch, MindSpore 等，则主要 由 Python 语言所构成。未来，这两大语言还将持续在各自擅长的领域发光发热。 Du Junping: Python and Java go hand familiar Hadoop, HBase, Spark, etc., while open source AI framework projects, such as TensorFlow, PyTorch, MindSpore, etc., are mainly composed of the Python language. These two languages will continue Development Framework AI 开发框架使用情况中，意料之中地，Tensorflow 和 PyTorch。 Among the AI development frameworks used, unsurprisingly, are Tensorflow and PyTorch. 3.18 云原生组件/工具 / 3.18 Cloud-native components/tools

Algolia 和 Elasticsearch 的轻量替代方案。 硬核发版 最硬核、最极客的年度发版汇总！ PyTorch 2.0 正式发布 PyTorch 2.0 版本包括稳定版的 Accelerated Transformers（以前称为 Better Transformers）。PyTorch 是一个 Torch7 团队开源的 Python 优 先的深度学习框架。 21 / 87 1 1 Slint 工具包，用于为桌面和嵌入式设备构建原生用户界面。 Python 深度学习框架 Keras 3.0 一统江湖 Keras 3.0 被誉为改变了机器学习游戏 规则：不仅支持 TensorFlow、PyTorch、 Jax 三大框架作为后端，还能在它们之 间无缝切换，甚至混合使用。 据 称 有 250 多 万 开 发 者 都 在 使 用 Keras 框架。 Keras 之父 François Chollet CUDA 和 Google Cloud TPU 均是此类工具。 这类工具通常由开源社区支持和维护，提供了灵活、可扩展的工具和 库来构建和训练大型机器学习模型，如 TensorFlow 和 PyTorch 和 Hugging Face Transformers 等。 TensorFlow 架构图 (图源：https://www.geeksforgeeks.org/architecture-of-

Java ( 以及 基于 JVM 的 Scala) 是绝对主力，比如大家耳熟能详的 Hadoop, HBase, Spark 等，而开源的 AI 框架类项目， 如：TensorFlow, PyTorch, MindSpore 等，则主要由 Python 语言所构成。未来，这两大语言还将持续在 各自擅长的领域发光发热。 段夕华：随着世界全面进入大数据和 AI 时代，Python 相比较 Java 毫无疑问的是，Git 一枝独秀，具有绝对性优势。SVN、TFS、CVS 目 前仍有不少参与者在使用。 3.17 AI 开发框架 AI 开发框架使用情况中，意料之中地，Tensorflow 和 PyTorch。 2021 中国开源年度报告 27 3.18 云原生组件 / 工具 云原生组件 / 工具的使用中，Kubernetes 一枝独秀。 4 开源社区参与现状 在填写问卷的 537 人中，约有 7 firstcontributions/first- contributions 15056.680154689000 20255 7828 106 8730 191 7037 8 pytorch/pytorch 15021.932022448100 15618 80426 5336 12639 36423 476 9 dotnet/runtime 13663.644119775200 7816

AI框架的开源趋势 AI现已经成为最受关注的开源领域，部分得益于海外厂商对AI框架开源的促进。2015年是AI开源的重要一年，TensorFlow、 MXNet、Keras于该年先后开源，PyTorch紧随其后，在2016年也宣布开放。这一系列动作使得国内AI开发者可无障碍获取成熟的 海外框架，海外框架由此获得先发优势。目前来看，海外框架在国内的使用率仍然领先。2016年底，以飞桨为代表的国产AI框架陆 18% 17% 22% 22% 22% 29% 33% 34% 45% 其他 元宇宙 操作系统 数据库 大前端 云原生 大数据 编程语言 AI 2015 PyTorch 34% TensorFlow 30% MindSpore 11% PaddlePaddle 11% OneFlow 3% MXNet 2% MegEngine 2%

Your chip can run any models Your compiler (TVM) supports multiple frontends (e.g., TensorFlow, PyTorch, MXNet) Non Maximum Suppression ResNet-50 Dense Your Chip Your Chip© 2019, Amazon Web Services

directly comparable but important for grounding  E.g.,: for SystemDS  R, Julia, Spark, TensorFlow, PyTorch  Problem of Weak Baselines  Authors want to show improvements  Successive improvements over

CUDA 和 Google Cloud TPU 均是此类工具。 这类工具通常由开源社区支持和维护，提供了灵活、可扩展的工具和 库来构建和训练大型机器学习模型，如 TensorFlow 和 PyTorch 和 Hugging Face Transformers 等。 TensorFlow 架构图 (图源：https://www.geeksforgeeks.org/architecture-of-

研究和应用的核心驱动力。开源算法的共享和复用使得研究者和开发者能够 在前人工作的基础上迅速迭代和创新。以下是一些在这一轮 AI 大模型浪潮中扮演重要角色的的 开源算法及其在大模型训练中的角色： TensorFlow 和 PyTorch：这两个深度学习框架是当前最流行的开源工具，提供了强大的计 算能力和灵活的模型构建方式。它们为大模型的训练和部署提供了基础设施支持，使得复杂的 AI 模型得以实现。 Transformer