开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） 框架使得学习⻔门槛降低：不不需要博⼠士就能做 • 公司培训与⼈人员参与促进发展 外部数据集成与⾃自动化 • ⼯工单系统 • CMDB（资产管理理） • Run Book⾃自动化 • 告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案

当Python遇上FPGA PYNQ开源项目的实践与体会 陆佳华 joshual@Xilinx.com 目录 CONTENTS FPGA 35th Computer Architecture Golden Age PYNQ Open Source Framework How Python helps, really a lot.. FPGA 35th National Inventors

Color Detection Gradient Magnitude Thresholdin g StereoLBM Ø Xilinx并没有专注在机器视觉 算法，HLS中所使用的算法基 本都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个 重构。功能以及接口参数基本 上同原opencv函数保持一致， 方便客户使用。同时适合于 HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

Color Detection Gradient Magnitude Thresholding StereoLBM ➢ Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 ➢ 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP ➢ 这些overlay 库可以 re-use ➢ 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

Color Detection Gradient Magnitude Thresholding StereoLBM Ø Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

com/formulahendry/955.WLB • Speaker @ 2018 微软技术暨生态大会 • CodeLab @ Google Developer Group • Speaker @ 2019 GitHub 中国官方见面会 我开发的插件 Python 与人工智能 “Python的快速发展的一个主要增 长点来自于数据科学、机器学习和 学术研究。 “数据科学和机器学习在各种类型的 公司都逐渐成为主流，而Python成 Machine Learning 开发工具 à Azure Notebook Azure Machine Learning • 拥有不同运算性能的机器 • 降低成本，按需付费 • 支持不同的开源框架：TenserFlow、PyTorch、MXNet 等 Azure Notebook Jupyter Notebook on Azure • 免费 • 全托管 • 无需安装 • 无需配置 container 3. 部署 model 测试 web service 如果我想要更强大的编辑功能呢？ Stack Overflow 2019 开发者调查 Visual Studio Code • 开源 • 跨平台 • 轻量级 • 智能提示 (IntelliSense) • 代码调试 • 内置 Git 支持 • 多语言支持 • 丰富的插件 VS Code 最热门的插件是？ 官宣！全球首秀 Visual

性库和工具包，集成深度学习 的算法封装、数据调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是算法工 程师的必备工具之一。 美国互联网对AI底层技术战略性投入力度较大，但中国的AI产业主要受需求拉动，大多数人工智能 公司布局应用层。 一、背景：深度学习框架的演进 一、背景：深度学习框架的重要性 二、原理：深度学习框架结构 ����� ��������� � 离业务的技术体系价值不大。 n 是否存在完美的深度学习框架？ 一切以落地场景为根基，满足业务使用即可，不要过度设计，过度设计将会导致框架越来越复杂、 臃肿。 n 实现的深度学习框架与目前主流开源的结果计算结果不一致怎么办？ 一方面深入原理，在掌握系统理论基础后去实现；另一方面每一个算法的实现细节都会不同，注意 实现细节。 感 谢！ !"#$#%&'()*+,

本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的 展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 致谢 本书在开源社区众多贡献者的共同努力下不断成长。感谢每一位投入时间与精力的撰稿人，他们 是（按照 GitHub 自动生成的顺序）：krahets, sjinzh, justin‑tse, Reanon, nuomi1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322 1 0. 前言 0.1. 关于本书 本项目旨在创建一本开源免费、新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Java, C++, Python 一行代码“Hello World!”的 美好回忆。 ‧ 感谢苏潼为本书设计了精美的封面和 LOGO，并在我的强迫症下多次耐心修改。 ‧ 感谢 @squidfunk 提供的写作排版建议，以及杰出的开源项目 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈们的杰出贡献！

算法犹如美妙的交响乐，每一行代码都像韵律般流淌。 愿这本书在你的脑海中轻轻响起，留下独特而深刻的旋律。 第 0 章 前言 hello‑algo.com 2 0.1 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂，学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Python、C++、Java 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同努力下不断完善。感谢每一位投入时间与精力的撰稿人，他们是（按照 GitHub 自动生成的顺序）：krahets、Gonglja、nuomi1、codingonion、Reano 第一行代码“Hello World!”的 美好回忆； ‧ 感谢校铨在知识产权方面提供的专业帮助，这对本开源书的完善起到了重要作用； ‧ 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和

算法犹如美妙的交响乐，每一行代码都像韵律般流淌。 愿这本书在你的脑海中轻轻响起，留下独特而深刻的旋律。 第 0 章 前言 hello‑algo.com 2 0.1 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂，学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Python、C++、Java 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同努力下不断完善。感谢每一位投入时间与精力的撰稿人，他们是（按照 GitHub 自动生成的顺序）：krahets、codingonion、nuomi1、Gonglja、Reano 第一行代码“Hello World!”的 美好回忆； ‧ 感谢校铨在知识产权方面提供的专业帮助，这对本开源书的完善起到了重要作用； ‧ 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和