开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） 数据采集、数据中台、智能算法、⾃自动化等 AIOps系统（常规层次） AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源： • SaaS、多云、容器器、微服务、主机、应⽤用等 • 各种数据样式： • Log、Tracking、Event；Metrics、IoT

当Python遇上FPGA PYNQ开源项目的实践与体会 陆佳华 joshual@Xilinx.com 目录 CONTENTS FPGA 35th Computer Architecture Golden Age PYNQ Open Source Framework How Python helps, really a lot.. FPGA 35th National Inventors

Color Detection Gradient Magnitude Thresholdin g StereoLBM Ø Xilinx并没有专注在机器视觉 算法，HLS中所使用的算法基 本都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个 重构。功能以及接口参数基本 上同原opencv函数保持一致， 方便客户使用。同时适合于 HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

Color Detection Gradient Magnitude Thresholding StereoLBM ➢ Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 ➢ 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP ➢ 这些overlay 库可以 re-use ➢ 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

Color Detection Gradient Magnitude Thresholding StereoLBM Ø Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

算法犹如美妙的交响乐，每一行代码都像韵律般流淌。 愿这本书在你的脑海中轻轻响起，留下独特而深刻的旋律。 第 0 章 前言 hello‑algo.com 2 0.1 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂，学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Python、C++、Java 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同努力下不断完善。感谢每一位投入时间与精力的撰稿人，他们是（按照 GitHub 自动生成的顺序）：krahets、Gonglja、nuomi1、codingonion、Reano 第一行代码“Hello World!”的 美好回忆； ‧ 感谢校铨在知识产权方面提供的专业帮助，这对本开源书的完善起到了重要作用； ‧ 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和

算法犹如美妙的交响乐，每一行代码都像韵律般流淌。 愿这本书在你的脑海中轻轻响起，留下独特而深刻的旋律。 第 0 章 前言 hello‑algo.com 2 0.1 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂，学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Python、C++、Java 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同努力下不断完善。感谢每一位投入时间与精力的撰稿人，他们是（按照 GitHub 自动生成的顺序）：krahets、codingonion、nuomi1、Gonglja、Reano 第一行代码“Hello World!”的 美好回忆； ‧ 感谢校铨在知识产权方面提供的专业帮助，这对本开源书的完善起到了重要作用； ‧ 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和

算法犹如美妙的交响乐，每一行代码都像韵律般流淌。 愿这本书在你的脑海中轻轻响起，留下独特而深刻的旋律。 第 0 章 前言 www.hello‑algo.com 2 0.1 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，内容清晰易懂、学习曲线平滑，引导初学者探索数据结构与算法的知识地图。 ‧ 源代码可一键运行，帮助读者在练习中提升编程技能，了解算法工作原理和数据结构底层实现。 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 www.hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同努力下不断完善。感谢每一位投入时间与精力的撰稿人，他们是（按照 GitHub 自动生成的顺序）：krahets、coderonion、Gonglja、nuomi1、Reanon 第一行代码“Hello World!”的 美好回忆； ‧ 感谢校铨在知识产权方面提供的专业帮助，这对本开源书的完善起到了重要作用； ‧ 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和

C/C++/Java分担慢速计算的压力 Ø Java：较快 Ø GO：C语言一样的执行速度 • 工具完备性 Ø C++：多为开发者开源，如切词、词性 标注等基础工具 Ø Python：海量的第三方开源工具库 Ø Java：较多开源NLP工具，LingPipe、 FudanNLP等 Ø GO：较多开源NLP相关工具， gonlp,goml等 各个击破－第一次建模 • 检索（Retrieval） Ø 每个 判断（query，question）相关性打分， 返回top n作为最终命中知识点，给出对 应知识点的答案回复用户 • 依赖工具 Ø Python及第三方扩展包 各个击破－模型 各个击破－数据 • 开源数据抓取&清洗 • 依赖工具 Ø requests抓取数据 Ø retry重试 • 模型训练&特征生成 • 依赖工具 • gensim：训练word2vec • jieba：切词，统计生成PMI/TM词典

书内的代码配有可一键运行的源文件，托管在 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的展示 效果有限，可前往 hello‑algo.com 网页版获得更好的阅读体验。 致谢 本书在开源社区的群策群力下逐步成长，感谢每一位撰稿人，是他们的无私奉献让这本书变得更好，他 们是（按照 GitHub 自动生成的顺序）：krahets, justin‑tse, sjinzh, Reanon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 1 0. 写在前面 0.1. 关于本书 本项目致力于构建一本开源免费、新手友好的数据结构与算法入门书。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑； ‧ 算法源代码皆可一键运行，支持 Java, C++, Python, “Hello World!” 的回忆。 ‧ 感谢苏潼为本书设计了封面和 LOGO ，在我的强迫症下前后多次帮忙修改，谢谢你的耐心。 ‧ 感谢 @squidfunk 给出的写作排版建议，以及优秀开源项目 Material‑for‑MkDocs 。 本书鼓励“手脑并用”的学习方式，在这点上受到了《动手学深度学习》很大影响，也在此向各位同学强烈推 荐这本著作，包括中文版、英文版、李沐老师 bilibili