Pants: Python工程化 必备构建工具 主讲人： 沈达 – 比图科技数据工程师 Pants 2 https://www.pantsbuild.org 面向任意规模代码仓库的高性能、可扩展、用户友好的构建系统。 由 主要实现 用 定义构建 对 支持最好 Pants 1 诞生于推特 Pants 2 涅槃重生 由Toolchain赞助 人生苦短，我用Python 用户 JupyterLab 个人：JupyterLab最佳实践 用户 JupyterLab 痛点：如何快速启动 痛点：如何分享、协作 痛点：如何管理依赖 模版工程 https://github.com/da-tubi/jupyterlab-best-practice 企业项目：多个子项目的Python代码仓库 模版工程 https://github.com/da-tubi/pants-pyspark-subprojects • 可扩展 智能依赖 • 新建子项目简单 • 开发环境和生产环境一致 • 本地缓存（SaaS支持：远程缓存） • 只要没有import，就会智能排除 业余项目：如何分发用Python实现的插件 示例工程 https://github.com/texmacs/plugins-in-python JAR • Executable • Assembly PEX • Executable • Assembly

⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年： • AIOps会从功能演变成平台并落地 • 到2022年年，40%企业会使⽤用AIOps 机器器学习促进ITOps的主要⽅方式 辅助根因分析 root cause analysis ⾃自动模式识别 事件关联 通过关联、知识图谱获 得可能原因 基于模式的预测 AIOps增强分析与⾏行行动能⼒力力，挡住更更多⼯工单 2 ⼯工程难点 数据采集、数据中台、智能算法、⾃自动化等 AIOps系统（常规层次） AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖

但是，对于初学者和完成普通任务，Python 语言是非常简单易用的。连 Google 都在大规模使用 Python，你就不用担心学了会没用。 用 Python 可以做什么？可以做日常任务，比如自动备份你的 MP3；可 以做网站，很多著名的网站包括 YouTube 就是 Python 写的；可以做网 络游戏的后台，很多在线游戏的后台都是 Python 开发的。总之就是能 干很多很多事啦。 MySQL，大家都在用，一般错不了；  PostgreSQL，学术气息有点重，其实挺不错，但知名度没有 MySQL 高；  sqlite，嵌入式数据库，适合桌面和移动应用。 作为 Python 开发工程师，选择哪个免费数据库呢？当然是 MySQL。因 为 MySQL 普及率最高，出了错，可以很容易找到解决方法。而且，围 绕 MySQL 有一大堆监控和运维的工具，安装和使用很方便。 为了能继续后面的学习，你需要从 的字符串，简单的页面还可以，但是，想 想新浪首页的 6000 多行的 HTML，你确信能在 Python 的字符串中正确 地写出来么？反正我是做不到。 俗话说得好，不懂前端的 Python 工程师不是好的产品经理。有 Web 开 发经验的同学都明白，Web App 最复杂的部分就在 HTML 页面。HTML 不仅要正确，还要通过 CSS 美化，再加上复杂的 JavaScript 脚本来实现

发行版本 3.13.0 sqrt(context=None) 返回参数的平方根精确到完整精度。 to_eng_string(context=None) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 例如，此方法会将 Decimal('123E+1') 转换为 Decimal('1.23E+3')。 次的副本。 sqrt(x) 非负数基于上下文精度的平方根。 subtract(x, y) 返回 x 和 y 的差。 to_eng_string(x) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 to_integral_exact(x) 舍入到一个整数。 to_sci_string(x) input() 或FileInput 构造器， 则文件会被移至备份文件并将标准输出定向到输入文件（如果已存在与备份文件同名的文件，它将被静 默地替换）。这使得编写一个能够原地重写其输入文件的过滤器成为可能。如果给出了 backup 形参 (通常 形式为 backup='.')，它将指定备份文件的扩展名，并且备份文件会被保留；默认情 况下扩展名为 '.bak' 并且它会在

和 指数保持不变。 sqrt(context=None) 返回参数的平方根精确到完整精度。 to_eng_string(context=None) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 例如，此方法会将 Decimal('123E+1') 转换为 Decimal('1.23E+3')。 10 sqrt(x) 非负数基于上下文精度的平方根。 subtract(x, y) 返回 x 和 y 的差。 to_eng_string(x) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 to_integral_exact(x) 舍入到一个整数。 to_sci_string(x) input() 或FileInput 构 造器，则文件会被移至备份文件并将标准输出定向到输入文件（如果已存在与备份文件同名的文件，它 将被静默地替换）。这使得编写一个能够原地重写其输入文件的过滤器成为可能。如果给出了 backup 形 参 (通常形式为 backup='.')，它将指定备份文件的扩展名，并且备份文件会被 保留；默认情况下扩展名为 '.bak' 并且它会在

和 指数保持不变。 sqrt(context=None) 返回参数的平方根精确到完整精度。 to_eng_string(context=None) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 例如，此方法会将 Decimal('123E+1') 转换为 Decimal('1.23E+3')。 Chapter 9. 数字和数学模块 The Python Library Reference, 发行版本 3.12.7 to_eng_string(x) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 to_integral_exact(x) 舍入到一个整数。 to_sci_string(x) input() 或FileInput 构造器， 则文件会被移至备份文件并将标准输出定向到输入文件（如果已存在与备份文件同名的文件，它将被静 默地替换）。这使得编写一个能够原地重写其输入文件的过滤器成为可能。如果给出了 backup 形参 (通常 形式为 backup='.')，它将指定备份文件的扩展名，并且备份文件会被保留；默认情 况下扩展名为 '.bak' 并且它会在

和 指数保持不变。 sqrt(context=None) 返回参数的平方根精确到完整精度。 to_eng_string(context=None) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 例如，此方法会将 Decimal('123E+1') 转换为 Decimal('1.23E+3')。 次的副本。 sqrt(x) 非负数基于上下文精度的平方根。 subtract(x, y) 返回 x 和 y 的差。 to_eng_string(x) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 to_integral_exact(x) 舍入到一个整数。 to_sci_string(x) input() 或FileInput 构造器， 则文件会被移至备份文件并将标准输出定向到输入文件（如果已存在与备份文件同名的文件，它将被静 默地替换）。这使得编写一个能够原地重写其输入文件的过滤器成为可能。如果给出了 backup 形参 (通常 形式为 backup='.')，它将指定备份文件的扩展名，并且备份文件会被保留；默认情 况下扩展名为 '.bak' 并且它会在

和 指数保持不变。 sqrt(context=None) 返回参数的平方根精确到完整精度。 to_eng_string(context=None) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 例如，此方法会将 Decimal('123E+1') 转换为 Decimal('1.23E+3')。 Chapter 9. 数字和数学模块 The Python Library Reference, 发行版本 3.12.7 to_eng_string(x) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 to_integral_exact(x) 舍入到一个整数。 to_sci_string(x) input() 或FileInput 构造器， 则文件会被移至备份文件并将标准输出定向到输入文件（如果已存在与备份文件同名的文件，它将被静 默地替换）。这使得编写一个能够原地重写其输入文件的过滤器成为可能。如果给出了 backup 形参 (通常 形式为 backup='.')，它将指定备份文件的扩展名，并且备份文件会被保留；默认情 况下扩展名为 '.bak' 并且它会在

easy ！）。 所以，通俗的来说，在AI system中：要么从原有的知识体系中直接提取信息来使用，要 么进行推理。 将知识融合在机器中，使机器能够利用我们人类知识、专家知识解决问题，这就是早期 知识工程（Knowledge Engineering）的核心内涵。 Preliminaries Explaining AI system from the perspective of KE – Symbolism R2：Dreyfus, Hubert (1979), What Computers Still Can't Do, New York: MIT Press. 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 Preliminaries Major difficulties: 自上而下：严重依赖专家和用户的干预（规模有限、质量存疑） Conventional KE – Features 3、很难处理异常情况 e.g., 鸵鸟不会飞 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 大数据时代催生KE飞速前进发 展 Preliminaries Preliminaries 大数据时代的机遇 – 大规模知识自动获取 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》  Big Data + Machine Learning[R1] + Powerful

和 指数保持不变。 sqrt(context=None) 返回参数的平方根精确到完整精度。 to_eng_string(context=None) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 例如，此方法会将 Decimal('123E+1') 转换为 Decimal('1.23E+3')。 Library Reference, 发布 3.10.15 subtract(x, y) 返回 x 和 y 的差。 to_eng_string(x) 转换为字符串，如果需要指数则会使用工程标注法。 工程标注法的指数是 3 的倍数。这会在十进制位的左边保留至多 3 个数码，并可能要求添加 一至两个末尾零。 to_integral_exact(x) 舍入到一个整数。 to_sci_string(x) input() 或FileInput 构 造器，则文件会被移至备份文件并将标准输出定向到输入文件（如果已存在与备份文件同名的文件，它 将被静默地替换）。这使得编写一个能够原地重写其输入文件的过滤器成为可能。如果给出了 backup 形 参 (通常形式为 backup='.')，它将指定备份文件的扩展名，并且备份文件会被 保留；默认情况下扩展名为 '.bak' 并且它会在