Python与云 ——AWS的Python原生应用浅析 张孝峰 亚马逊AWS资深解决方案架构师 Python 30周年 Python发展时间线 2019/10 v3.8 v2.7.17 开始实现 1989/12 v0.9.0 1991/2 v1.0.0 1994/1 v2.0 2000/10 v2.5 2006/9 v2.6 2008/10 v3.0 2008/12 AWS同样功能丰富 AWS向客户提供超过165项功能全面的服务 涵盖计算、存储、数据库、联网、分析、机器人、 机器学习与人工智能、物联网、移动、安全、混 合云、虚拟现实与增强现实、媒体，以及应用开 发、部署与管理等方面。 如何管理和使用海量的云API Amazon Athena Amazon Redshift 超过165项服务 数千个不同的API AWS Tools and SDKs • Python www.mydomain.com ECS Cluster 应用负载均衡器 OAuth Task Weather Task Portal Task 12要素应用宣言 尽可能利用现代化的云平台 • 无需猜测容量 • 快速创新，低风险试错 • 摆脱无差异化的工作 • 数分钟全球化部署 Infrastructure as Code AWS CloudFormation 这个样例

开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 数据采集、数据中台、智能算法、⾃自动化等 AIOps系统（常规层次） AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源： • SaaS、多云、容器器、微服务、主机、应⽤用等 • 各种数据样式： • Log、Tracking、Event；Metrics、IoT 用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic stack, TICK stack, Open

打开 Mac OS X 的 Activity Monitor，或者 Windows 的 Task Manager，都 可以监控某个进程的 CPU 使用率。 我们可以监控到一个死循环线程会 100%占用一个 CPU。 如果有两个死循环线程，在多核 CPU 中，可以监控到会占用 200%的 CPU，也就是占用两个 CPU 核心。 要想把 N 核 CPU 的核心全部跑满，就必须启动 N 个死循环线程。 cpu_count()): t = threading.Thread(target=loop) t.start() 启动与 CPU 核心数量相同的 N 个线程，在 4 核 CPU 上可以监控到 CPU 占用率仅有 102%，也就是仅使用了一核。 但是用 C、C++或 Java 来改写相同的死循环，直接可以把全部核心跑满， 4 核就跑到 400%，8 核就跑到 800%，为什么 Python com/login.html') as f: pass 小结 urllib 提供的功能就是利用程序去执行各种 HTTP 请求。如果要模拟浏 览器完成特定功能，需要把请求伪装成浏览器。伪装的方法是先监控浏 Python3 基础教程【完整版】 http://www.yeayee.com/ 339/531 览器发出的请求，再根据浏览器的请求头来伪装，User-Agent 头就是用 来标识浏览器的。

最热门的插件是？ 官宣！全球首秀 Visual Studio Code Python 插 件将提供 Jupyter Notebook 的原生支持! 将在九月底正式发布！ Python extension for VS Code • Jupyter Notebook 的原生支持 • 导入/导出 Jupyter Notebook • 数据/图表可视化 • 变量查看器 • IPython/Jupyter Anywhere 未来就在眼前 • Cloud-Hosted Development Environments • Web 版 VS Code (Visual Studio Online) 依托云的开发工具更强大 • 协作开发 • 远程开发 • 无需繁杂的安装与配置 Cloud-Hosted Development Environments Web 版 VS Code (Visual Studio

Python Profiling 原理深入探索与实践 主讲人： 羿莉（萧羿） – 阿里云SLS Python Profiling 大纲 l背景概述 lPython Profiling的场景与技术原理 Ø场景：即时 vs 持续 Ø技术原理 确定剖析 vs 采样剖析 函数粒度vs 行粒度 物理时间vs CPU 时间 技术全景概览 技术细节探索 lPython Profiling的工具链和解决方案 息为手段研究动态的程序行 为的分析方法。其分析对象是程序的空间或时间复杂度、特定指令的使用 情形、函数调用的频率以及执行的时间等等。 • 步骤：数据采集、统计分析、可视化、推理导出 • 目的：云计算背景下 • 代码优化=提升效率 • 资源优化=降低成本 背景概述 !"#$%&'()*+,-.$/0,.$1234- Profiling56789:;<=> 背景概述 Resolve Endpoint Python Profiling)*+ • Memray优点 • 确定性分析，高准确性 • 速度快 • 支持live模式，UI完善 • 支持profile c/c++/cPython 等原生扩展 • Memray4" 不支持attach，只能在程序启动前运行， 不能在程序启动后运行 Continuous Profiling,-./ • 5•‘’“”•–+j—˜N•+j™š •

iOS 特定 API 。 • 移动应用程序修改系统资源（如系统时钟）的权限有限。这些资源通常 * 可读 *，但试图修改这些 资源通常会失败。 • 控制台输入与输出： – 在 Android 系统上，原生的 stdout 和 “stderr“ 没有连接到任何设备，因此 Python 安装了自己 的流，将信息重定向到系统日志。这些信息可分别在 python.stdout 和 python.stderr "little"，则最高位字节放在字节数组的末尾。要请求 4.4. 数字类型 --- int, float, complex 39 The Python Library Reference, 发行版本 3.13.0 主机系统上的原生字节顺序，请使用sys.byteorder 作为字节顺序值。 signed 参数指明是否使用二的补码来表示整数。 等价于: def from_bytes(bytes, byteorder='big' v[-1] 103 >>> v[1:4] >>> bytes(v[1:4]) b'bce' 如果format 是一个来自于struct 模块的原生格式说明符，则也支持使用整数或由整数构成的元 组进行索引，并返回具有正确类型的单个 元素。一维内存视图可以使用一个整数或由一个整数构 成的元组进行索引。多维内存视图可以使用由恰好 ndim 个整数构成的元素进行索引，ndim

iOS 特定 API 。 • 移动应用程序修改系统资源（如系统时钟）的权限有限。这些资源通常 * 可读 *，但试图修改这些 资源通常会失败。 • 控制台输入与输出： – 在 Android 系统上，原生的 stdout 和 “stderr“ 没有连接到任何设备，因此 Python 安装了自己 的流，将信息重定向到系统日志。这些信息可分别在 python.stdout 和 python.stderr "little"，则最高位字节放在字节数组的末尾。要请求 4.4. 数字类型 --- int, float, complex 39 The Python Library Reference, 发行版本 3.13.0 主机系统上的原生字节顺序，请使用sys.byteorder 作为字节顺序值。 signed 参数指明是否使用二的补码来表示整数。 等价于: def from_bytes(bytes, byteorder='big' v[-1] 103 >>> v[1:4] >>> bytes(v[1:4]) b'bce' 如果format 是一个来自于struct 模块的原生格式说明符，则也支持使用整数或由整数构成的元 组进行索引，并返回具有正确类型的单个 元素。一维内存视图可以使用一个整数或由一个整数构 成的元组进行索引。多维内存视图可以使用由恰好 ndim 个整数构成的元素进行索引，ndim

"little"，则最高位字节放在字节数组的末尾。要请求 4.4. 数字类型 --- int, float, complex 37 The Python Library Reference, 发行版本 3.12.7 主机系统上的原生字节顺序，请使用sys.byteorder 作为字节顺序值。 signed 参数指明是否使用二的补码来表示整数。 等价于: def from_bytes(bytes, byteorder='big' v[-1] 103 >>> v[1:4] >>> bytes(v[1:4]) b'bce' 如果format 是一个来自于struct 模块的原生格式说明符，则也支持使用整数或由整数构成的元 组进行索引，并返回具有正确类型的单个 元素。一维内存视图可以使用一个整数或由一个整数构 成的元组进行索引。多维内存视图可以使用由恰好 ndim 个整数构成的元素进行索引，ndim >>> m = memoryview(a) >>> m.tolist() [1.1, 2.2, 3.3] 在 3.3 版本发生变更: tolist() 现在支持struct 模块语法中的所有单字符原生格式以及多维 表示形式。 toreadonly() 返回 memoryview 对象的只读版本。原始的 memoryview 对象不会被改变。 >>> m = memoryview(bytearray(b'abc'))

"little"，则最高位字节放在字节数组的末尾。要请求 4.4. 数字类型 --- int, float, complex 37 The Python Library Reference, 发行版本 3.12.7 主机系统上的原生字节顺序，请使用sys.byteorder 作为字节顺序值。 signed 参数指明是否使用二的补码来表示整数。 等价于: def from_bytes(bytes, byteorder='big' v[-1] 103 >>> v[1:4] >>> bytes(v[1:4]) b'bce' 如果format 是一个来自于struct 模块的原生格式说明符，则也支持使用整数或由整数构成的元 组进行索引，并返回具有正确类型的单个 元素。一维内存视图可以使用一个整数或由一个整数构 成的元组进行索引。多维内存视图可以使用由恰好 ndim 个整数构成的元素进行索引，ndim >>> m = memoryview(a) >>> m.tolist() [1.1, 2.2, 3.3] 在 3.3 版本发生变更: tolist() 现在支持struct 模块语法中的所有单字符原生格式以及多维 表示形式。 toreadonly() 返回 memoryview 对象的只读版本。原始的 memoryview 对象不会被改变。 >>> m = memoryview(bytearray(b'abc'))

join(ap p.root_path, 'data.db') app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False # 关闭对模型 修改的监控 # 在扩展类实例化前加载配置 db = SQLAlchemy(app) 如果你固定在某一个操作系统上进行开发，部署时也使用相同的操作系统，那么可 以不用这么做，直接根据你的需要写出前缀即可。 都可以访问到。 Web 程序通常有两种部署方式：传统部署和云部署。传统部署指的是在使用物理主 机或虚拟主机上部署程序，你通常需要在一个 Linux 系统上完成所有的部署操作； 云部署则是使用其他公司提供的云平台，这些平台为你设置好了底层服务，包括 Web 服务器、数据库等等，你只需要上传代码并进行一些简单设置即可完成部署。 这一章我们会介绍使用云平台 PythonAnywhere 来部署程序。 部署前的准备 部分显示了你的程序访问流量情况，Security 部分可以为 你的程序程序开启强制启用 HTTPS 和密码保护。 如果你是《Flask Web 开发实战》的读者，第 14 章详细介绍了部署 Flask 程 序的两种方式，传统部署和云部署。 第 11 章：部署上线 124 小挑战 经过本书的学习，你应该有能力独立开发一个简单的 Web 程序了。所以这里有一 个小挑战：为你的 Watchlist 添加一个留言板功能，效果类似