 4_杨柳_基于Python构建高稳定可扩展的自动化测试集群0 码力 | 62 页 | 25.29 MB | 1 年前3 4_杨柳_基于Python构建高稳定可扩展的自动化测试集群0 码力 | 62 页 | 25.29 MB | 1 年前3
 PyConChina2022-北京-用Python给Kubernetes写个自定义控制器-张晋涛MVP 『 K8S 生态周报』发起人和维护者 GitHub:tao12345666333 Mail: zhangjintao@apache.org Agenda Kubernetes 中请求处理流程 什么是准入控制器 用 Python 实现准入控制器 与其他方案对比 Kubernetes 架构 kube-apiserver Kubernetes 集群的核心组件 处理集群内外的所有请求 处理集群内外的所有请求 Kubernetes 请求处理流程  API Handler 匹配处理链路( /apis )  认证 / 授权  Mutating Admission :可进行变更操作  Object schema validation : schema 校验  Validating Admission :可进行验证操作  etcd :持久化 什么是准入控制器 启动用户等;  应用治理:资源配额 /label 标识等; 如何实现动态准入控制器  建议 Kubernetes v1.16 以上用 v1 API ;  构建 web server 接收请求并作出响应  在 Kubernetes 中创建 AdmissionConfiguration 或 ValidatingWebhookConfiguration 资源进行配置 示例实现  请求:以0 码力 | 17 页 | 1.76 MB | 1 年前3 PyConChina2022-北京-用Python给Kubernetes写个自定义控制器-张晋涛MVP 『 K8S 生态周报』发起人和维护者 GitHub:tao12345666333 Mail: zhangjintao@apache.org Agenda Kubernetes 中请求处理流程 什么是准入控制器 用 Python 实现准入控制器 与其他方案对比 Kubernetes 架构 kube-apiserver Kubernetes 集群的核心组件 处理集群内外的所有请求 处理集群内外的所有请求 Kubernetes 请求处理流程  API Handler 匹配处理链路( /apis )  认证 / 授权  Mutating Admission :可进行变更操作  Object schema validation : schema 校验  Validating Admission :可进行验证操作  etcd :持久化 什么是准入控制器 启动用户等;  应用治理:资源配额 /label 标识等; 如何实现动态准入控制器  建议 Kubernetes v1.16 以上用 v1 API ;  构建 web server 接收请求并作出响应  在 Kubernetes 中创建 AdmissionConfiguration 或 ValidatingWebhookConfiguration 资源进行配置 示例实现  请求:以0 码力 | 17 页 | 1.76 MB | 1 年前3
 1_丁来强_开源AIOps数据中台搭建与Python的作用⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic stack, TICK stack, Open Telemetry ⽆无 ⽀支持(logstash/reindex) ⽀支持(CQ/TickScript) ⽣生命周期 不不直接⽀支持 ⽀支持 不不直接⽀支持 指标类数据监控 - prometheus • K8S监控标配(继K8S后第2个CNCF项⽬目) • 多维数据模型 + PromQL • 汇总性数据+Label过滤 • 可从160+源渠道提取指标数据 • 主动拉去模式(可由gateway被动) Kapacitor • InfluxDB:⾼高性能的时序数据库。 • vs ES: 8X写⼊入,少4X磁盘占⽤用,3~7响应速度 • Telegraf:⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf:不不如Grafana强⼤大灵活 Elastic Stack (BELK) • Beats + Elasticsearch + Logstash0 码力 | 48 页 | 17.54 MB | 1 年前3 1_丁来强_开源AIOps数据中台搭建与Python的作用⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic stack, TICK stack, Open Telemetry ⽆无 ⽀支持(logstash/reindex) ⽀支持(CQ/TickScript) ⽣生命周期 不不直接⽀支持 ⽀支持 不不直接⽀支持 指标类数据监控 - prometheus • K8S监控标配(继K8S后第2个CNCF项⽬目) • 多维数据模型 + PromQL • 汇总性数据+Label过滤 • 可从160+源渠道提取指标数据 • 主动拉去模式(可由gateway被动) Kapacitor • InfluxDB:⾼高性能的时序数据库。 • vs ES: 8X写⼊入,少4X磁盘占⽤用,3~7响应速度 • Telegraf:⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf:不不如Grafana强⼤大灵活 Elastic Stack (BELK) • Beats + Elasticsearch + Logstash0 码力 | 48 页 | 17.54 MB | 1 年前3
 PyConChina2022-上海-Python Profiling原理深入探索与实践-羿莉为的分析方法。其分析对象是程序的空间或时间复杂度、特定指令的使用 情形、函数调用的频率以及执行的时间等等。 • 步骤:数据采集、统计分析、可视化、推理导出 • 目的:云计算背景下 • 代码优化=提升效率 • 资源优化=降低成本 背景概述 !"#$%&'()*+,-.$/0,.$1234- Profiling56789:;<=> 背景概述 Resolve Endpoint of Region Waiting 程序里,因此更安全 • 支持record结果,并生成 speedscope/flamegraph等格式、支持 top/dump等 • py-spy 缺点 • 很多场景需要sudo权限来读取进程内存 • K8s场景需要启动SYS_PTRACE • 和OXS的系统系统完整性保护冲突 • Thread在Idle和没有获取GIL场景有限制 –idleŽ• –gilŽ• Python Profiling)*+ Memray4" 不支持attach,只能在程序启动前运行, 不能在程序启动后运行 Continuous Profiling,-./ • 5•‘’“”•–+j—˜N•+j™š • 5•klš›œ••žk8s pod-ns • Ÿ ¡¢£Xp¤ ¡Š¥X • ¦VƒU/§¨¢£ • ©ª«G•linux kernel TU • O¬š›¨-®¯KL•°± • ¦VƒU/¦V²³ 0123 01450 码力 | 28 页 | 12.73 MB | 1 年前3 PyConChina2022-上海-Python Profiling原理深入探索与实践-羿莉为的分析方法。其分析对象是程序的空间或时间复杂度、特定指令的使用 情形、函数调用的频率以及执行的时间等等。 • 步骤:数据采集、统计分析、可视化、推理导出 • 目的:云计算背景下 • 代码优化=提升效率 • 资源优化=降低成本 背景概述 !"#$%&'()*+,-.$/0,.$1234- Profiling56789:;<=> 背景概述 Resolve Endpoint of Region Waiting 程序里,因此更安全 • 支持record结果,并生成 speedscope/flamegraph等格式、支持 top/dump等 • py-spy 缺点 • 很多场景需要sudo权限来读取进程内存 • K8s场景需要启动SYS_PTRACE • 和OXS的系统系统完整性保护冲突 • Thread在Idle和没有获取GIL场景有限制 –idleŽ• –gilŽ• Python Profiling)*+ Memray4" 不支持attach,只能在程序启动前运行, 不能在程序启动后运行 Continuous Profiling,-./ • 5•‘’“”•–+j—˜N•+j™š • 5•klš›œ••žk8s pod-ns • Ÿ ¡¢£Xp¤ ¡Š¥X • ¦VƒU/§¨¢£ • ©ª«G•linux kernel TU • O¬š›¨-®¯KL•°± • ¦VƒU/¦V²³ 0123 01450 码力 | 28 页 | 12.73 MB | 1 年前3
 Python3 基础教程 - 廖雪峰把内容读到内存,用一个 str 对象表示: >>> f.read() 'Hello, world!' 最后一步是调用 close()方法关闭文件。文件使用完毕后必须关闭,因 为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文 件数量也是有限的: >>> f.close() 由于文件读写时都有可能产生 IOError,一旦出错,后面的 f.close()就 不会调用。所以,为了 local_school.teacher 等等。 ThreadLocal 最常用的地方就是为每个线程绑定一个数据库连接,HTTP 请求,用户身份信息等,这样一个线程的所有调用到的处理函数都可以 非常方便地访问这些资源。 小结 一个 ThreadLocal 变量虽然是全局变量,但每个线程都只能读写自己线 程的独立副本,互不干扰。ThreadLocal 解决了参数在一个线程中各个函 数之间互相传递的问题。 就是硬盘狂响,点窗口无反应,系统处于假死状态。 所以,多任务一旦多到一个限度,就会消耗掉系统所有的资源,结果效 率急剧下降,所有任务都做不好。 计算密集型 vs. IO 密集型 是否采用多任务的第二个考虑是任务的类型。我们可以把任务分为计算 密集型和 IO 密集型。 计算密集型任务的特点是要进行大量的计算,消耗 CPU 资源,比如计 算圆周率、对视频进行高清解码等等,全靠 CPU 的运算能力。这种计0 码力 | 531 页 | 5.15 MB | 1 年前3 Python3 基础教程 - 廖雪峰把内容读到内存,用一个 str 对象表示: >>> f.read() 'Hello, world!' 最后一步是调用 close()方法关闭文件。文件使用完毕后必须关闭,因 为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文 件数量也是有限的: >>> f.close() 由于文件读写时都有可能产生 IOError,一旦出错,后面的 f.close()就 不会调用。所以,为了 local_school.teacher 等等。 ThreadLocal 最常用的地方就是为每个线程绑定一个数据库连接,HTTP 请求,用户身份信息等,这样一个线程的所有调用到的处理函数都可以 非常方便地访问这些资源。 小结 一个 ThreadLocal 变量虽然是全局变量,但每个线程都只能读写自己线 程的独立副本,互不干扰。ThreadLocal 解决了参数在一个线程中各个函 数之间互相传递的问题。 就是硬盘狂响,点窗口无反应,系统处于假死状态。 所以,多任务一旦多到一个限度,就会消耗掉系统所有的资源,结果效 率急剧下降,所有任务都做不好。 计算密集型 vs. IO 密集型 是否采用多任务的第二个考虑是任务的类型。我们可以把任务分为计算 密集型和 IO 密集型。 计算密集型任务的特点是要进行大量的计算,消耗 CPU 资源,比如计 算圆周率、对视频进行高清解码等等,全靠 CPU 的运算能力。这种计0 码力 | 531 页 | 5.15 MB | 1 年前3
 03 小罗 python与devops 在Docker环境下的发布系统 在Docker环境下的发布系统 https://github.com/xiaoluoge11/jenkins_demo 由Jenkinsfile确定操作流程 K8s Ci/CD快速发布流程 1. 开发人员提交代码到 Gitlab 代码仓库 2. 编写Dockerfile 到代码目录 3. 通过 Gitlab 配置的 Jenkins Webhook 触发 Pipeline0 码力 | 22 页 | 1.64 MB | 1 年前3 03 小罗 python与devops 在Docker环境下的发布系统 在Docker环境下的发布系统 https://github.com/xiaoluoge11/jenkins_demo 由Jenkinsfile确定操作流程 K8s Ci/CD快速发布流程 1. 开发人员提交代码到 Gitlab 代码仓库 2. 编写Dockerfile 到代码目录 3. 通过 Gitlab 配置的 Jenkins Webhook 触发 Pipeline0 码力 | 22 页 | 1.64 MB | 1 年前3
 3 在AWS部署与发布你面向全球的Python Serverless应用 谢洪恩LicenseUrl: LICENSE ReadmeUrl: README.md Labels: [demo','lambda','kubectl','eks', 'aws', 'kubernetes', 'k8s'] HomePageUrl: https://github.com/pahud/my-demo-sar-app SemanticVersion: 1.0.1 SourceCodeUrl: https://github0 码力 | 53 页 | 24.15 MB | 1 年前3 3 在AWS部署与发布你面向全球的Python Serverless应用 谢洪恩LicenseUrl: LICENSE ReadmeUrl: README.md Labels: [demo','lambda','kubectl','eks', 'aws', 'kubernetes', 'k8s'] HomePageUrl: https://github.com/pahud/my-demo-sar-app SemanticVersion: 1.0.1 SourceCodeUrl: https://github0 码力 | 53 页 | 24.15 MB | 1 年前3
 PyConChina2022-深圳-大规模生产环境下的Faster CPython-王文洋大规模生产环境下的 Faster-CPython 主讲人: 王文洋 老板思维 已知:公司有xx个计算集群 每个集群有xxxxx个core Python进程占比xx% 如果:提升 10% 那么:可以节省 xx * xxxxx * xx% * 10%个core 降本 xx * xxxxx * xx% * 10% * n >> 我的工资 结论:。。。 Why0 码力 | 31 页 | 2.47 MB | 1 年前3 PyConChina2022-深圳-大规模生产环境下的Faster CPython-王文洋大规模生产环境下的 Faster-CPython 主讲人: 王文洋 老板思维 已知:公司有xx个计算集群 每个集群有xxxxx个core Python进程占比xx% 如果:提升 10% 那么:可以节省 xx * xxxxx * xx% * 10%个core 降本 xx * xxxxx * xx% * 10% * n >> 我的工资 结论:。。。 Why0 码力 | 31 页 | 2.47 MB | 1 年前3
 Python 标准库参考指南 3.7.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1763 36.11 resource --- 资源使用信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1764 36.12 nis --- 释放由内存视图对象所公开的底层缓冲区。许多对象在被视图所获取时都会采取特殊动作(例如, bytearray 将会暂时禁止调整大小);因此,调用 release() 可以方便地尽早去除这些限制(并释 放任何多余的资源)。 在此方法被调用后,任何对视图的进一步操作将引发ValueError (release() 本身除外,它可 以被多次调用): >>> m = memoryview(b'abc') >>> m Unicode 相关的警告的基类。 exception BytesWarning 与bytes 和bytearray 相关的警告的基类。 exception ResourceWarning 与资源使用相关的警告的基类。会被默认的警告过滤器忽略。 3.2 新版功能. 5.4 异常层次结构 内置异常的类层级结构如下: BaseException +-- SystemExit +-- KeyboardInterrupt0 码力 | 1961 页 | 9.14 MB | 9 月前3 Python 标准库参考指南 3.7.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1763 36.11 resource --- 资源使用信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1764 36.12 nis --- 释放由内存视图对象所公开的底层缓冲区。许多对象在被视图所获取时都会采取特殊动作(例如, bytearray 将会暂时禁止调整大小);因此,调用 release() 可以方便地尽早去除这些限制(并释 放任何多余的资源)。 在此方法被调用后,任何对视图的进一步操作将引发ValueError (release() 本身除外,它可 以被多次调用): >>> m = memoryview(b'abc') >>> m Unicode 相关的警告的基类。 exception BytesWarning 与bytes 和bytearray 相关的警告的基类。 exception ResourceWarning 与资源使用相关的警告的基类。会被默认的警告过滤器忽略。 3.2 新版功能. 5.4 异常层次结构 内置异常的类层级结构如下: BaseException +-- SystemExit +-- KeyboardInterrupt0 码力 | 1961 页 | 9.14 MB | 9 月前3
 Python 标准库参考指南 3.7.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1658 36.11 resource --- 资源使用信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1659 36.12 nis --- Sun 释放由内存视图对象所公开的底层缓冲区。许多对象在被视图所获取时都会采取特殊动作(例 如,bytearray 将会暂时禁止调整大小);因此,调用 release() 可以方便地尽早去除这些限制 (并释放任何多余的资源)。 在此方法被调用后,任何对视图的进一步操作将引发ValueError (release() 本身除外, 它可以被多次调用): >>> m = memoryview(b'abc') >>> m 和bytearray 相关的警告的基类。 5.3. 警告 83 The Python Library Reference, 发布 3.7.13 exception ResourceWarning 与资源使用相关的警告的基类。会被默认的警告过滤器忽略。 3.2 新版功能. 5.4 异常层次结构 内置异常的类层级结构如下: BaseException +-- SystemExit +-- KeyboardInterrupt0 码力 | 1846 页 | 9.09 MB | 9 月前3 Python 标准库参考指南 3.7.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1658 36.11 resource --- 资源使用信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1659 36.12 nis --- Sun 释放由内存视图对象所公开的底层缓冲区。许多对象在被视图所获取时都会采取特殊动作(例 如,bytearray 将会暂时禁止调整大小);因此,调用 release() 可以方便地尽早去除这些限制 (并释放任何多余的资源)。 在此方法被调用后,任何对视图的进一步操作将引发ValueError (release() 本身除外, 它可以被多次调用): >>> m = memoryview(b'abc') >>> m 和bytearray 相关的警告的基类。 5.3. 警告 83 The Python Library Reference, 发布 3.7.13 exception ResourceWarning 与资源使用相关的警告的基类。会被默认的警告过滤器忽略。 3.2 新版功能. 5.4 异常层次结构 内置异常的类层级结构如下: BaseException +-- SystemExit +-- KeyboardInterrupt0 码力 | 1846 页 | 9.09 MB | 9 月前3
共 120 条
- 1
- 2
- 3
- 4
- 5
- 6
- 12














 
 