Linux 協定堆疊的資料處理執行到掛載節點時，它會依序呼叫掛接點上所有的 hook 函數，直到資料封包的處理結果是確定地接收或拒絕。 2 處理規則 每個規則的特性皆分為以下幾部分： ~ 表類型（準備做什麼事情？）； ~ 何種掛接點（何時發揮作用？）； ~ 比對的參數是什麼（針對何種類型的資料封包？）； ~ 比對後有什麼動作（比對後具體的處理是什麼？）。 表類型和何 的安全方式與 Kubernetes Master 進行連線，所 以需要先進行 ServiceAccount 和 Secret 的建立。如果不使用 Secret，則 Heapster 啟 動時將會出現錯誤： /var/run/secret/kubernetes.io/serviceaccount/token no such file or directory 然後 Heapster 容器會被 R

Modeling 人心不足蛇吞象 Hadoop 的體質 (Batch Processing) 問題： 每次就是一個 Batch Job，一個接著一個 每個 Batch Job 做的事就是讀入所有資料、處理、寫出結果 Job 與 Job 之間的 I/O Overhead 太高，但是彼此之間又沒有交集 Hadoop 掌握所有資料 (HDFS)，但是只有一種玩法 (MapReduce)？ 12 / 74 ApplicationMaster 其實是 MRv1 與 MRv2 最大的不同，負責與中央的 ResourceManager 與各地的 NodeManager 協調溝通，執行與監督各個 Container 的運作狀況，容錯也歸它管。 因為 ApplicationMaster 分擔了 MRv1 時代 ResourceManager 該做的絕大多數工 作，所以 MRv2 的 ResourceManager 就變得非常地 Scalable，撐到 PigLatin 翻成一堆 MapReduce Job Facebook 做出了 Hive，把 HiveQL 翻成一堆 MapReduce Job Hive 與 Pig 大家都想用 Hadoop 處理 Big Data，但不是每個人都會寫 MapReduce / Java，於是： 32 / 74 Stinger Initiative 緣由： Hortonworks 主導 希望在 Hadoop

Think in Cloud . 北北京 Think in Cloud . 北北京 基于Kubernetes构建容器器云平台的实践 UCloud优刻得实验室负责⼈人 叶理理灯 中⽴立安全·赋能产业 Think in Cloud . 北北京 UCloud内部容器器平台，提供弹性、分布 式的应⽤用托管服务平台，帮助开发者⼀一站 式轻松开发并部署应⽤用程序。KUN底层基 于 Kubernetes Create Update Get Delete Operator Server 为⽤用户提供可视化 Web 操作⻚页⾯面，简化对各类⾃自 定义资源的管理理操作。 ⽤用户不不需要详细理理解具体的 CRD 结构，就可以在 Web ⻚页⾯面上快速 创建⼀一个 Redis 集群，并且可以看到集群⼀一步步创建的过程。同时 还可以对集群进⾏行行配置更更新、删除等操作。 Operator

Rancher都已獲得CNCF認證。 2. 生命週期作業 開始踏上Kubernetes的旅程時，如果沒有思考要如何長期維護叢集，很容易就會 在開發和部署期間遭遇困難。許多以Kubernetes為中心的解決方案，雖然處理了 Kubernetes生命週期的初期階段，也就是第0天和第1天，但真正的挑戰要到第2 天才開始。 就第2天作業而言，Canonical Kubernetes及OpenShift都利用運算子提供完整的 Kubernetes、OpenShift及Rancher均提供無需停機的自動化升級。 其中Canonical Kubernetes居於領先的部分，就是能夠讓企業對升級流程進行精細 控制。使用者可精確排序及交錯進行各項元件的更新作業，因此能夠完全升級叢集， 同時確保不會影響在叢集執行的工作負載。 2 5. 支援生命週期 有時候企業無法跟上最新的上游Kubernetes版本，未能完全保持最新狀態。為了 乏彈性，以及程式碼化應用程式管理的重複性，因此可能增加維護成本。 14.原生AWS/GCP/Azure整合 如果Kubernetes發行版本無法在目標基礎架構執行，那麼簡易的多雲部署就沒有什 麼用處。Canonical Kubernetes、OpenShift及Rancher都能與以下三種主要的公 有雲原生整合：Amazon Web Services(AWS)、Google Cloud Platform(GCP)及

feature Countvectorizer Sentence encoder char ... Stop word removal sklearn model ... 手機不錯，高大上 手机不错，高大上 [手 机 不 错 ，高 大 上] [1, 22, 32, 46, 876, 55, 98, 20] 11 1 2 3 4 分类 算法 简史 深度 学习 架构 难点

Microsoft HP others 在地高可靠度資料中心 內建Redundancy 客製化高擴展性硬體設計 Live migration背景更新 全球機房備援設計 台灣區已經備有三個容錯區域 高效能代管式服務 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境 整合，加速應用上線 Google Cloud Taiwan 優勢

角色與分工  人員知識技能  安全政策  網路政策  開發政策  合規  負載/網路隔離  打包流程  過版流程  稽核流程  監控 & 除錯 最困難的部分其實是..... 3P: People, Policy, Process ​人 (People) ​政策 (Policy) ​流程 (Process) ©2019 VMware

Platform 4.6 节 节点 点 18 2.3.2. 限制可供 pod 使用的带宽 您可以对 pod 应用服务质量流量控制，有效限制其可用带宽。出口流量（从 pod 传出）按照策略来处 理，仅在超出配置的速率时丢弃数据包。入口流量（传入 pod 中）通过控制已排队数据包进行处理，以便 有效地处理数据。您对 pod 应用的限制不会影响其他 pod 的带宽。 流程 流程 限制 pod 的带宽： /var/lib/kubelet/device-plugins/.sock 的 的 gRPC 服 服务 务来服 来服务设备 务设备 管理器 管理器请 请求。 求。 在 在处 处理新的注册 理新的注册请 请求 求时 时， ，设备 设备管理器会在 管理器会在设备 设备插件服 插件服务 务中 中调 调用 用 ListAndWatch 远 远程 程过 过程 程调 调用 用 (RPC)。 。 作 列表发 发送到 送到设备 设备管理器。 管理器。 在 在处 处理新的 理新的 pod 准入 准入请 请求 求时 时， ，Kubelet 将 将请 请求的 求的扩 扩展 展资 资源 源传递给设备 传递给设备管理器以 管理器以进 进行 行设备 设备分配。 分配。设备 设备管 管 理器在其数据 理器在其数据库 库中 中检查 检查，以 ，以验证 验证是否存在 是否存在对应 对应的插件。如果插件存在并且有可分配的

中托管的安装程序，它提供基于 web 用户界面或 RESTful API 用于创建集群配 置。Assisted Installer 会生成一个发现镜像。集群机器使用发现镜像进行引导，它会安装 RHCOS 和代 理。Assisted Installer 和代理一起为集群提供了预安装验证和安装功能。 基于代理的安装程序 基于代理的安装程序 OpenShift Container Platform 4.13 安装 Storage Interface (CSI) 驱动 程序，使集群能够使用各种存储后端。 重要 重要 如果禁用了集群存储功能，集群将没有默认的 storageclass 或任何 CSI 驱动程序。具有管 理员特权的用户可以创建默认存 存储类 储类，并在禁用集群存储功能时手动安装 CSI 驱动程序。 备 备注 注 Operator 创建的存储类可以通过编辑其注解来实现非默认设置，但只要 Operator 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以 仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代 理。 如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映 射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster

中托管的安装程序，它提供基于 web 用户界面或 RESTful API 用于创建集群配 置。Assisted Installer 会生成一个发现镜像。集群机器使用发现镜像进行引导，它会安装 RHCOS 和代 理。Assisted Installer 和代理一起为集群提供了预安装验证和安装功能。 基于代理的安装程序 基于代理的安装程序 OpenShift Container Platform 4.14 安装 Storage Interface (CSI) 驱动 程序，使集群能够使用各种存储后端。 重要 重要 如果禁用了集群存储功能，集群将没有默认的 storageclass 或任何 CSI 驱动程序。具有管 理员特权的用户可以创建默认存 存储类 储类，并在禁用集群存储功能时手动安装 CSI 驱动程序。 备 备注 注 第 第 3 章 章 集群功能 集群功能 25 Operator 创建的存储类可以通过编辑其注解来实现非默认设置，但只要 要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以 仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代 理。 如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映 射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster