★附、安装cri-dockerd Kubernetes自v1.24移除了对docker-shim的支持，而Docker Engine默认又不支持 CRI规范，所以k8s-v1.24开始不直接支持docker。为此，Miran�s和Docker联合创 建了cri-dockerd项目，用于为Docker Engine提供一个能够支持CRI规范的垫片， 从而能够让Kubernetes基于CRI控制Docker,但是这种架构缺点也很明显，调用链 monit.daemonset.yml #应用 # kubectl get daemonset #查看 ★Job控制器 job控制器用于运行一次性pod（如执行sql脚本或一次性备份任务等）容器中的 进程在正常运行结束后，置为completed状态，且不会再重启，如果进程运行失 败，则根据配置决定是否要重启 # vi xx-job.yml #内容如下 ③创建Secret secret资源是区分命名空间的 ★命令行方式创建secret 创建账号密码验证secret # kubectl create secret generic database-auth --from-literal=username=root --from- literal=password=passwd123 创建存储于某文件的认证secret # kubectl

对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。 Docker Engine（docker）：docker引擎，负责本机的容器创建和管理工作。 12 www.h3c.com Confidential 秘密 12 12 K8s基本概念和术语介绍（Pod） Pod： 对资源进行分配、调度、配置、部署等工作。 Lable就是给资源对象打一个标签，然后通过Label Secletor（标签选择器）查询和筛选拥有某些Label的资源对象， k8s通过这种方式实现了类似SQL的简单和通用的对象查询机制。 标签选择器可以类比SQL语句中的where查询条件，例如name=redis-salve 表示只查询名字为redis-salve的资源对 象。 env != production: 匹配所以不具有标签 点不属于这个k8s集群，这个也表明k8s集群之外的节点访问k8s集群 内的某个节点或者TCP/IP服务时，必须使用Node IP进行通信。 Pod IP是每一个Pod的IP，他是Docker Engine根据docker0网桥的IP地址进行分配的，通常是一个虚拟的二层网络。 k8s位于不同Node上的Pod能够直接通信，所以k8s里的一个Pod里面容器访问另一个Pod里面的容器，就是通过Pod IP

architecture Application architecture PHP-based Admin application Shared state in Redis and SQL database Scalable userfacing API in GoLang Queuing system Application technologies Best of breed-technologies

与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩ S端点提供的证书，也不会 提供客户端凭据——因此，尽管连接将被加密，它不会提供任何诚信保证。这些连接在不受信任/公共⽹络上运⾏并不 安全。 SSH隧道 Google Container Engine 使⽤SSH隧道来保护Master -> 集群的通信路径。在此配置中，apiserver会启动⼀个SSH隧道 到集群中的每个Node（连接到监听端⼝22的ssh服务器），并通过隧道传递⽬标为k 的话）、OS名称。信息由Kubelet从Node收集。 Management（管理） 与 pods 、 services 不同，Node不是由Kubernetes创建的：它是由Google Compute Engine等云提供商在外部创建 的，或存在于物理机或虚拟机池中。这意味着当Kubernetes创建⼀个Node时，它只是创建⼀个表示Node的对象。创建 后，Kubernetes将检查Node是否有效

提供了从开发到生产的安全状态的统一视图，因此我们将其放入试验阶段。 31. Trino 试验 Trino 以前被称之为 PrestoSQL，是一个专为面向大数据交互式分析查询而设计的开源分布式 SQL 查询引擎。经 过优化后，它可以在本地或者云上环境运行，并支持对 Hive、Cassandra、关系型数据库、甚至专有数据存储 等多种不同的数据源进行查询。它支持基于密码的认证、LDAP 和 OAuth Thoughtworks, Inc. All Rights Reserved. 26 42. dbt 采纳 dbt 仍是我们在 ETL 工作流程中进行数据转换的首选工具。我们喜欢它的工程严谨性和它在 SQL 数据转换中实 践模块化、可测试性、和可复用性的能力。 dbt 有开源和商业化 SaaS 产品两种版本和健康的生态，包括一个 提供了许多用于单元测试、数据质量、数据可观测性等软件包的社区。这些包中尤为值得注意的是用于监测数 dbt-unit-testing。dbt 很好地集成了各种云数 据仓库、数据湖和数据库，包括 Snowflake，BigQuery，Redshift，Databricks 和 Postgres。当需要处理结构 化数据并且能使用 SQL 进行数据转换时，我们的团队们倾向于 dbt，因此我们将它移至采纳阶段。 43. Mermaid 采纳 Mermaid 通过使用类似 Markdown 的标记语言来生成图表。自从上次在技术雷达中介绍以来，Mermaid

k8s://https://192.168.45.93:5443 \ --deploy-mode cluster \ --name query \ --class com.databricks.spark.sql.perf.BenchmarkQuery \ --conf spark.kubernetes.volcano.enable=true \ --conf spark.kubernetes.volcano podgrup4 Solution: Pod delay creation l Spark-sql-perf(TPC-DS, master) l 26 concurrent l 4 nodes(8core, 64G, HDD) l Kubernetes 1.13 l Spark-sql-perf(TPC-DS, master) l 104 concurrent l 4 nodes(8core

• ��������Session�� • �����������TraceId�� ������� ������� ������ ����� ������� ���������� SQL92�� ��/�� Join����� IP���� ���� ������ ��� ���� ��� ���� �������� ����(1/2) • ������ • ��������� OSS Hybrid Storage Array Massive Structured, Unstructured & Semi- structured Data SQL�NoSQL Log Service / LogShipper Mobile & Web IoT Mobile Logs Web Text & Logs Services & Languages

(GKE) PaaS (GAE) Serverless (GCF) App Engine 以原始碼為基礎佈署 Kubernetes Engine 以容器為基礎佈 隨選生成的K8S叢集 Compute Engine 隨選生成的虛擬機 IaaS and PaaS at Scale Google App Engine #全代管服務 #以容器為基礎 #適合Web應用 #適合Api #全自動擴展+強大的負載平衡 自我修復，重新啟動失敗的容器 ○ 橫向縮放，自動調整應用程序副本數 ○ 自動部署和回滾，逐漸部署對應用程序或其配置的更改， 在出現 問題時恢復更改 Google Kubernetes Engine ● Google Kubernetes Engine GKE ○ 在 Google Cloud 提供技術的 Kubernetes 上部署、管理容器化應用程式及調整資源 為何 Google GKE 是佈署 K8S Catalog Container Registry & Builder Stackdriver Logmon GCP Services Google Kubernetes Engine Node Control Plane Node “Bring-your-own” Kubernetes Node Control Plane Node GKE On-Prem

Bins/Libs App 3 Bins/Libs Container Engine Docker Host What is Kubernetes? 13 OS App 1 Bins/Libs App 2 Bins/Libs App 3 Bins/Libs Container Engine Docker Host Kubernetes Slave OS App App 2 Bins/Libs App 3 Bins/Libs Container Engine Docker Host Kubernetes Slave OS App 1 Bins/Libs App 2 Bins/Libs App 3 Bins/Libs Container Engine Docker Host Kubernetes Slave Kubernetes Master vRealize Ops, Log Insight For Comprehensive Visibility 32 UI and API Backend Advanced Analytics Engine Metrics Collection and Storage Iterate & Troubleshoot Issues Trend & Alert on Anomalies Visualize

vip/f rame/core/logger.html 报警 索引收敛 日志分类 • 框架日志 • 业务日志 • 慢日志 • Error日志 • Panic日志 mysql的方法叫sql，redis方法叫cmd，框架这里全部统一 用method。降低索引个数 微服务的治理阶段 监控 日志 链路 限流熔断 https://ego.gocn.vip/f rame/core/logger