Apache OpenWhisk + Kubernetes: A Perfect Match for Your Serverless Platform Ying Chun Guo guoyingc@cn.ibm.com Zhou Xing xingzhou@qiyi.com Agenda • What is serverless? • Kubernetes + Apache • No compute cost when idle Benefits Serverless landscape defined in CNCF Kubernetes + Apache OpenWhisk Kubernetes Introduction § K8s is a production- grade container orchestration platform configuration files. § More introductions, go to • K8s official document http://kubernetes.io • Open Tech Mini Academy @ IBM http://ibm.biz/opentech-ma Kubernetes Resource Model A common resource

Cilium 52. 云服务的碳足迹 53. 容器结构测试 54. Devbox 55. DX DevEx 360 56. GitHub Copilot 57. Insomnia 58. IntelliJ HTTP 客户端插件 59. KEDA 60. Kubeconform 61. mob 62. MobSF 63. Mocks Server 64. Prisma 运行时防护 65. Terratest 66 硬件上运行。对大语言模型进行量化可以减少内存需求，使高保真度模型可以在成本更低廉的硬件甚至是 CPU 上运行。像 llama.cpp 这样的工作使大语言模型可以在包括树莓派、笔记本电脑和通用服务器在内的硬件上运 行成为可能。 许多组织正在部署自托管式大语言模型。这往往是出于安全或隐私方面的考虑，有时是因为需要在边缘设备上 运行模型。开源示例包括 GPT-J、GPT-JT 和 Llama 样地，我们通过对采用默认选择 SPA 发出警告以及将如 Next.js 和 HTMX 等框架与传统的服务器端框架一起列 入，来表达对在服务器上来渲染 HTML 的支持。然而，尽管可以将两者结合使用，也还是可能造成深层次的问 题；这就是为什么我们建议避免服务器端渲染（SSR）的 Web 应用中使用 Web 组件。作为一种浏览器技术，要 在服务器上使用 Web 组件并不容易。已经出现了一些框架来简化这一过程，甚至一些框架中还使用了浏览器引

请求类型 配置说明 HTTP/HTTPS 即向容器发送⼀个 HTTPget 请求，⽀持的参数包括： 路径：访问 HTTP server 的路径。 端⼝：容器暴露的访问端⼝或端⼝名，端⼝号必须介于 1~65535。 HTTP 头：即 HTTPHeaders，HTTP 请求中⾃定义的请求头，HTTP 允许重复的 header。 ⽀持键值对的配置⽅式。 运⾏多久后开始检测（秒）：即 请求类型 配置说明 HTTP/HTTPS 即向容器发送⼀个 HTTPget 请求，⽀持的参数包括： 路径：访问 HTTP server 的路径。 端⼝：容器暴露的访问端⼝或端⼝名，端⼝号必须介于 1~65535。 HTTP 头：即 HTTPHeaders，HTTP 请求中⾃定义的请求头，HTTP 允许重复的 header。 ⽀持键值对的配置⽅式。 运⾏多久后开始检测（秒）：即 >路由，进⼊路由列表⻚⾯。 2.选择所需的集群和命名空间，单击⻚⾯右上⻆的创建路由。 50 3.在弹出的路由创建对话框中对路由规则进⾏配置。 路由规则是指授权⼊站到达集群服务的规则，⽀持 http/https 规则，配置项包括域名、服务名称、服 务端⼝、服务路径、注解和标签等。 4.最后单击确认，返回路由列表。等待⼀段时间，可以看到⼀条路由。 51 编辑路由 1.在

com/kubernetes/minikube 如何在Windows 10上运⾏Docker和Kubernetes？：http://dockone.io/article/8136 启⽤Kubernetes Dashboard 执⾏： kubectl proxy 02-安装单机版Kubernetes 8 访问： http://localhost:8001/api/v1/namespaces/kube-syste 虽然其他Addon不是严格要求的，但所有Kubernetes集群都应该有 cluster DNS ，许多⽤例都依赖于它。 Cluster DNS是⼀个DNS服务器，它为Kubernetes服务提供DNS记录。 Kubernetes启动的容器会⾃动将该DNS服务器包含在DNS搜索中。 Web UI (Dashboard) Dashboard 是⼀个Kubernetes集群通⽤、基于Web的UI。它允许⽤ "value2" } 类似以下信息可记录到Annotation中： 由declarative configuration layer管理的字段。将这些字段附加为Annotation，可将它们与客户端或服务器设置的默 认值、⾃动⽣成的字段或以及auto-sizing或auto-scaling的系统所设置的字段区分开。 构建信息、发布信息或镜像信息，如时间戳、release ID、git分⽀、PR编号、镜像哈希以及注册表地址。

曾在新浪和⾦金金⼭山云负责镜像流量量分析项⽬目 纲要 Kafka 在知乎的应⽤用 为什什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 Apache Kafka 分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 Broker ⽅方式 多集群问题 磁盘是不不得不不考虑的问题 • ⽇日志落盘，⽇日志失效 ⽅方案 • Broker 之间物理理磁盘隔离 磁盘是个⼤大问题 服务器器选型 ⾼高密度存储服务器器 • 多磁盘, 单盘 RAID • 服务器器使⽤用率⾼高 如何管理理集群 集群数增加，导致 集群数增加，导致 Broker 扩张 • 如何调度它们 • 如何管理理它们 服务器器如何管理理 Kubernetes 集群资源管理理和调度 容器器技术提供资源隔离 应⽤用程序管理理 Kafka on Kubernetes 设计 Kafka 容器器 • 内存、CPU、⽹网络和存储 调度 Kafka 容器器 内存 CPU 和⽹网络 内存 和 CPU • 依照集群类型测试基准数据 容器器⽹网络

Kubernetes 架构 Kubernetes 基本概念 - Node 一个 Node 是一个 Kubernetes 众多集群中的一个工作节点，一 个 Node 可以是一台物理服务器或者虚拟机。一个 Node 的作 用是用来运行 pods 的环境，并且被 Master 组件所管理。一个 Node 包含如下组件： • Docker/rkt • kubelet • kube-proxy ��������! ����! ����! ���������! ����! ��! ������! �������! ����! ����! ����! ��! ����! ����! Apache PaaS ��! …! 在企业级架构中，Kubernetes 更多是作为一个核心组件进行部 署。在这个核心组件的外围，我们还有其他的功能需要提供。 用户管理 • 按资源组和层级用户的区分 是一个使用数据流图进行数值计算的开源软件 库。图中的节点代表数学运算， 而图中的边则代表在这些节 点之间传递的多维数组（张量 。这种灵活的架构可让您使 用一个 API 将计算工作部署到桌面设备、服务器或者移动设 备中的一个或多个 CPU 或 GPU。 TensorFlow 最初是由 Google 机器智能研究部门的 Google Brain 团队中的研究人 员和工程师开发的，用于进行机器学习和深度神经网络研

图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1 accept' # firewall-cmd --run�me-to-permanent # firewall-cmd --list-all ★如果有硬件交换机做ACL或基于云的安全组做访问控制，则可关闭服务器上的 防火墙软件 ⑨加载ipvs模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <服务器上，再docker load导入；或者使 用内部registry仓库（内部registry镜像仓库里要有以上7个镜像） ★直接使用命令行方式初始化集群 （以下是非HA模式的master初始

客户的需求不仅仅是更多的计算能力 Ø 安全性：更小的Attack Surface Ø 易于提供有状态服务 Ø 传统应用容易迁移 Ø Windows应用容易迁移 Ø 易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择 云平台技术选型 容器编排系统的选择 ——Kubernetes的优势 vs. Mesos and Swarm Ø 来自Google的简单一致的设计理念 Ø如何用HAProxy给HTTPS服务做负载均 衡 Ø 解决方案 ØTCP透传模式 Ø不要用HTTP模式，而要用TCP模式做负载均 衡，TCP可以透传TLS连接 Ø后端服务器都要有服务器证书 ØHAProxy认证模式 ØTLS服务器终点为HAProxy，后端连接为明文 TCP Ø要把服务器证书配置到HAProxy上 OpenStack里MySQL Galera 集群高可用 Ø问题 器和虚拟机组合服务 ØKubernetes专为生产环境打造 的容器集群系统 Ø支持多租户的网络解决方案： 租户隔离、负载均衡、外网访 问、端口映射、二级域名 轻元数据中心操作系统 http://www.qingyuanos.com/opening.html sales@qingyuanos.com xwang@qingyuanos.com

通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台 商业增强特性 11 国内首发Windows容器服务：帮助企业实现海量Windows应用轻松容器 化上云 根据第三方咨询公司统计，大约有80%以上的企业现有系统仍是通 过Windows Server部署运维在服务器上，统计显示Windows Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力 Node Node Node 集群 CCE 云容器引擎 部署 SWR容器 镜像仓库 研发交付 容器镜像 Node 客户问题： •用户流量存在明显波峰波谷，传统部署方式伸缩效率低 •服务器开服频繁，传统部署耗时长 •特性迭代快速，升级频繁，传统方式效率低，断服时间长 •公司遗留内部运维（CI/CD）系统，需要对接公有云 •国内其他云厂商的容器服务问题较多、很不成熟 华为方案价值：

Alibaba Cloud Serverless Kubernetes 2018.5 Y Serverless Kubernetes容器服务 - 按照应用使用资源付费 - 无需管理服务器节点 容器调度与编排 经典Kubernetes容器服务 - 按照集群节点数量付费 ECS Pod Pod Pod Pod ECS Pod Pod Pod Pod Node-2 Pod Pod Node-1 Pod Pod Node-N ECI Provider 虚拟节点 • 无限弹性，敏捷扩容 • 支持pod之间互联互通 无需管理服务器 Without managing servers 用户只需关注容器应用 • Zero server ops • Focus on application • 容量规划：节点数量选择和扩容 messages processing • Stream processing at scale • Chat bots • Batch jobs or scheduled tasks • HTTP REST APIs and web applicated • Mobile backends • Continuous Integration Pipeline • Data Analytics