Volcano加速金融行业大数据分析平台云原生化改造的应用实践• 不支持多场景的Resource reservation,backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 Volcano-scheduler … Kube-apiserver Job/JobFlow Queue vc-controller vc-scheduler vsub kubectl Node NUMA GPU Node NUMA GPU … VolcanoGlobal 架构 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s Entry-point • Project Management Data Science in a box (Advanced analytics toolbox) • Data Discovery • Metadata engine • SQL+BI toolset • Dashboarding Information reference: https://volcano.sh0 码力 | 18 页 | 1.82 MB | 1 年前3
01. MOSN 高性能网络扩展实践 - 王发康SOFARegistry Consul Nacos Consul Others Control Plane MCP Data flow Control flow xDS Discovery Client Metrics Admin REST API Request Request MOSN 做业务扩展 • 扩展非 xDS 服务发现 • 扩展 L4/L7 filter Header to metadata http filter Router http filter Cluster subset LB Cluster Manager/xDS Discovery 1 2 4 1 2 Envoy MOSN Data flow Control flow GoLang L7 extension SDK GoLang L7 extension xDS Discovery Client Admin API REST API Request REST API Callback Callback MOSN 和 Envoy 的相关服务元数据信 息,是如何交互管理的? 通过扩展 Envoy 中的 Admin API 使 其支持 xDS 同等功能的 API, MOSN 集成的 Service Discovery 组件通过 该0 码力 | 29 页 | 2.80 MB | 1 年前3
02. Kubevela 以应用为中心的渐进式发布 - 孙健波模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json schema) 示例:上线新功能 metrics 平台研发团队: ● 开发了一个新 Operator 叫做 metrics(监控) ● 编写一个 K8s 能力描述文件 metrics.yaml 平台管理员: ● 执行 $ kubectl apply -f metrics.yaml 用户: Autoscaling Rollout Route Web Service attach to End Users others ... Addon Registry Addon Discovery Cron Job App Controller Application Helm Controller Database Rollout Controller Revision0 码力 | 26 页 | 9.20 MB | 1 年前3
云原生中的数据科学KubeConAsia2018Final18 The Process Business Need / Problem Discovery The Process Business Need / Problem Discovery Development The Process Business Need / Problem Discovery Development Production / Actual User Impact Impact The Process Business Need / Problem Discovery Development Production / Actual User Impact The Process Business Need / Problem Discovery Development Production / Actual User Impact The Data0 码力 | 47 页 | 14.91 MB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊定制化能力,才能成为云原生 的操作系统。 标准化能力-分布式操作系统核心-容器服务-Operator API Server Kubectl Controller Pod,Deploymen t,etc. API Server Kubectl Custom Controller Custom Resource(CR) Operator机制 Pod,Deployment, etc Spec (K8s aS层的构建起到了非常重要的作用 现在 Node A 业务逻辑 熔断器 服务发现 网络堆栈 Node B 业务逻辑 熔断器 服务发现 网络堆栈 Node A 业务逻辑 网络堆栈 Node B 业务逻辑 网络堆栈 熔断器 服务发现 熔断器 服务发现 SideCar SideCar Node A 业务逻辑 网络堆栈 Node B 业务逻辑 网络堆栈 熔断器 服务发现0 码力 | 42 页 | 11.17 MB | 6 月前3
24-云原生中间件之道-高磊制 应用透明,全局管理视角,细粒度安全策略 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 采用IpTables,有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案, 为Mesh打造具备API感知和安全高效的网络层安全解决方案, 克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 式部署、管理方案,且和容器服务生态深 度融合,提供适配云原生应用的各种能力。 从实现上,可以认为 Rook 是一个提供了 Ceph 集群管理能力的 Operator。其使用 CRD 方式来对 Ceph、Minio 等存储资源进 行部署和管理。 Ceph文件存储 MiniO对象存储 • Operator:实现自动启动存储集群,并监控存储守护进程,并确保存储 集群的健康; • Agent:在每个存储节点上运行,并部署一个 CSI0 码力 | 22 页 | 4.39 MB | 6 月前3
consul 集群搭建consul agent -data-dir /tmp/node0 -node=node0 -bind=192.168.64.59 -datacenter=dc1 -ui - lient=192.168.64.59 -server -bootstrap-expect 1 consul agent -data-dir /tmp/node1 -node=node1 -bind=192.168.64.94 -datacenter=dc1 -datacenter=dc1 -ui consul agent -data-dir /tmp/node2 -node=node2 -bind=192.168.64.249 -datacenter=dc1 -ui client=192.168.64.249 consul join 192.168.64.59 consul members -rpc-addr=192.168.64.59:8400 agent -data-dir /tmp/node0 -node=node0 -bind=192.168.64.59 -datacenter=dc1 -ui -server bootstrap-expect 1 consul agent -server -bootstrap-expect 3 -data-dir /tmp/consul -node 192.168.64.59-datacen er0 码力 | 2 页 | 124.59 KB | 1 年前3
Consul及Consul
Connect介紹between services. � Crawl Deploy Consul, register some services, start using it for service discovery. � Run Connect multiple datacenters, incorporate both Kubernetes and legacy environments,0 码力 | 26 页 | 6.71 MB | 1 年前3
1.3 MOSN 在云原生的探索及实践和 Envoy 的相关服务元 数据信息,是如何交互管理的? 通过扩展 Envoy 中的 Admin API 使其支持 xDS 同等功能的 API, MOSN 集成的 Service Discovery 组件通过该 API(rest http) 和 Envoy 交互 使其 MoE 的服务发现能力也 具备“双模”能力,可同时满足 大规模及云原生的服务发现通 道 MOE 方案介绍 — 如何0 码力 | 36 页 | 35.61 MB | 1 年前3
云原生图数据库解谜、容器化实践与 Serverless 应用实操Maintainer ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践:OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现,解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar 世界上唯⼀能够容纳千亿顶点和万亿条边,并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control Loop Calling Nebula Cluster . ├── apis �� │ └── vesoft-inc/nebula-operator Nebula Operator Roadmap Rolling Upgrade Auto Scaling Integration with other Services Check out our Github Repo and contribute! vesoft-inc/nebula-operator Wey Gu 古思为 @wey_gu0 码力 | 47 页 | 29.72 MB | 1 年前3
共 24 条
- 1
- 2
- 3













