Volcano加速金融行业大数据分析平台云原生化改造的应用实践计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/master/installer/volcano-development.yaml volcano-scheduler-configmap 示例 vcjob 示例 Volcano 内部机制 kube-apiserver Cache enqueue allocate 金融投资公司,业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求: • 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案: • Volcano 统一支持AI、数据ETL和离线Batch job0 码力 | 18 页 | 1.82 MB | 1 年前3
多云下的云原生之道multicloudMULTI-VERSION ��� AI-based interaction- Watson Conversation, SlackBot …. Hybrid Control Plane Resources, Configurations, Automation, Work Distribution, Policy, Security, Compliance Development & Programming IBM Cloud Private IBM DevOps Hybrid Cloud Management Enterprise Infrastructure Application Development, Integration, Operations & Management Next Generation Middleware, Data, Integration & Analytics0 码力 | 7 页 | 1.86 MB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT:安全、稳定、性能 敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 BPM MES 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型 应用价值提升 应用数量增长 应用类型丰富 应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… 30%,弹性资源成本减少 40% 以上。 总体趋势分析 在多种新旧应用承 载诉求推动下,催 熟云计算架构的全 栈化和软硬一体化 带来更敏捷的体验 容器多样化 应用规模的剧增,成 本诉求越来越成为主 体,基于AI的自动化 将精益化资源管理, 带来更好的成本控制 高度自动化 应用上云,安全问题 凸现,在云原生新架 构下,需要打造端到 端的容器安全网 零信任 企业数字化转型急需高度自动化 的、面向应用的极简云体验0 码力 | 42 页 | 11.17 MB | 6 月前3
24-云原生中间件之道-高磊企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;2020年井喷的远程办公,拷问传统安全边界防线,让“零信任”这一有着十年历史的理念再次受到关注,成为企业构建后疫情时代安全体系 将消息的富客户端 能力下沉到SideCar, 将消息的服务发现、 负载均衡、流量监 控等职责与业务逻 辑隔离,在运行时 完成透明装配,同 时提供细粒度的消 息灰度和治理能力 高级能力-云原生大数据|AI-业务赋能的基石-1 大数据发展了近30年,甚至比云计算的历史还要 早,它带有那个时代的架构思路,体系庞大而且 复杂,因为业务上极其重要的地位,发出现先发 的优势,但是带来了后发的劣势: • 大数据平台为业务的营销、决策等活动进行 和未来的企业需求进行渐进式改造推进是比 较合理的方式。(阿里巴巴甚至根据新时代的 诉求,把原先的大数据平台JStorm都给舍弃 掉,全面奔向MaxCompute云原生体系) 高级能力-云原生大数据|AI-业务赋能的基石-2-架构改造上的问题和困难 • 弹性扩缩容能力无法满足快速增长的业务需求:随着业务的发展,流量和数据量突增,尤其对于实时计算,需要资源 能够及时的扩容,以满足业务需求。尽管一些大数0 码力 | 22 页 | 4.39 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊现问题根因所在周期长,依靠人的经验 (并且人的经验无法数据化沉淀),而 得到问题根因后,只能通过人工去修复 或者管理 • 而大数据或者基于监督的AI技术的成熟、 运维领域模型趋于完整、云原生底座也 更成熟的基础上,利用大数据分析根因 (关联性分析)和利用AI进行基于根因分 析的自动化处理成为可能。 • 在精细化的基础上,完整较为成熟的自 动化能力,节约了人力成本同时提高了 效率,也极大得保证了业务连续性。 基于OAM的软件交付理念和工具重新定义了内部的DevOps流程,实现了应用的“一键安装、多 处运行”的应用编排目标 AIOps精细化运维 依托于K8S和ServiceMesh等度量数据精确性的提升,并给予AI算法从不同维度计算应用架构运 行态势,实现基于响应的自动化运维方案,大大降低了用户使用门槛,更安全更可靠的交付 最终软件产品。 目前的重点在于底座进一步实现应用与底层基础设施解耦,全面提升研发、运维效率,降低应用落地的整体成本0 码力 | 20 页 | 5.17 MB | 6 月前3
14-Chaos Mesh 在网易伏羲私有云自动化故障注入实践-张慧 为什么混沌测试 什么是混沌测试 如何选择混沌测试工具 为什么是 Chaos Mesh Chaos Mesh 在网易伏羲的实践 网易伏羲私有云简介 网易伏羲私有云简介 AI 模型 支撑游戏业务 云游戏 为什么混沌测试 为什么混沌测试 为什么混沌测试 理想下,系统用不 宕机,100%可用 比如机房突然断电 事故突然的到来 为什么混沌测试0 码力 | 25 页 | 3.33 MB | 6 月前3
02. Kubevela 以应用为中心的渐进式发布 - 孙健波Multi-env Deployment Controller Dependency Manager KubeVela 的整体架构 BaaS 阿里巴巴的应用管理实践 电商 PaaS 应用交付平台 AI PaaS 应用管理服务 Kubernetes 内部终端用户 我们在这里 Alibaba Cloud Infrastructure Alibaba Internal Infrastructure0 码力 | 26 页 | 9.20 MB | 1 年前3
云原生中的数据科学KubeConAsia2018FinalProblem Discovery Development The Process Business Need / Problem Discovery Development Production / Actual User Impact The Process Business Need / Problem Discovery Development Production / Actual Actual User Impact The Process Business Need / Problem Discovery Development Production / Actual User Impact The Data Science Pipeline Pipelines The Data Science Pipeline Principles 1. Autonomy0 码力 | 47 页 | 14.91 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)Security Testing 动态应用安全测试 DDoS Distributed Denial of Service 分布式拒绝服务 DevOps Development Operation 开发、运营 DevSecO ps Development Security Operation 开发、安全、运营 DoS Denial of Service 拒绝服务 IaC Infrastructure-as-Code0 码力 | 72 页 | 2.44 MB | 1 年前3
共 9 条
- 1













