Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gan • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 • 50+ 企业生产落地 resource support • 首个Batch调度器 ü 2022年Volcano成为Spark on kubernetes的首个 batch调度器 ü 1.5K Pod/s 的大规模批量任务调度能力 Spark基于Volcano的用法 1. Specify custom scheduler 2. Specify custom feature step 3. Specify scheduler

云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP TOP10 业务逻辑漏洞 水平/垂直越权、短信轰炸、批量注册、验 证码绕过等 合规需求、安全配置 未能满足安全合规、未建立安全基线、敏 感数据泄漏 开源组件/闭源组件 CNNVD、CNVD、CVE等 开源许可风险 自研代码 容器环境镜像风险 ices.user.id 序号 含义 API1 失效的对象级授权 API2 失效的用户认证 API3 过度的数据暴露 API4 资源缺失和速度限制 API5 功能级别授权已损坏 API6 批量分配 API7 安全性错误配置 API8 注入 API9 资源管理不当 API10 日志和监控不足 解决方案： • API资产梳理（暴露面、风险分析） • API链路调用威胁阻断 • OWASP

人信息合规问题，通过自动化方式 提供合规检测手段 l 手机端：解决现行手机端用户便利 性的同时带来的安全问题 l 能力输出：针对自有安全能力可以 增值输出政企客户 安全管控-镜像扫描 在自动、增量、批量进行镜像上线前的扫描后，生产节点拉取安全镜像，运行后提供服务，但漏洞问题日新月异，有很多迭代 速度慢的业务应用随着时间的推移，一些新的漏洞也需及时发现整改。镜像扫描工具会自动、周期性对已上线业务应用的镜像进行

通过勾选来确认是否安装相应的模块，注意勾选下Kiali Kiali； 点击 部署Istio 按钮，⼏几⼗十秒钟之后即可完成部署。 ⾃自动 Sidecar 注⼊入 查看namespace： 点击编辑，为 default 命名空间打上标签 istio-injection=enabled。 创建Ingress查看Kiali 路路由-> 命名空间istio-system,点击创建。输⼊入名称为kiali

Nocalhost 能给他们 带来什么。 开发⼈员： 摆脱每次修改需要重新 build 新镜像以及⻓时间的循环反馈，修改代码⽴即⽣效 ⼀键部署开发环境，摆脱本地环境搭建和资源不⾜的限制 本地 IDE 编辑器和开发环境联动，⽀持远程调试 图形化的 IDE 插件，⽆需熟悉 kubectl 命令即可完成云原⽣环境下的开发 管理⼈员： 统⼀管理微服务应⽤包，降低应⽤的维护成本 统⼀管理开发环境和集群，提⾼集群资源的利⽤率，同时具备隔离特性