24-云原生中间件之道-高磊角色、流程以及技术的方案! 传 统 安 全 工 作 传 统 由 独 立 安 全 工 程 师 负 责 , 与 开 发 人 员 沟 通 安 全 问 题 , 产 生 大 量 沟 通 成 本 传 统 安 全 检 查 编 码 和 测 试 之 后 , 安 全 工 程 师 才 介 入 , 如 果 发 现 问 题 , 又 需 要 研 发 修 复 和 重 新 测 试 , 严 重 影 响 效 率 传 统 安 全 流 程 强 环境建议使用。 成本较高,所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 应用透明,全局管理视角,细粒度安全策略 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 云原生 DB 轨迹查 询|实时 监测 MR 云原 生DB 统计 分析 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中,分析结果输出到用户的监控前端系统展示,实现物联网数据的实时0 码力 | 22 页 | 4.39 MB | 6 月前3
Consul及Consul
Connect介紹Easy 劉宇雷-Hashicorp Solutions Engineer Agenda 1. 服務網格是什麼? 簡要歷史回顧 2. 什麼是Consul,它如何工作? 3. 演示: 如何在非容器化的環境下使用Consul的服 務網格 4. 問&答 ⁄ 簡要歷史回顧: 從單體式軟件到微服務 The Dawn of Time (pre-2010) In the beginning was ⽀持多數據中⼼已經⾃動在多數據中⼼之間進主憊 切換 DNS Interface 通過內置的DNS功能,為傳統應⽤提供服務發現 健康檢查 通過分布式健康檢查,快速發現不健康節點及服務, 並將業務⾃動轉到健康節點. HTTP Interface HTTP API 提供節點、服務以及健康檢查的詳細信 息,⽅便⾃動化⼯具與服務進⾏適時交互 負載均衡 ⾃動對應⽤內的東⻄向業務進⾏負載均衡. Consul0 码力 | 26 页 | 6.71 MB | 1 年前3
基于Consul的多Beats接入管控与多ES搜索编排CgroupQuato Actions CMDBs IPs Dockers HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表, 并向Master发起Agent注册逻辑,获取agent id 配置获取 从Cons watch配置变化 9 Agent运行时 10 日志接入 购买云ES 录入ES 创建主机组 添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置,关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 单次bulk size 调大 Es性能分析 对比 自建 日志平台接入 上报延时分析 无法实时感知日志积压情况 日志延时dashboard快速定位 Filebeat性能分析 依赖白金版monitor机制 不依赖es版本、结合cpu/mem限额配置与实时 指标采集分析 Filebeat性能调优 需要修改配置文件不断尝试 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务0 码力 | 23 页 | 6.65 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)原生技术架构的典型特征包括:极致的弹性能力,不同于虚拟机分钟级的弹性响 应,以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应;服 务自治故障自愈能力,基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制,可实现应用故障的自动摘除与重构,具有极强的自愈能力及随意处置 性;大规模可复制能力,可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见,云原生作为一种新兴的安全理念,是一种构建和运行应用程序的 细分为需求、设计、编码、测试、集成、交付、防护、检测和响 应阶段;而纵轴则是按照云原生系统和技术的层次划分,包括容器基础设施安全、 容器编排平台安全、微服务安全、服务网格安全、无服务计算安全五个部分,二 维象限中列举安全机制(蓝色标注部分)已经基本覆盖全生命周期的云原生安全 能力。此外,DevSecOps 涉及的能力范围几乎覆盖了横轴和纵轴的各个阶段, 如图中的紫色部分。最后,云原生安全体系中还包括了一些通用技术能力(黄色 ,一是面向云原生环境的安 全,其目标是防护云原生环境中的基础设施、编排系统、微服务、无服务和服务 网格等安全。二是具有云原生特征的安全,指具有云原生的弹性敏捷、轻量级、 可编排等特性的各类安全机制。在此基础上,未来云原生环境必将与云原生技术 的安全互相融合,成为统一的整体,并且将经历如下三个发展阶段: (1)安全赋能于云原生体系,构建云原生的安全能力。当前云原生技术发 展迅速,但相应的0 码力 | 72 页 | 2.44 MB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时按需扩展/收缩所用 资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 Controller Pod,Deploymen t,etc. API Server Kubectl Custom Controller Custom Resource(CR) Operator机制 Pod,Deployment, etc Spec (K8s Yaml) Custom Resource Spec (K8S yaml) 通过拓展实现自定义控制器来实现对非标准资源的纳 管,比如数据库的自动拓展能力或者自动化数据同步0 码力 | 42 页 | 11.17 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊价水平和业务发展状况),提供了降 价以外的竞争手段,并获得更密切的客户关系。不利因素体现在业务发展风险,实际业务量达不到预测水平或装机容量导致货款无法 全部收回,回款周期拉长导致客户信用风险放大,存在合同条款风险(双方权责、收入确认机制、资产转移等)。 云原生商业模式 云原生,天然的就是正和博弈关系,那是因为云原生就是为利用云的优势,由于它面向应用赋能反过来促进了云资源的销售 ISV 客户 云厂商0 码力 | 20 页 | 5.17 MB | 6 月前3
Rainbond服务日志管理Rainbond⾃自身的⽇日志管理理机制 2.对接 Elasticsearch 3.演示示例例 ⼤大纲 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.2 Rainbond⽇日志收集原理理 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.3 ⽇日志来源,以及相关原理理 node服务功能与⻆角⾊色0 码力 | 11 页 | 1.62 MB | 1 年前3
Rainbond安装与运维原理解读留留意的地⽅方,脚本怎么运⾏行行的,都做 了了什什么,安装流程是什什么样的等等安装原理理 以及 安装完成后,服务是怎么运⾏行行起来的,以什什么样的⽅方式,配置怎么修改能⽣生效 健康检测的机制是什什么样的,失败了了会怎么样等等运维问题 RAINBOND 线上培训(第九期) 2019/8/8 1. RAINBOND安装与运维原理理解读 1.1 安装原理理 我除了会详细的讲解 RAINBOND安装与运维原理理解读 问题的答案: RAINBOND 线上培训(第九期) 2019/8/8 1. 同⼀一个节点可以复⽤用哪些属性: 节点可以复⽤用所有属性,⽽而且根据ETCD集群选举机制,管理理节点可以为1、3、5奇数个 那么我们可以⽤用⼏几台服务器器搭建⾼高可⽤用集群呢?答案是3 2. 服务组件依赖关系:详⻅见依赖关系列列表 https://www.rainbond.com0 码力 | 12 页 | 311.60 KB | 1 年前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 数据库框架使用的约束: 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累;0 码力 | 23 页 | 1.91 MB | 6 月前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践com/volcano-sh/volcano/master/installer/volcano-development.yaml volcano-scheduler-configmap 示例 vcjob 示例 Volcano 内部机制 kube-apiserver Cache enqueue allocate preempt OpenSession CloseSession DRF plugin Priority 用户案例:锐天投资基于Volcano的分布式计算平台 业务场景: • 金融投资公司,业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求: • 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch Job 解决方案: •0 码力 | 18 页 | 1.82 MB | 1 年前3
共 21 条
- 1
- 2
- 3













