 云原生图数据库解谜、容器化实践与 Serverless 应用实操vesoft-inc/nebula 上⼿ GraphDB on K8s 应⽤场景 - Nebula on Kubsphere - Demo 图数据库的应⽤场景 典型场景 社交⽹络 ⻛险控制 公共安全 知识图谱 机器学习 ⽣化制药 物联⽹ 区块链 数据⾎缘 智能运维 tech.meituan.com/2021/04/01/nebula-graph-practice-in-meituan.html KubeSphere 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ KubeSphere 上的图数据库 KubeSphere 上的 OpenFunction Siwi,⼀个基于 Nebula 的单⼀领域问答机器⼈ Nebula-Siwi on FaaS on KubeSphere d 0 d 10 码力 | 47 页 | 29.72 MB | 1 年前3 云原生图数据库解谜、容器化实践与 Serverless 应用实操vesoft-inc/nebula 上⼿ GraphDB on K8s 应⽤场景 - Nebula on Kubsphere - Demo 图数据库的应⽤场景 典型场景 社交⽹络 ⻛险控制 公共安全 知识图谱 机器学习 ⽣化制药 物联⽹ 区块链 数据⾎缘 智能运维 tech.meituan.com/2021/04/01/nebula-graph-practice-in-meituan.html KubeSphere 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ KubeSphere 上的图数据库 KubeSphere 上的 OpenFunction Siwi,⼀个基于 Nebula 的单⼀领域问答机器⼈ Nebula-Siwi on FaaS on KubeSphere d 0 d 10 码力 | 47 页 | 29.72 MB | 1 年前3
 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)(4)API 安全审计工具 该工具通过对 API 资产的流量上下文及敏感数据的持续分析,可以实时发 现 API 资产的授权类、认证类、数据暴露类、配置及设计不合理等各类逻辑漏 洞,通过外部情报和机器学习模型来感知针对 API 的低频慢速的攻击风险,使 用账号、IP、访问时间、访问 API、访问敏感数据等多重维度建设的 UEBA 模 型来感知账号共用、借用、盗用等行为导致数据泄露的攻击风险。 特征匹配的模式下,可能对风险有所遗漏。所以可对业务行为建立模型,在一定 周期内,形成业务行为基线,从而发现模型外的异常行为,进一步发现未知漏洞 攻击等行为。并可将行为模型关联业务镜像,使得模型可复用,减少容器多副本 时学习的多余资源开销。 (5)历史数据留存 事后溯源是安全的重要组成部分,但容器在消逝后,未做持久化的数据将会 丢失,且容器在运行过程中的行为也不会被记录,使得溯源极为困难。基于此, 组织需建立对0 码力 | 72 页 | 2.44 MB | 1 年前3 云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)(4)API 安全审计工具 该工具通过对 API 资产的流量上下文及敏感数据的持续分析,可以实时发 现 API 资产的授权类、认证类、数据暴露类、配置及设计不合理等各类逻辑漏 洞,通过外部情报和机器学习模型来感知针对 API 的低频慢速的攻击风险,使 用账号、IP、访问时间、访问 API、访问敏感数据等多重维度建设的 UEBA 模 型来感知账号共用、借用、盗用等行为导致数据泄露的攻击风险。 特征匹配的模式下,可能对风险有所遗漏。所以可对业务行为建立模型,在一定 周期内,形成业务行为基线,从而发现模型外的异常行为,进一步发现未知漏洞 攻击等行为。并可将行为模型关联业务镜像,使得模型可复用,减少容器多副本 时学习的多余资源开销。 (5)历史数据留存 事后溯源是安全的重要组成部分,但容器在消逝后,未做持久化的数据将会 丢失,且容器在运行过程中的行为也不会被记录,使得溯源极为困难。基于此, 组织需建立对0 码力 | 72 页 | 2.44 MB | 1 年前3
 36-云原生监控体系建设-秦晓辉数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 •新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系 apiserver 在 Kubernetes 架构中,是负责各种 API 调用 的总入口,重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里,所以进程占用的 内存,所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 k8s/apiserver- dash.json • apiserver_request_total 减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法:如果是容器环境,Pod 内 sidecar 的方式部署 statsd;如果是物理机虚拟机环境,每个机器上部署一 个 statsd 的 agent,接收到数据之后统一推给服务端 Pod-001 业务 容器 agent Pod-002 业务 容器 agent 监控服 务端 VM-0010 码力 | 32 页 | 3.27 MB | 6 月前3 36-云原生监控体系建设-秦晓辉数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 •新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系 apiserver 在 Kubernetes 架构中,是负责各种 API 调用 的总入口,重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里,所以进程占用的 内存,所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 k8s/apiserver- dash.json • apiserver_request_total 减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法:如果是容器环境,Pod 内 sidecar 的方式部署 statsd;如果是物理机虚拟机环境,每个机器上部署一 个 statsd 的 agent,接收到数据之后统一推给服务端 Pod-001 业务 容器 agent Pod-002 业务 容器 agent 监控服 务端 VM-0010 码力 | 32 页 | 3.27 MB | 6 月前3
 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java 计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累; 1)引入框架,研发人员 2)引入中间件,研发人员+运维人员=》研发团队 3)引入数据库,研发+运维+DBA=》研发中心、CTO/公司管理层0 码力 | 23 页 | 1.91 MB | 6 月前3 12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java 计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累; 1)引入框架,研发人员 2)引入中间件,研发人员+运维人员=》研发团队 3)引入数据库,研发+运维+DBA=》研发中心、CTO/公司管理层0 码力 | 23 页 | 1.91 MB | 6 月前3
 基于Consul的多Beats接入管控与多ES搜索编排添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置,关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知0 码力 | 23 页 | 6.65 MB | 1 年前3 基于Consul的多Beats接入管控与多ES搜索编排添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置,关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知0 码力 | 23 页 | 6.65 MB | 1 年前3
 中国移动磐舟DevSecOps平台云原生安全实践进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后,容器安全工具基于内置检测规则+行为学习+自定义策略,多维度保障容器运行时的安全。 已知威胁方面,通过丰富的内置安全策略,对业务容器行为进行实时监测,及时发现风险。 未知威胁方面,通过对业务容器行为进行学习建模,感知业务行为偏离,发现未知风险。并提供隔离、暂停、重启等处置能力。 DevSecOps安全防护流程 从源0 码力 | 22 页 | 5.47 MB | 1 年前3 中国移动磐舟DevSecOps平台云原生安全实践进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后,容器安全工具基于内置检测规则+行为学习+自定义策略,多维度保障容器运行时的安全。 已知威胁方面,通过丰富的内置安全策略,对业务容器行为进行实时监测,及时发现风险。 未知威胁方面,通过对业务容器行为进行学习建模,感知业务行为偏离,发现未知风险。并提供隔离、暂停、重启等处置能力。 DevSecOps安全防护流程 从源0 码力 | 22 页 | 5.47 MB | 1 年前3
 23-云原生观察性、自动化交付和 IaC 等之道-高磊传统交付方式的不足之处 手册文档 配置参数 应用 应用 配置参数 应用 应用 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档,需要在客户 环境做“安装配置”和“与遗留系统集成” 两方面工作。 2. 安装配置:在硬件上安装软件,不乏 针对硬件特性的适配、还需要安装OS 等,最后还要在OS上安装应用,并且 还要保证应用软件依赖拓扑结构不会 F5 路由器 防火墙 .... Ansible Salt Chef Pupet 实际上云原生平台自己也采用了IaC来管理应用, 比如K8S的Yaml,这种方式有利于隔离实现细节。 ITIL 需要具体学习不同软 硬件的知识才能管理 只需要写IaC声明性代码来管 理基础设施 实施 标准化能力-让管理和运维更轻松-基础设施即代码-3-实例 IaC作为胶水,可以将对物理资源的运维直接透出到De0 码力 | 24 页 | 5.96 MB | 6 月前3 23-云原生观察性、自动化交付和 IaC 等之道-高磊传统交付方式的不足之处 手册文档 配置参数 应用 应用 配置参数 应用 应用 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档,需要在客户 环境做“安装配置”和“与遗留系统集成” 两方面工作。 2. 安装配置:在硬件上安装软件,不乏 针对硬件特性的适配、还需要安装OS 等,最后还要在OS上安装应用,并且 还要保证应用软件依赖拓扑结构不会 F5 路由器 防火墙 .... Ansible Salt Chef Pupet 实际上云原生平台自己也采用了IaC来管理应用, 比如K8S的Yaml,这种方式有利于隔离实现细节。 ITIL 需要具体学习不同软 硬件的知识才能管理 只需要写IaC声明性代码来管 理基础设施 实施 标准化能力-让管理和运维更轻松-基础设施即代码-3-实例 IaC作为胶水,可以将对物理资源的运维直接透出到De0 码力 | 24 页 | 5.96 MB | 6 月前3
 Apache Pulsar,云原生时代的消息平台 - 翟佳
streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者0 码力 | 39 页 | 12.71 MB | 6 月前0.03 Apache Pulsar,云原生时代的消息平台 - 翟佳
streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者0 码力 | 39 页 | 12.71 MB | 6 月前0.03
 02. Kubevela 以应用为中心的渐进式发布 - 孙健波可灵活扩展的其 他能力 • 一个完整的应用描述文件(以 应用为中心) • 灵活的“schema”(参数由 能力模板自由组合) • 放置于应用代码库中(gitops 友好) • 无需学习 K8s 细节( 完整的 用户侧抽象 ) • 可自动适配任意 k8s 集群与部 署环境(环境无关) 查看“能力模板”的用法 1. 能力模板注册时,KubeVela 控制器会 自动生成 OpenAPI0 码力 | 26 页 | 9.20 MB | 1 年前3 02. Kubevela 以应用为中心的渐进式发布 - 孙健波可灵活扩展的其 他能力 • 一个完整的应用描述文件(以 应用为中心) • 灵活的“schema”(参数由 能力模板自由组合) • 放置于应用代码库中(gitops 友好) • 无需学习 K8s 细节( 完整的 用户侧抽象 ) • 可自动适配任意 k8s 集群与部 署环境(环境无关) 查看“能力模板”的用法 1. 能力模板注册时,KubeVela 控制器会 自动生成 OpenAPI0 码力 | 26 页 | 9.20 MB | 1 年前3
 09-harbor助你玩转云原生-邹佳截止:v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置(鉴权模式等) 内容复制 垃圾回收(GC) 配额管理0 码力 | 32 页 | 17.15 MB | 6 月前3 09-harbor助你玩转云原生-邹佳截止:v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置(鉴权模式等) 内容复制 垃圾回收(GC) 配额管理0 码力 | 32 页 | 17.15 MB | 6 月前3
共 14 条
- 1
- 2













