云原生数据库 PieCloudDB : Unbreakable 安全特性剖析云原生数据库 PieCloudDB : Unbreakable 安全特性剖析 王 淏 舟 P i e C l o u d D B 资 深 技 术 专 家 O p e n P i e | 拓 数 派 打造立足于国内 基础数据计算领域的世界级高科技创新驱 动机构 !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: PART 01 的安全特性 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 三大区域 • 云原生安全 • 传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 将数据库数据从明文存储转为加密存储 • 避免数据被系统运维人员直接读出 • 不依赖公有云/私有云/系统加密 • 用户合规需求 • 数据安全审计 • 业务安全审计 PART 02 需求和挑战 来自用户的需求(1) • 密钥自主可控 • 主密钥存储于安全区域中 • 密钥不出区 • 加密密钥支持轮换 • 按时间/条件进行密钥轮换 • 无需停机,不中断服务 • 对性能影响小 • 避免额外造成查询延迟0 码力 | 34 页 | 599.00 KB | 1 年前3
Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日14 零售业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 9.2.15 人工智能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 10 FAQ 89 10.1 回退到历史版本也依然存在假死。 . . . . 92 11 博客 93 iv Apache ShardingSphere ElasticJob document ElasticJob 通过弹性调度、资源管控、以及作业治理的功能,打造一个适用于互联网场景的分布式调度解 决方案,并通过开放的架构设计,提供多元化的作业生态。它的各个产品使用统一的作业 API,开发者仅 需一次开发,即可随意部署。 ElasticJob 能够水平扩展任务的吞吐量和执行效率 – 任务处理能力随资源配备弹性伸缩 • 资源分配 – 在适合的时间将适合的资源分配给任务并使其生效 – 相同任务聚合至相同的执行器统一处理 – 动态调配追加资源至新分配的任务 • 作业治理 – 失效转移 – 错过作业重新执行 – 自诊断修复 • 作业依赖 (TODO) – 基于有向无环图(DAG)的作业间依赖 – 基于有向无环图(DAG)的作业分片间依赖 • 作业开放生态0 码力 | 98 页 | 1.97 MB | 1 年前3
6. ClickHouse在众安的实践竞争优势 分析成熟度 洞察与应对 预测与行动 源数据 数据清洗 标准报表 OLAP系统 商务智能(BI) 机器学习建模 人工智能优化 发生了什么? 为什么发生? 什么会发生? 什么是最佳决策? 分析性数据仓库 数据洞察与可视化 数据治理 预测分析与机器学习 CHAPTER 众安集智平台与clickhouse 02 集智平台 X-Brain AI 开放平台 计算框架 Antron 机器人平台 X-Insight 数据洞察平台 X-Zatlas 数据可视化平台 模板 X-BI 数据探索平台 图像分类 平台 OCR工具 链 X-Farm 异构数据治理、协同平台 元数据管理/数据集市 数据权限管理 | 大数据、流数据建模 | 数据/模型生命周期管理 资源调度 业务系统 开 发 工 具 基 础 设 施 模型 反馈 智能应用 开放与敏捷0 码力 | 28 页 | 4.00 MB | 1 年前3
MyBatis 框架尚硅谷 java 研究院版本:V 1.0JAVAEE 课程系列 ————————————————————————————— 1 更多 Java –大数据 –前端 –python 人工智能资料下载,可访问百度:尚硅谷官网 MyBatis 框架 尚硅谷 java 研究院 版本:V 1.0 第 1 章 MyBatis 简介 1.1 MyBatis 历史 1)MyBatis 是 Apache 的一个开源项目 iBatis, 2010 POJO 进行部分映射时比较困难。导致数据 库性能下降 JAVAEE 课程系列 ————————————————————————————— 2 更多 Java –大数据 –前端 –python 人工智能资料下载,可访问百度:尚硅谷官网 3) MyBatis 1 对开发人员而言,核心 sql 还是需要自己优化 2 sql 和 java 编码分开,功能边界清晰,一个专注业务、一个专注数据 1 https://github.com/mybatis/mybatis-3/ JAVAEE 课程系列 ————————————————————————————— 3 更多 Java –大数据 –前端 –python 人工智能资料下载,可访问百度:尚硅谷官网 第 2 章 MyBatis HelloWorld 2.1 开发环境的准备 1) 导入 MyBatis 框架的 jar 包、Mysql 驱动包、log4j 的0 码力 | 44 页 | 926.54 KB | 1 年前3
Apache ShardingSphere 中文文档 5.0.0-alpha1.2.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.3 数据库治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 快速入门 5 2.1 ShardingSphere‐JDBC 62 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.4 分布式治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.4.1 背景 . 4.3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.4.4 治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 导览 . . . . .0 码力 | 301 页 | 3.44 MB | 1 年前3
Apache ShardingSphere 中文文档 5.0.044 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.5 分布式治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.5.1 背景 . 5.3 目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.5.4 治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 导览 . . . . . . . . 64 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 分布式治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.1.4 配置手册 . . . .0 码力 | 385 页 | 4.26 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.1方言以及数据库存储的灵活适配,快速的连接应用与多模式的异构 数据库; • 增量:获取数据库的访问流量,并提供流量重定向(数据分片、读写分离、影子库)、流量变形(数 据加密、数据脱敏)、流量鉴权(安全、审计、权限)、流量治理(熔断、限流)以及流量分析(服 务质量分析、可观察性)等透明化增量功能; • 可插拔:项目采用微内核 + 三层可插拔模型,使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式 交互,是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh,访问数据库的 应用和数据库终将形成一个巨大的网格体系,应用和数据库只需在网格体系中对号入座即可,它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.1 Shard ingSphere-JDBC Shardi ngSphere-Proxy 用系统,使得架构师更加自由地调整适合于当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.1.1 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限(TODO) SQL 方 言 转 换 (TODO) 可观测性 分布式事务 SQL0 码力 | 409 页 | 4.47 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.0方言以及数据库存储的灵活适配,快速的连接应用与多模式的异构 数据库; • 增量:获取数据库的访问流量,并提供流量重定向(数据分片、读写分离、影子库)、流量变形(数 据加密、数据脱敏)、流量鉴权(安全、审计、权限)、流量治理(熔断、限流)以及流量分析(服 务质量分析、可观察性)等透明化增量功能; • 可插拔:项目采用微内核 + 三层可插拔模型,使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式 交互,是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh,访问数据库的 应用和数据库终将形成一个巨大的网格体系,应用和数据库只需在网格体系中对号入座即可,它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.0 Shard ingSphere-JDBC Shardi ngSphere-Proxy 用系统,使得架构师更加自由地调整适合于当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.1.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限(TODO) SQL 方 言 转 换 (TODO) 可观测性 分布式事务 SQL0 码力 | 406 页 | 4.40 MB | 1 年前3
Apache ShardingSphere 中文文档 5.1.2方言以及数据库存储的灵活适配,快速的连接应用与多模式的异构 数据库; • 增量:获取数据库的访问流量,并提供流量重定向(数据分片、读写分离、影子库)、流量变形(数 据加密、数据脱敏)、流量鉴权(安全、审计、权限)、流量治理(熔断、限流)以及流量分析(服 务质量分析、可观察性)等透明化增量功能; • 可插拔:项目采用微内核 + 三层可插拔模型,使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式 交互,是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh,访问数据库的 应用和数据库终将形成一个巨大的网格体系,应用和数据库只需在网格体系中对号入座即可,它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.2 Shard ingSphere-JDBC Shardi ngSphere-Proxy 用系统,使得架构师更加自由地调整适合于当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document, v5.1.2 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限(TODO) SQL 方 言 转 换 (TODO) 可观测性 分布式事务 SQL0 码力 | 446 页 | 4.67 MB | 1 年前3
Apache ShardingSphere 中文文档 5.4.18.4.6 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5 流量治理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 8.5.1 背景 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力,可满足业务多变的需求。 • 开放生态 通过多层次(内核、功能、生态)插件化能力,为用户提供可定制满足自身特殊需求的独有系统。 为应用提供标准化的连接方式。 2.2 增强:数据库计算增强引擎 在原生数据库基础能力之上,提供分布式及流量增强方面的能力。前者可突破底层数据库在计算与存储 上的瓶颈,后者通过对流量的变形、重定向、治理、鉴权及分析能力提供更为丰富的数据应用增强能力。 2.3 可插拔:构建数据库功能生态 Apache ShardingSphere 的可插拔架构划分为 3 层,它们是:L1 内核层、L2 功能层、L30 码力 | 530 页 | 4.49 MB | 1 年前3
共 81 条
- 1
- 2
- 3
- 4
- 5
- 6
- 9













