PieCloudDB Database 社区版集群部署和使用手册 版本：V2.1 2023 年 03 月 08 日 目录 1. 集群规划 .......................................................................................................... ....................................................................... 4 2. PIECLOUDDB 和 K8S 一起部署方案 ................................................................................................ PDB 部署和启动 ............................................................................................................................................................................ 14 2.14 部署验证 .

www.openpie.com Cloud Native Virtual Data Warehouse PieCloudDB Deplovment Guide ����� 社区版安装部署手册 ����������������� ©2023 OpenPie All Rights Reserved. ⚫ ⚫ ⚫ ⚫ ⚫ ➢ ➢

什么是云数据库 Redis 版 云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 通过“内存+硬盘”的存储方式，云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。 云数据库 Redis 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统 自动秒级切换 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统 维护服务，确保用户专心致力于业务创新。 混合存储公测开通须知 Redis混合存储系列将于2018年3月29日至2018年5

企业版可在开发、部署和管理业务关键型 MySQL 应用的过程中降低风险、削减成本和减 少复杂性。MySQL 企业版具有以下独特优势：  使用 Oracle MySQL 服务云轻松设置、运行和管理云中的 MySQL  使用 MySQL 分组复制来确保数据库的高可用性  通过 MySQL 企业级可扩展性应对指数级增长的用户和数据量  通过 MySQL 企业级备份执行热备份和恢复，从而降低数据丢失的风险 Schema 可监视各个用户和应用的性能及资源占用情况。  SQL 和 NoSQL 访问有助于执行复杂的查询以及快速完成简单快速的键值操作。  平台独立性让您可以灵活地在多个操作系统上开展开发和部署工作。  使用 MySQL 作为 Hadoop 和 Cassandra 的业务数据存储，支持大数据互操作性。 MySQL 企业级备份 MySQL 企业级备份能够执行 MySQL

供了编译后的模块开箱即用，如：oraface、postgis、pgcrypt 等， 对于其它模块，用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后，将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的，例如：oraface，基本上集成了 Oracle 常用的函数到 Greenplum 中，曾经在一次 PoC 测试中，用户 提供的 22 条 Oracle 的 fans，后续章节与大家分享）。 这些自定义函数部署到 Greenplum 后可用充分享受到实例级别的并行 性能优势，我们强烈建议用户将库外的处理逻辑，部署到用 MPP 数 据库的 UDF 这种 In-Database 的方式来处理，你将获得意想不到的性 能和方便性；例如我们在某客户实现的数据转码、数据脱敏等，只需 要简单的改写原有代码后部署到 GP 中，通过并行计算获得数十倍性 能提高。 另外，GPTEXT（lucent Madlib（开源挖掘算法）、 SAS algorithm、R 都是通过 UDF 方式实现在 Greenplum 集群中分布 式部署，从而获得库内计算的并行能力。这里可以分享的是，SAS 曾 经做过测试，对 1 亿条记录做逻辑回归，采用一台小型机耗时约 4 个 多小时，通过部署到 Greenplum 集群中，耗时不到 2 分钟就全部完成 了。以 GPEXT 为例，下图展现了 Solr 全文检索在 Greenplum

数据集成 按需回流 数据仓库应用 在线数据仓库 数据 查询 数据集成 批量同步 1 3 4 2 云化在线数仓 ： 简化、敏捷、一栈式构筑数据仓库 • 一键实现 十分钟 集群创建部署 • 图形化实例管理及自动监控报警 实例SQL安全审计 实例实时监控 实例配置信息 • 云上多种生态工具配套： DTS数据传输 QuickBI DataV 数据集成 阿里云数据工 具服务 “冷数据”需要时直接查询无需重新进 行导入。  支持CSV，ORC, PARQUET。 Jul Nov Oct Sep 冷热数据统一管理，基于OSS云存储构筑数据湖分析（规划中） ...... 热数据：需要高性能分析计算的数据存放在本地 盘，可设为行存或列存适合不同业务的实时分析 冷数据：存储在OSS外部存储 保存价格低廉，数据在线可查询 Year - 3 非结构化数据向量检索， “以图搜图”

选择数据仓库类型：Greenplum 是 EMC 开源的数据仓库产品、Udpg 是基于 PostgreSQL 开发的⼤规模并⾏、完全托管的 PB 级数据仓库服务。 选择节点个数：UDW 是分布式架构、所有节点数据都是双机热备,实际可⽤总容量略⼩于节点个数*节点磁盘⼤⼩/2，请根据实际数据⼤⼩选择合适的节点。 3.设置数据仓库信息 必选项有数据仓库名称、DB管理员⽤⼾名、管理员密码。可选项有默认DB,默认DB的名称为 UCloud 优刻得 12/206 4.确认⽀付 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 13/206 5.等待部署中 数据仓库规模不同，所需要的部署时间会有所差异。 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 14/206 快速上⼿ Greenplum数据仓库 接⼊各种解释器（interpreter），使得⽤⼾能够以特定的语⾔ 或数据处理后端来完成交互式查询，并快速实现数据可视化。 部署 部署 Zeppelin 1) 安装 Java Zeppelin ⽀持的操作系统如下图所⽰。在安装 Zeppelin 之前，你需要在部署的服务器上安装 Oracle JDK 1.7 或以上版本, 并配置好相应的 JAVA_HOME 环境变量。 接⼊第三⽅ BI ⼯具

通过 Redis ⾃带的复制、Sentinel 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 找到你想要的功能， 并将其部署到你的服务器⾥⾯。 ⻛驰电掣般的执⾏速度 Redis 是⼀款内存数据库， 它将所有数据都储存在内存⾥⾯。 因为计算机访问内存的速度要远远⾼于访问 硬盘的速度， 因此与基于硬盘设计的传统数据库相⽐， 还可以储存⼆进制数据， 所以这个缓存程序不仅可以⽤来缓存⽹ ⻚等⽂本数据， 还可以⽤来缓存图⽚和视频等⼆进制数据。 ⽐如说， 如果你正在运营⼀个图⽚⽹站， 那么你同 样可以使⽤这个缓存程序来缓存⽹站上的热⻔图⽚， 从⽽提⾼⽤户访问这些热⻔图⽚的速度。 作为例⼦， 以下代码展示了将 Redis 的 Logo 图⽚缓存到键 redis-logo.jpg ⾥⾯的⽅法： >>> from redis import Redis 这个特性可以⽤ 于淘汰冷⻔数据并保留热⻔数据。 举个例⼦， 前⾯的《有序集合》⼀章曾经介绍过如何使⽤有序集合来实现⾃动补全功能， 但是如果我们仔细地分 析这个⾃动补全程序， 就会发现它有⼀个潜在的问题： 为了实现⾃动补全功能， 程序需要创建⼤量⾃动补全结 果， ⽽补全结果的数量越多、体积越⼤， 需要耗费的内存也会越多。 为了尽可能地节约内存， ⼀个⾼效的⾃动补全程序应该只储存热⻔关键字的⾃动补全结果， 并移除那些⽆⼈访问

的局限性，我们尝试对架构进行优化升级，将分析 引擎 ClickHouse 切换为 Doris，Doris 具有以下的优势： Apache Doris 的优势：  Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。  支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。  支持对 Hive、Iceberg、Hudi 40% ，成功实现降本提 效，后续我们将继续探索！ 未来规划 未来我们还将继续进行迭代和优化，我们计划在以下几个方向进行探索：  实现自动识别冷热数据，用 Apache Doris 存储热数据，Iceberg 存储冷数据，利用 Doris 湖仓一体化能力简化查询。  对高频出现的标签/指标组合，通过 Doris 的物化视图进行预计算，提升查询的性能。  探索 Doris

· · · · · · · · · · · · 67 3.1.1 部署本地测试集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 67 3.1.2 在单机上模拟部署生产环境集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 85 4 部署标准集群 85 4.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 88 4.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · · · · · · · · · · · · · · · · · 89 4.2.2 检测及关闭系统 swap· ·