Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 Greenplum 集群部署 Greenplum 集群部署 • gp_segment_configuration 字段名 描述 dbid distclass 分布列的操作类 GPExpand简介与具体用法 • GPExpand是Greenplum的扩容工具，可以为集群增加新的节 点来支持更大容量的存储和更高的计算能力。 • 随着Greenplum一起安装发布，在$GPHOME/bin下面，和其 他辅助工具，如gpstart,gpstop,gpactivatestandby一样，是一个 用python写的命令行脚本。 GPExpand简介与具体用法

中间配置中心 Alert Monitor sms WeCha t mail TCMHA 管理分为两个部分： • MariaDB、MySQL5.6的高可用管理是基于开源 工具MHA定制开发后的工具完成的，该工具支持 了MariaDB的gtid、更完善的哨兵检测机制、对 接了DB中间件等定制化功能。 • MySQL5.7的MGR复制集群是我们自己写的一套 高可用组件配合DB中间，实现无感知的高可用切 •慢日志分析 •慢日志查看 •手动备份 手工备份 定时备份 备份列表 恢复 重建slave 实例 获 取 备 份 备份 备份 备份系统 多样化备份： 1.物理备份： 通过xtrabackup备份20G以上的实例。 2.逻辑备份： 通过mydumper备份20G以下的实例或备份指定表。 备份策略： 1.每日自动化备份。 2.DBA临时手工备份。 过载保护 alert Kill 划和表结构信息。 • 实例迁移我们支持了全实例、库、表级别的迁移,并且同时兼容各种MySQL版本。 全量迁移基于开源工具mydumper和myloader做了定制化开发，解决了一些问题，比如 utf8mb4导致乱码的问题等。 增量复制使用的是公司自研的基于binlog复制的产品。该工具支持指定库、表级别复制，另外 也支持源与目标命名不一致(结构一致)的复制。 数据库及实例迁移 step1:全量

mysql 的端口等。  安装配置比单写入稍微复杂，需要另外一个 VIP。管理比单写入复杂。  主切换后从需要手工切换。  切换需要 1s 左右的时间。 3.4 适用场景 这个方案适用于只有两台数据库服务器（后端有多个从服务器也是可以的， 只是要手工切换从服务器比较麻烦，后面会介绍的 MMM 能将从服务器自动切 换）并且还能实现数据库的读写分离的情况，这样 backup 5 Heartbeat+DRBD+mysql 高可用方案 5.1 方案简介 本方案采用 Heartbeat 双机热备软件来保证数据库的高稳定性和连续性，数据的一 致性由 DRBD 这个工具来保证。默认情况下只有一台 mysql 在工作，当主 mysql 服 务器出现问题后，系统将自动切换到备机上继续提供服务，当主数据库修复完毕， 又将服务切回继续由主 mysql 提供服务。 5.2 chown -R mysql.mysql /drbd/dbdata g) 启动 mysql  手工切换 DRBD 在没有安装配置 drbd 之前，drbd 是不能自动切换的，我们可以写出过程 来加深对 drbd 的理解，也更能明白 heartbeat 的工作流程，下面是手工切 换的步骤： a) 在 dbserver1 上停止 mysql，/etc/rc.d/init.d/mysqld

初始化 Greenplum 集群 前面编译部分介绍了如何使用 Greenplum 源代码中的 demo 集群脚本创建集群。这种方法简单快 捷，然而屏蔽了很多细节。 2.1 手工集群初始化 下面介绍如何手工部署一个单机集群：在一台笔记本上安装一个Greenplum的集群，包括一个 master，两个segments。 # step 0. 系统环境配置 $ /etc/sysctl Greenplum使用 Bash 和 Python 脚本初始化集群和管理集群。可以通过在合适的地方设置日志或 者调试信息可以帮助分析某些难以解决的问题。 ● 集群初始化工具 gpinitsystem 是Bash脚本工具，有些时候它的报错信息很不清楚。这个 时候可以 ○ 使用 -D 选项 ○ gp_bash_functions.sh 是内部一个被频繁调用执行系统命令的函数，可以通过 set

主要包含数据采集子系统、数据入库 子系统、数据存储子系统、数据查询 与分析子系统 • 采用Hadoop/HBase作为上网记录存储 方案 • 采用MapReduce/Hive作用统计分析和 数据挖掘工具 【关键性能指标】 – 每日入库>5TB数据 – 上网记录入库时间：一般小于30分钟， 实际约10分钟 – 存储全国移动用户不小于6个月的原始 上网记录，统计分析中间报表数据保存 不小于5年 majorcompaction.jitter = 0.5 (缺省值 为半周) • 执行过程非常长，且非常耗资源 – 无法控制只在合适的时间执行 • 建议在生产环境禁用计划Major Compaction， 通过命令行手工触发或自己进行物理数据删除 Postgres Conference China 2016 中国用户大会 Compaction • 检测：通过HBase管理页面查看CompactionQueue长度以及 使用Read Replica • 使用Bloom Filter • Filter等过滤结果数据 • Block cache大小 – 查看cache命中率 • StoreFile过多，影响查找效率，手工Compact – 相比单个文件，10个StoreFile文件性能下降约 50%－100% • 本地化读写太差，网络IO消耗严重 43 Postgres Conference China 2016

......................................................................................... 8 完善的生态工具链 ................................................................................................. 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 eqqo：ARM/X86 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae 4. 繁荣社区生态 友好卓面环境：UKUDDEXfce 卓面环境，丰富社区卓面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver 等更多开发工具。 Greenplum：新一代 HTAP 数据平台 Greenplum 自 2006 年发布第一个版本以来，就以精巧架构、简单易用、运行稳定、优异性能、环境适应性强在 MPP 数据库领域独占鳌头，基于

置。但是也可以使用任意的输入流 (InputStream)实例，包括字符串形式的文件路径或者 file:// 的 URL 形式的文件路径来配置。MyBatis 包含一个名叫 Resources 的 工具类，它包含一些实用方法，可使从 classpath 或其他位置加载资源文件更加容易。 String resource = "org/mybatis/example/mybatis-config.xml"; JDK_LOGGING | COMMONS_LOGGING | STDOUT_LOGGING | NO_LOGGING proxyFactory 指定 Mybatis 创建 具有延迟加载能力 的对象所用到的代 理工具。 CGLIB | JAVASSIST CGLIB 一个配置完整的 settings 元素的示例如下： Case 设置为true。 自动映射甚至在特定的result map下也能工作。在这种情况下，对于每一个result map,所有的ResultSet提供的列， 如果没有被手工 映射，则将被自动映射。自动映射处理完毕后手工映射才会被处理。 在接下来的例子中， id 和 userName列将被自动映射， hashed_password 列将根据配置映射。 Your visitors can save

JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制文档 Bit-value Literals Boolean 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 数据迁移 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller TiDB-Binlog 部署方案 - 4 - 本文档使用 书栈(BookStack 中文技术文档》 由 进击的皇虫 使用 书栈(BookStack.CN) 进行构建，生成于 2018- 06-25。 书栈(BookStack.CN) 仅提供文档编写、整理、归类等功能，以及对文档内容的生成和导出工具。 文档内容由网友们编写和整理，书栈(BookStack.CN) 难以确认文档内容知识点是否错漏。如果您在阅读文档 获取知识的时候，发现文档内容有不恰当的地方，请向我们反馈，让我们共同携手，将知识准确、高效且有效地传递

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 61 2.3.11 管理，可视化和工具· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 412 4.13 第三方工具支持 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 417 4.13.1 TiDB 支持的第三方工具 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 417 4.13.2 已知的第三方工具兼容问题· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 422 4.13

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 38 2.3.11 管理，可视化和工具· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 90 4.2.7 安装 numactl 工具 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 124 4 5.2 数据迁移工具概览 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·