 Greenplum Database 管理员指南 6.2.1........................................................................................ - 272 - 文件系统要求 ............................................................................................... ........................................................................................ - 385 - 文件系统 ................................................................................................. 表空间(tablespace)允许Database管理员使用多个文件系统来存储数据库对 象,从而可以决定如何更好的利用他们的物理储存设备。表空间的存在有具体的意义, 例如在访问频度不同的数据库对象上使用不同性能的磁盘,例如,将经常使用的表放在 高性能磁盘的文件系统上(例如SSD固态盘),而将其他表放在普通硬盘的文件系统上。 一个表空间,在GP集群中,对应的是一组分布式的操作系统目录,在每个Instance0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1........................................................................................ - 272 - 文件系统要求 ............................................................................................... ........................................................................................ - 385 - 文件系统 ................................................................................................. 表空间(tablespace)允许Database管理员使用多个文件系统来存储数据库对 象,从而可以决定如何更好的利用他们的物理储存设备。表空间的存在有具体的意义, 例如在访问频度不同的数据库对象上使用不同性能的磁盘,例如,将经常使用的表放在 高性能磁盘的文件系统上(例如SSD固态盘),而将其他表放在普通硬盘的文件系统上。 一个表空间,在GP集群中,对应的是一组分布式的操作系统目录,在每个Instance0 码力 | 416 页 | 6.08 MB | 1 年前3
 MySQL高可用 - 多种方案/dev/drbd0 /drbd 挂在文件系统。 f) 启动 dbserver2 的 mysql,/etc/rc.d/init.d/mysqld start。 注意:dbserver1 和 dbserver2 上的 mysql 用户的 uid 和 gid 要一样。不然 切换后会导致 mysql 数据目录的属主不正确而启动失败。  主从切换 主切换成从,需要先卸载文件系统,再执行降级为从的命令: umount /dev/drbd0 drbdadm secondary all 从切换成主,要先执行升级成主的命令然后挂在文件系统: drbdadm primary all 如果不成功 drbdsetup /dev/drbd0 primary -o mount /dev/drbd0 /drbd/  DRBD 脑裂后的处理 当 DRBD 出现脑裂后,会导致 drbd 两边的磁盘不一致,处理方法如下: Heartbeat 的管理 配置好 heartbeat 之后,需要将 mysql 从自启动服务器中去掉,因为主 heartbeat 启动的时候会挂载 drdb 文件系统以及启动 mysql,切换的时候会 将主上的 mysql 停止并卸载文件系统,从上会挂载文件系统,并启动 mysql。 因此需要做如下操作: chkconfig mysqld off chkconfig --add heartbeat chkconfig0 码力 | 31 页 | 874.28 KB | 1 年前3 MySQL高可用 - 多种方案/dev/drbd0 /drbd 挂在文件系统。 f) 启动 dbserver2 的 mysql,/etc/rc.d/init.d/mysqld start。 注意:dbserver1 和 dbserver2 上的 mysql 用户的 uid 和 gid 要一样。不然 切换后会导致 mysql 数据目录的属主不正确而启动失败。  主从切换 主切换成从,需要先卸载文件系统,再执行降级为从的命令: umount /dev/drbd0 drbdadm secondary all 从切换成主,要先执行升级成主的命令然后挂在文件系统: drbdadm primary all 如果不成功 drbdsetup /dev/drbd0 primary -o mount /dev/drbd0 /drbd/  DRBD 脑裂后的处理 当 DRBD 出现脑裂后,会导致 drbd 两边的磁盘不一致,处理方法如下: Heartbeat 的管理 配置好 heartbeat 之后,需要将 mysql 从自启动服务器中去掉,因为主 heartbeat 启动的时候会挂载 drdb 文件系统以及启动 mysql,切换的时候会 将主上的 mysql 停止并卸载文件系统,从上会挂载文件系统,并启动 mysql。 因此需要做如下操作: chkconfig mysqld off chkconfig --add heartbeat chkconfig0 码力 | 31 页 | 874.28 KB | 1 年前3
 Pivotal Greenplum 最佳实践分享 查看实例宕机历史和恢复历史信息  select * from gp_configuration_history order by 1 ;  查看Tablespace对应的文件系统位置 select * from pg_filespace_entry ; Admin常用命令  gpstate:显示Greenplum数据库运行状态,详细配置等信息  常用可选参数 query_start,检查是否有3~6个小时以上的SQL仍在运行  检查空间使用情况 – gpssh -f allhosts =>df –h |grep data1,检查所有文件系统,包括xfs文件系统、tmp的使用情况; 日常巡检事项  检查操作系统日志 – gpssh检查所有节点的/var/log/message,grep过滤是否有硬件错误、系统错误等信息   确定是哪个实例的问题后,检查该节点是否有硬件故障 – 检查网络是否故障 – 检查实例的进程是否存在,ps –ef |grep postgres|grep port – 检查文件系统是否有异常(到相应实例对应的数据目录下,执行ls;echo“test‖ > mytest.txt看看是否有错误) 问题定位方法 现象-某个SQL任务执行时间太长0 码力 | 41 页 | 1.42 MB | 1 年前3 Pivotal Greenplum 最佳实践分享 查看实例宕机历史和恢复历史信息  select * from gp_configuration_history order by 1 ;  查看Tablespace对应的文件系统位置 select * from pg_filespace_entry ; Admin常用命令  gpstate:显示Greenplum数据库运行状态,详细配置等信息  常用可选参数 query_start,检查是否有3~6个小时以上的SQL仍在运行  检查空间使用情况 – gpssh -f allhosts =>df –h |grep data1,检查所有文件系统,包括xfs文件系统、tmp的使用情况; 日常巡检事项  检查操作系统日志 – gpssh检查所有节点的/var/log/message,grep过滤是否有硬件错误、系统错误等信息   确定是哪个实例的问题后,检查该节点是否有硬件故障 – 检查网络是否故障 – 检查实例的进程是否存在,ps –ef |grep postgres|grep port – 检查文件系统是否有异常(到相应实例对应的数据目录下,执行ls;echo“test‖ > mytest.txt看看是否有错误) 问题定位方法 现象-某个SQL任务执行时间太长0 码力 | 41 页 | 1.42 MB | 1 年前3
 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum云原生调度增强:针对云场景在线和离线业务混合部署场景,创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制,创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步 时间,提升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能 Docker 容器交互,以在容器中执行用户定义函数 (UDF),这样方便数据科学家可以在不需要 DBA 帮助的情况自由使用数据分析,同时大大提高了安全性,Docker 容器确保用户代码无法访问源主机的文件系统。此外,容器启动时网络访问受限,无法连接回 Greenplum 数据库或 打开任何其他外部连接。 集成分析:改进后的全新分析接口 一直以来,客户都能在 Greenplum 中做高级0 码力 | 17 页 | 2.04 MB | 1 年前3 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum云原生调度增强:针对云场景在线和离线业务混合部署场景,创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制,创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步 时间,提升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能 Docker 容器交互,以在容器中执行用户定义函数 (UDF),这样方便数据科学家可以在不需要 DBA 帮助的情况自由使用数据分析,同时大大提高了安全性,Docker 容器确保用户代码无法访问源主机的文件系统。此外,容器启动时网络访问受限,无法连接回 Greenplum 数据库或 打开任何其他外部连接。 集成分析:改进后的全新分析接口 一直以来,客户都能在 Greenplum 中做高级0 码力 | 17 页 | 2.04 MB | 1 年前3
 TiDB中文技术文档cd /home/tidb/tidb-ansible 2. $ ansible-playbook -i hosts.ini deploy_ntp.yml -k 部署目标机器数据盘请格式化成 ext4 文件系统,挂载时请添加 nodelalloc 和 noatime 挂载参 数。 nodelalloc 是必选参数,否则 Ansible 安装时检测无法通过,noatime 是可选建议参数。 如果你的数据盘已经格式化成 NTP 服务 在部署目标机器上添加数据盘 ext4 文件系统挂载参数 Ansible 部署方案(强烈推荐) - 210 - 本文档使用 书栈(BookStack.CN) 构建 1. # parted -s -a optimal /dev/nvme0n1 mklabel gpt -- mkpart primary ext4 1 -1 格式化文件系统 1. # mkfs.ext4 /dev/nvme0n1 2cc12f /data1 ext4 defaults,nodelalloc,noatime 0 2 挂载数据盘 1. # mkdir /data1 2. # mount -a 执行以下命令,如果文件系统为 ext4,并且挂载参数中包含 nodelalloc 表示生效: 1. # mount -t ext4 2. /dev/nvme0n1 on /data1 type ext4 (rw,noatime0 码力 | 444 页 | 4.89 MB | 6 月前3 TiDB中文技术文档cd /home/tidb/tidb-ansible 2. $ ansible-playbook -i hosts.ini deploy_ntp.yml -k 部署目标机器数据盘请格式化成 ext4 文件系统,挂载时请添加 nodelalloc 和 noatime 挂载参 数。 nodelalloc 是必选参数,否则 Ansible 安装时检测无法通过,noatime 是可选建议参数。 如果你的数据盘已经格式化成 NTP 服务 在部署目标机器上添加数据盘 ext4 文件系统挂载参数 Ansible 部署方案(强烈推荐) - 210 - 本文档使用 书栈(BookStack.CN) 构建 1. # parted -s -a optimal /dev/nvme0n1 mklabel gpt -- mkpart primary ext4 1 -1 格式化文件系统 1. # mkfs.ext4 /dev/nvme0n1 2cc12f /data1 ext4 defaults,nodelalloc,noatime 0 2 挂载数据盘 1. # mkdir /data1 2. # mount -a 执行以下命令,如果文件系统为 ext4,并且挂载参数中包含 nodelalloc 表示生效: 1. # mount -t ext4 2. /dev/nvme0n1 on /data1 type ext4 (rw,noatime0 码力 | 444 页 | 4.89 MB | 6 月前3
 Greenplum 精粹文集SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google 的两篇著名论文 发表后引起业界的关注,一篇是关于 GFS 分布式文件系统,另外一篇 是关于 MapReduce 并行计算框架的理论,分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 | t | f | r | c [ERROR]:- 17012 | 272379 | 121694359 | 1 | t | f | r | c 检查结果表明文件系统中存在部分数据文件在系统表中没有对应的 关系,也就是文件系统中有多余的数据文件。这种情况不会影响 Greenplum 集群的正常运作,可以暂时忽略不处理。 修 复 persistent table 表 的 问 题, 不 可 手0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google 的两篇著名论文 发表后引起业界的关注,一篇是关于 GFS 分布式文件系统,另外一篇 是关于 MapReduce 并行计算框架的理论,分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 | t | f | r | c [ERROR]:- 17012 | 272379 | 121694359 | 1 | t | f | r | c 检查结果表明文件系统中存在部分数据文件在系统表中没有对应的 关系,也就是文件系统中有多余的数据文件。这种情况不会影响 Greenplum 集群的正常运作,可以暂时忽略不处理。 修 复 persistent table 表 的 问 题, 不 可 手0 码力 | 64 页 | 2.73 MB | 1 年前3
 TiDB v5.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 74 4.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · · · · · · · · · · · · · · · · · 74 4.2.2 检测及关闭系统 swap· · · · · · · · · · · 1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 生产环境部署,建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最 佳实施方案,其可靠性、安全性、稳定性已经在大量线上场景中得到证实。 使用 root 用户登录目标机器,将部署目标机器数据盘格式化成 ext4 文件系统,挂载时添加 nodelalloc 和 noatime 使用 lsblk 命令查看分区的设备号:对于 nvme 磁盘,生成的分区设备号一般为 nvme0n1p1; 对于普通磁盘(例如 /dev/sdb),生成的的分区设备号一般为 sdb1。 3. 格式化文件系统。 74 mkfs.ext4 /dev/nvme0n1p1 4. 查看数据盘分区 UUID。 本例中 nvme0n1p1 的 UUID 为 c51eb23b-195c-4061-92a9-3fad812cc12f。0 码力 | 2189 页 | 47.96 MB | 1 年前3 TiDB v5.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 74 4.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · · · · · · · · · · · · · · · · · 74 4.2.2 检测及关闭系统 swap· · · · · · · · · · · 1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 生产环境部署,建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最 佳实施方案,其可靠性、安全性、稳定性已经在大量线上场景中得到证实。 使用 root 用户登录目标机器,将部署目标机器数据盘格式化成 ext4 文件系统,挂载时添加 nodelalloc 和 noatime 使用 lsblk 命令查看分区的设备号:对于 nvme 磁盘,生成的分区设备号一般为 nvme0n1p1; 对于普通磁盘(例如 /dev/sdb),生成的的分区设备号一般为 sdb1。 3. 格式化文件系统。 74 mkfs.ext4 /dev/nvme0n1p1 4. 查看数据盘分区 UUID。 本例中 nvme0n1p1 的 UUID 为 c51eb23b-195c-4061-92a9-3fad812cc12f。0 码力 | 2189 页 | 47.96 MB | 1 年前3
 NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统,代理直接从文件系统复制数据库文件。 NetBackup for SQLite 支持的功能 表 1-1 列出了代理支持的功能。 表 1-1 代理支持的功能 描述 功能 代理支持 SQLite 数据库基于单个文件的备份。 NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统,代理直接从文件系统复制数据库文件。 NetBackup for SQLite 支持的功能 表 1-1 列出了代理支持的功能。 表 1-1 代理支持的功能 描述 功能 代理支持 SQLite 数据库基于单个文件的备份。- / - : read failure after 0 of 4096 at 4096: input or output error. 卸载快照 1 使用以下命令列出所有已装入的文件系统: $ mount-l 2 如果快照仍然存在,请运行下列命令: $unmount - 注意:此目录在 /mnt/ - 中创建。快照 的前缀名称为 0 码力 | 29 页 | 675.75 KB | 1 年前3
 TiDB v5.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 80 4.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.2.2 检测及关闭系统 swap· · · · · · · · · · · 1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 生产环境部署,建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最 佳实施方案,其可靠性、安全性、稳定性已经在大量线上场景中得到证实。 使用 root 用户登录目标机器,将部署目标机器数据盘格式化成 ext4 文件系统,挂载时添加 nodelalloc 和 noatime 使用 lsblk 命令查看分区的设备号:对于 nvme 磁盘,生成的分区设备号一般为 nvme0n1p1; 对于普通磁盘(例如 /dev/sdb),生成的的分区设备号一般为 sdb1。 3. 格式化文件系统。 mkfs.ext4 /dev/nvme0n1p1 4. 查看数据盘分区 UUID。 本例中 nvme0n1p1 的 UUID 为 c51eb23b-195c-4061-92a9-3fad812cc12f。0 码力 | 2259 页 | 48.16 MB | 1 年前3 TiDB v5.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 80 4.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.2.2 检测及关闭系统 swap· · · · · · · · · · · 1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 生产环境部署,建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最 佳实施方案,其可靠性、安全性、稳定性已经在大量线上场景中得到证实。 使用 root 用户登录目标机器,将部署目标机器数据盘格式化成 ext4 文件系统,挂载时添加 nodelalloc 和 noatime 使用 lsblk 命令查看分区的设备号:对于 nvme 磁盘,生成的分区设备号一般为 nvme0n1p1; 对于普通磁盘(例如 /dev/sdb),生成的的分区设备号一般为 sdb1。 3. 格式化文件系统。 mkfs.ext4 /dev/nvme0n1p1 4. 查看数据盘分区 UUID。 本例中 nvme0n1p1 的 UUID 为 c51eb23b-195c-4061-92a9-3fad812cc12f。0 码力 | 2259 页 | 48.16 MB | 1 年前3
 NetBackup™ for SQLite 管理指南: Windows 和LinuxNetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统,代理直接从文件系统复制数据库文件。 NetBackup for SQLite 代理 支持的功能 表 1-1 列出了代理支持的功能。 表 1-1 代理支持的功能 描述 功能 代理支持 SQLite 数据库基于单个文件的备份。 NetBackup™ for SQLite 管理指南: Windows 和LinuxNetBackup XBSA 接口。NetBackup XBSA 接口将此数据写入由 NetBackup 介质服务器管理的装入 介质或磁盘存储。 对于未配置有 LVM 的 Linux 操作系统,代理直接从文件系统复制数据库文件。 NetBackup for SQLite 代理 支持的功能 表 1-1 列出了代理支持的功能。 表 1-1 代理支持的功能 描述 功能 代理支持 SQLite 数据库基于单个文件的备份。- / - : read failure after 0 of 4096 at 4096: input or output error. 卸载快照 1 使用以下命令列出所有已装入的文件系统: $ mount-l 2 如果快照仍然存在,请运行下列命令: $unmount - 注意:此目录在 /mnt/ - 中创建。快照 的前缀名称为 0 码力 | 34 页 | 777.04 KB | 1 年前3
共 39 条
- 1
- 2
- 3
- 4













