Pivotal Greenplum 最佳实践分享-e“uptime”) – IO是否繁忙,Wait是否较高 – 是单一服务器繁忙还是所有服务器繁忙 检查数据库狀态 – gpstate检查是否有实例down机 – 检查pg_log是否有OOM錯誤 检查当前SQL任务 – 确定当前系統是否有SQL能执行成功(checkpoint、select用户表),还是整個系统挂起 – 确定是否有锁等待或资源队列排队导致SQL长时间不能完成0 码力 | 41 页 | 1.42 MB | 1 年前3
HBase最佳实践及优化X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 1台 Hadoop集群 NameNode/JobTracker IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 1台 NameNode/JobTracker HA备份 节点 IBM 3650 PC,双路六核,Intel X5650处理器, 2 1台 Secondary NameNode IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 1台 HBase 集群Master和Zookeeper 节点 IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 5台 DataNode/TaskTracker/Region PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 69台 HBase Thrift服务器节点/查询服 务器 IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 15台(使用 集群节点) 入库服务器 IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB0 码力 | 45 页 | 4.33 MB | 1 年前3
MySQL 8.0.17 调优指南(openEuler 20.09)能测试,出现物理内存不足时,虚拟内存设置也不合理,虚拟内 存的交换效率就会大大降低,从而导致行为的响应时间大大增 加,这时认为操作系统上出现性能瓶颈。 数据库 一般指的是数据库配置等方面的问题。例如,由于参数配置不合 理,导致数据库处理速度慢的问题,可认为是数据库层面的的问 题。 MySQL 8.0.17 调优指南(openEuler 20.09) 1 调优概述 2020-10-15 2 2 硬件调优 2.1 方法 对于不同的硬件配置,用于绑中断的最佳CPU数目会有差异,比如对于华为鲲鹏920 4826处理器 + Huawei TM280 25G网卡(Taishan 2280的板载网卡)来说,最多可以 绑定32个中断队列,建议将所有的队列都用在中断绑定上来获得最佳性能。 以下脚本是在华为鲲鹏920 4826处理器 + Huawei TM280 25G网卡上的最佳绑中断设 置,其中第一个参数$1是网卡名称 将mysql的进程绑定到指定CPU上,同时内存使能interleave。 方法 使用numatl命令进行设置,其中0-92是mysql进程要运行的CPU序号,my.cnf是mysql 的配置文件路径。在华为鲲鹏920 4826处理器 + Huawei TM280 25G网卡上为mysql 绑定93个核能获得最佳性能。 numactl -C 0-92 -i 0-3 /usr/local/mysql/bin/mysqld --d0 码力 | 11 页 | 223.31 KB | 1 年前3
Qcon北京2018--《MySQL的Docker容器化大规模实践》--王晓波集 群 创 建 集 成 高 可 用 方 案 巨 细 无 遗 的 监 控 项 精 美 的 图 形 展 示 便 捷 的 告 警 管 理 慢 日 志 分 析 及 查 看 自 动 化 备 份 资 源 池 管 理 高 可 用 切 换 集 群 节 点 管 理 扩 容 缩 容 数 据 库 及 实 例 迁 移 过 载 保 护 机 制 总体架构 分 布 式 监 控 资源管理|资源调度0 码力 | 32 页 | 7.11 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS北京大学实验班,物理经济学双学位 • 原Pivotal/Greenplum(中国)创始人 • 卡内基梅隆大学(CMU)硕士学位,校友会主席 强 悍 的 研 发 核 心 团 队 和 有 成 功 上 市 经 验 的 管 理 团 队 具备国际顶级数据库内核研发能力的研发团队 2021 2022 当天即获得头部产业基金天使轮投资 成为Day-1准独角兽 7月 与中国人民大学成立实习基地,打造中国 的云原生数据库世界级智力高地 全新云原生架构「一份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 一 体 和 向 量 计 算 • 原 生 支 持 数 据 治 理 , 三 权 分 离 • 支 持 大 语 言 基 础 模 型 和 私 域 数 据 结 合 开 发 垂 直 应 用 • CMU战略合作大模型基础理论,训练合作一事一议 πCloudDB πCloudVector Host 1 Executor Host 2 Executor Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 : 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打 破 数 据 孤 岛 , 消 除 数 据 多 副 本0 码力 | 29 页 | 7.46 MB | 1 年前3
Mybatis 3.3.0 中文用户指南描述 描述 column 来自数据库的类名,或重命名的列标签。这和通常传递给 resultSet.getString(columnName)方法的字符串是相同的。 column 注 意 : 要 处 理 复 合 主 键 , 你 可 以 指 定 多 个 列 名 通 过 column= ” {prop1=col1,prop2=col2} ” 这 种语法来传递给嵌套查询语 句。这会引起 prop1 和 prop2 pages as PDF in one click with http://pdfmyurl.com! select 语句作为参数。表格后面 有一个详细的示例。 select 注 意 : 要 处 理 复 合 主 键 , 你 可 以 指 定 多 个 列 名 通 过 column= ” {prop1=col1,prop2=col2} ” 这种语法来传递给嵌套查询语 句。这会引起 prop1 和 prop2 有时一个单独的数据库查询也许返回很多不同 (但是希望有些关联) 数据类型的结果集。 鉴别器元素就是被设计来处理这个情况的, 还有 包括类的继承层次结构。 鉴别器非常容易理 解,因为它的表现很像 Java 语言中的 switch 语句。 定义鉴别器指定了 column 和 javaType 属性。 列是 MyBatis 查找比较值的地方。 JavaType 是需要被用来保证等价测试的合适类0 码力 | 98 页 | 2.03 MB | 1 年前3
TiDB v8.0 中文手册从 v8.0.0 开始,自动统计信息收集引入了优先级队列,根据多种条件动态地为对象分配优先级,确保更 有收集价值的对象优先被处理,比如新创建的索引、发生分区变更的分区表等。同时,TiDB 也会优先处 理那些健康度较低的表,将它们安排在队列的前端。这一改进优化了收集顺序的合理性,能减少一部 分统计信息过旧引发的性能问题,进而提升了数据库稳定性。 更多信息,请参考用户文档。 • 解除执行计划缓存的部分限制 ON。 43 变量名 修改类型 描述 tidb_ �→ redact �→ _log 修改 控制在 记录 TiDB 日 志和慢 日志时 如何处 理 SAL 文 本中的 用户信 息,可 选值为 OFF(对 用户输 入的信 息不做 任何处 理)和 ON(屏 蔽日志 中的用 户信 息)。为 了提供 更丰富 的处理 日志中 用户信 息的方 式, v8.0.0 中 增加了 MARKER 选项, Cloud 认证 凭证文件 的路径。 TiDB Lightning tikv- �→ importer �→ . �→ duplicate �→ - �→ resolution �→ 废弃 用于在物 理导入模 式下设置 是否检测 和解决唯 一键冲突 的记录。 从 v8.0.0 开 始被参 数conflict �→ . �→ strategy �→ 替代。 51 配置文件 配置项 修改类型 描述0 码力 | 4805 页 | 101.28 MB | 1 年前3
Greenplum 精粹文集提供强大的并行数据计算性能和海量数据管理能力。这个能力主要指 的是并行计算能力,是对大任务、复杂任务的快速高效计算,但如果 你指望 MPP 并行数据库能够像 OLTP 数据库一样,在极短的时间处 理大量的并发小任务,这个并非 MPP 数据库所长。请牢记,并行和 并发是两个完全不同的概念,MPP 数据库是为了解决大问题而设计的 并行计算技术,而不是大量的小问题的高并发请求。 再通俗点说,Greenplum 数需要综合 考虑服务器配置、生产环境的运行负载压力、跑批用户和前段查询用 户并发需求等各个方面。大多数场景下,4 或 6 个为宜。 同样,作为整体架构设计的重要 组成部分,ETL 服务器、监控管 理,备份策略如何规划,如何高 效组网都得在前期考虑好。在我 们的成功案例中,同一个企业级 数据平台中 Greenplum 集群和 Hadoop 集群配合运作的案例越 来越多。在中国移动的大数据架 构规范中,云化 PEP 代理。此功能可向 PEP 代理告知使用查询的用户,这样, 它就可以查看 ESA 提供的目录,了解适用于该用户的规则及其尝试访 问的数据。它将取部分数据检查用户是否具有访问权限,然后 PEP 代 理将对数据运行加密或解密并返回数值。 除了在数据库中执行此功能以外,Protegrity 还提供一些工具来加密 数据库外的数据。这应作为 ETL 流程的一部分,在数据加载到 Pivotal Greenplum0 码力 | 64 页 | 2.73 MB | 1 年前3
TiDB v8.1 中文手册使用 TTL (Time to Live) 定期删除过期数据 Time to Live (TTL) 提供了行级别的生命周期控制策略。通过为表设置 TTL 属性,TiDB 可以周期性地自动检查并清 理表中的过期数据。此功能在一些场景可以有效节省存储空间、提升性能。 TTL 常见的使用场景: • 定期删除验证码、短网址记录 • 定期删除不需要的历史订单 • 自动删除计算的中间结果 TTL 序列(Sequence) 序列是一种数据库对象,应用程序通过调用某个序列可以产生递增的序列值,应用程序可以灵活的使用这个 序列值为一张表或多张表赋值,也可以使用序列值进行更复杂的加工,来实现文本和数字的组合,来赋予代 理键以一定的跟踪和分类的意义。从 TiDB v4.0 版本开始提供序列功能,详情请参考CREATE SEQUENCE。 4.9.5.2.3 类 Snowflake 方案 Snowflake 是 Twitter cluster exec 命令的说明信息。 5.3 规划集群拓扑 5.3.1 最小拓扑架构 本文档介绍 TiDB 集群最小部署的拓扑架构。 5.3.1.1 拓扑信息 467 实 例 个 数 物 理 机 配 置 IP 配 置 TiDB 2 16 VCore 32 GiB 100 GiB 用 于 存 储 10.0.1.1 10.0.1.2 默 认 端 口 全 局 目 录 配 置 PD0 码力 | 4807 页 | 101.31 MB | 1 年前3
TiDB v7.6 中文手册LSM Tree 中分离出来,单独存储在 Titan 中,以提升对大 Value 的 处理性能。Titan 引擎与 TiKV 所使用的 RocksDB 特性完全兼容。这一变更不仅降低了写入放大效应,在处 理大 Value 的写入、更新和点查场景时也表现得更加出色。同时,在 Range Scan 场景下,通过对 Titan 引 擎的优化,默认配置下 Titan 引擎的性能测试结果和 RocksDB 基本持平。 compact �→ -start �→ -times 新增 设置 TiKV 启动周期 性全量数 据整理 (Com- paction) 的 时间。默 认值 [] 表 示默认情 况下禁用 周期性全 量数据整 理。 47 配置文件 配置项 修改类型 描述 TiKV raftstore �→ . �→ periodic �→ -full- �→ compact �→ -start �→ -max- �→ cpu 修复 TiDB server 在优雅关闭 (graceful shutdown) 时可能 panic 的问题 #36793 @bb7133 – 修 复 ADMIN RECOVER INDEX 在 处 理 包 含 CommonHandle 的 表 时 报 错 ERROR 1105 的 问 题 #47687 @Defined2014 – 修 复 执 行 ALTER TABLE t PARTITION0 码力 | 4666 页 | 101.24 MB | 1 年前3
共 53 条
- 1
- 2
- 3
- 4
- 5
- 6













