 TiDB中文技术文档性能测试报告 - v2.0 TiDB Sysbench 性能对比测试报告 - v2.0.0 对比 v1.0.0 - 5 - 本文档使用 书栈(BookStack.CN) 构建 致谢 当前文档 《TiDB 中文技术文档》 由 进击的皇虫 使用 书栈(BookStack.CN) 进行构建,生成于 2018- 06-25。 书栈(BookStack.CN) 仅提供文档编写、整理、归类等功能,以及对文档内容的生成和导出工具。 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 数值类型 日期和时间类型 字符串类型 JSON 数据类型 TiDB 中文技术文档 目录 README - 7 - 本文档使用 书栈(BookStack.CN) 构建 枚举类型 集合类型 数据类型默认值 函数和操作符 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 Ping++ 乐视云 零氪科技 威锐达测控 盖娅互娱 游族网络 西山居 FUNYOURS JAPAN 万达网络 佐助金融 360金融 中国电信翼支付 某电信运营商 更多资源 常用工具 PingCAP 团队技术博客 知乎专栏 Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP 公司受 Google Spanner / F10 码力 | 444 页 | 4.89 MB | 6 月前3 TiDB中文技术文档性能测试报告 - v2.0 TiDB Sysbench 性能对比测试报告 - v2.0.0 对比 v1.0.0 - 5 - 本文档使用 书栈(BookStack.CN) 构建 致谢 当前文档 《TiDB 中文技术文档》 由 进击的皇虫 使用 书栈(BookStack.CN) 进行构建,生成于 2018- 06-25。 书栈(BookStack.CN) 仅提供文档编写、整理、归类等功能,以及对文档内容的生成和导出工具。 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 数值类型 日期和时间类型 字符串类型 JSON 数据类型 TiDB 中文技术文档 目录 README - 7 - 本文档使用 书栈(BookStack.CN) 构建 枚举类型 集合类型 数据类型默认值 函数和操作符 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 Ping++ 乐视云 零氪科技 威锐达测控 盖娅互娱 游族网络 西山居 FUNYOURS JAPAN 万达网络 佐助金融 360金融 中国电信翼支付 某电信运营商 更多资源 常用工具 PingCAP 团队技术博客 知乎专栏 Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP 公司受 Google Spanner / F10 码力 | 444 页 | 4.89 MB | 6 月前3
 如何从零开始参与技术社区?OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 如何从零开始参与技术社区 王刚,拓数派PieCloudDB 技术专家 @2024 OpenPie. All rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 我 • 王刚(Tender Wang) • 拓数派 PieCloudDB 技术专家 • 多次参与PostgreSQL 代码贡献 @2024 OpenPie. All rights reserved. OpenPie Confidential • 创 虚 拟 数 仓 产 •拓数派( OpenPie)是⽴⾜于国内的基础数据计算领域⾼科 技创新机构; •拥有强⼤的数据库内核研发团队、数据科学团队和数字化转 型团队; •国内虚拟数仓和eMPP技术提出者,不断在数据计算引擎⽅ 向进⾏创新,全⾯拥抱AI技术趋势。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全链路加密保证数据安全 核⼼产品优势0 码力 | 25 页 | 871.00 KB | 1 年前3 如何从零开始参与技术社区?OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 如何从零开始参与技术社区 王刚,拓数派PieCloudDB 技术专家 @2024 OpenPie. All rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 我 • 王刚(Tender Wang) • 拓数派 PieCloudDB 技术专家 • 多次参与PostgreSQL 代码贡献 @2024 OpenPie. All rights reserved. OpenPie Confidential • 创 虚 拟 数 仓 产 •拓数派( OpenPie)是⽴⾜于国内的基础数据计算领域⾼科 技创新机构; •拥有强⼤的数据库内核研发团队、数据科学团队和数字化转 型团队; •国内虚拟数仓和eMPP技术提出者,不断在数据计算引擎⽅ 向进⾏创新,全⾯拥抱AI技术趋势。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全链路加密保证数据安全 核⼼产品优势0 码力 | 25 页 | 871.00 KB | 1 年前3
 TiDB 开源分布式关系型数据库COeG6 平凯星辰 (北京) 科技有限公司 目录 Contents 第一章 关于 PingCAP 1L1 PingCAP简介 05 12 创新成果 05 1.3 发展历程 06 1.4 技术标准起草 07 15荣誉1 07 16 代表用户 08 第二章 TiDB 开源分布式关系型数据库 2.1 产品简介。 2.2 TiDB架构图.ee 10 23 核必特性 11 2.4 TiFlash 47 5.7 游戏 网易互娱 -基于 TiDB 措建跨源异构计算架构 “049 5.8 视频 Bigo - 选择 TiFlash 打造高效的实时分析平台 "0 51 第六章 技术支持与培训认证 6.1技术支持 . 54 6.2培训与认证 54 联系我们 . 56 一 PingCAP.CON 第一章- 关于 PingCAP 一05 1.1 PingCAP 简介 PingCAP 成立于 2015 年,是一家企业级开源分布式数据库厂商,提供包括开源分布式数据库产品、解 决方案与咨询、技术支持与培训认证服务,致力于为全球行业用户提供稳定高效、安全可告、开放兼容 的新型数据基础设施,解放企业生产力,加速企业数字化转型升级。 由PingCAP 创立的分布式关系型数据库 TiDB,为企业关键业务打造,具备0 码力 | 58 页 | 9.51 MB | 1 年前3 TiDB 开源分布式关系型数据库COeG6 平凯星辰 (北京) 科技有限公司 目录 Contents 第一章 关于 PingCAP 1L1 PingCAP简介 05 12 创新成果 05 1.3 发展历程 06 1.4 技术标准起草 07 15荣誉1 07 16 代表用户 08 第二章 TiDB 开源分布式关系型数据库 2.1 产品简介。 2.2 TiDB架构图.ee 10 23 核必特性 11 2.4 TiFlash 47 5.7 游戏 网易互娱 -基于 TiDB 措建跨源异构计算架构 “049 5.8 视频 Bigo - 选择 TiFlash 打造高效的实时分析平台 "0 51 第六章 技术支持与培训认证 6.1技术支持 . 54 6.2培训与认证 54 联系我们 . 56 一 PingCAP.CON 第一章- 关于 PingCAP 一05 1.1 PingCAP 简介 PingCAP 成立于 2015 年,是一家企业级开源分布式数据库厂商,提供包括开源分布式数据库产品、解 决方案与咨询、技术支持与培训认证服务,致力于为全球行业用户提供稳定高效、安全可告、开放兼容 的新型数据基础设施,解放企业生产力,加速企业数字化转型升级。 由PingCAP 创立的分布式关系型数据库 TiDB,为企业关键业务打造,具备0 码力 | 58 页 | 9.51 MB | 1 年前3
 Greenplum Database 管理员指南 6.2.1Greenplum 官方微信公众号和加入官方社区技术讨论群: ©2020 Esena Chen(陈淼 miaochen@mail.ustc.edu.cn) 编者工作十几年,先后供职于民企,国企,外企,截止目前,已从事 Greenplum 技术工作 10 余年,10 余年来,专注在 Greenplum 和相关技术领域,主要工作职责是 售后支持,帮助我们的 售后支持,帮助我们的 Greenplum 用户解决生产需求和技术问题,我们坚持提供最专 业的建议和解决方案,提供最专业的技术支持服务,提供最专业的落地实施支持。 十多年来,参与过的项目不计其数,有 POC 测试,有开发支持,有故障支持,有 长期驻场支持,有临时的功能支持,甚至可能会作为用户看不见的后端支持,总之,我 们的目标是,努力解决用户的一切不违背自然规律的诉求,我们跟随着 Greenplum 的 成长,见证了 gpfdist 协议外部表导出数据 ................................................................... - 258 - 使用基于命令的 WEB 型外部表导出数据 ............................................................. - 259 - 使用 COPY 命令导入导出 ...0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1Greenplum 官方微信公众号和加入官方社区技术讨论群: ©2020 Esena Chen(陈淼 miaochen@mail.ustc.edu.cn) 编者工作十几年,先后供职于民企,国企,外企,截止目前,已从事 Greenplum 技术工作 10 余年,10 余年来,专注在 Greenplum 和相关技术领域,主要工作职责是 售后支持,帮助我们的 售后支持,帮助我们的 Greenplum 用户解决生产需求和技术问题,我们坚持提供最专 业的建议和解决方案,提供最专业的技术支持服务,提供最专业的落地实施支持。 十多年来,参与过的项目不计其数,有 POC 测试,有开发支持,有故障支持,有 长期驻场支持,有临时的功能支持,甚至可能会作为用户看不见的后端支持,总之,我 们的目标是,努力解决用户的一切不违背自然规律的诉求,我们跟随着 Greenplum 的 成长,见证了 gpfdist 协议外部表导出数据 ................................................................... - 258 - 使用基于命令的 WEB 型外部表导出数据 ............................................................. - 259 - 使用 COPY 命令导入导出 ...0 码力 | 416 页 | 6.08 MB | 1 年前3
 完全兼容欧拉开源操作系统的 HTAP 数据平台 GreenplumGreenplum 与中国本地 IT 厂商的深入合作的典型模板,大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 统平台架构、创新性及核心特点, 同时介绍了 Greenplum 作为一款深受技术爱好者喜爱的、中立的纯开源软件,践行 “Run Everywhere”原则,用全新的HTAP核心设计满足实时处理业务需求。在此也为所有为Greenplum on openEuler 成功测试运行所做努力贡献的人员表示感谢! openEuler 也是一个技术孵化器。通过每半年发布一次的创新版,快速集成 openEuler 以及其他社区的最新技术成 果,将社区验证成熟的特性逐步回合到发行版中。这些新特性以单个开源项目的方式存在于社区,方便开发者获得源代 码,也方便其他开源社区使用。 社区中的最新技术成果持续合入发行版,发行版通过用户反馈反哺技术,激发社区创新活力,从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制,创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步 时间,提升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能 优于内核态 swap。0 码力 | 17 页 | 2.04 MB | 1 年前3 完全兼容欧拉开源操作系统的 HTAP 数据平台 GreenplumGreenplum 与中国本地 IT 厂商的深入合作的典型模板,大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 统平台架构、创新性及核心特点, 同时介绍了 Greenplum 作为一款深受技术爱好者喜爱的、中立的纯开源软件,践行 “Run Everywhere”原则,用全新的HTAP核心设计满足实时处理业务需求。在此也为所有为Greenplum on openEuler 成功测试运行所做努力贡献的人员表示感谢! openEuler 也是一个技术孵化器。通过每半年发布一次的创新版,快速集成 openEuler 以及其他社区的最新技术成 果,将社区验证成熟的特性逐步回合到发行版中。这些新特性以单个开源项目的方式存在于社区,方便开发者获得源代 码,也方便其他开源社区使用。 社区中的最新技术成果持续合入发行版,发行版通过用户反馈反哺技术,激发社区创新活力,从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制,创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS:面向非易失性内存的新文件系统,采用软更新、目录双视图等技术减少文件元数据同步 时间,提升文件读写性能。 • 内存分级扩展 etMem:新增用户态 swap 功能,策略配置淘汰的冷内存交换到用户态存储,用户无感知,性能 优于内核态 swap。0 码力 | 17 页 | 2.04 MB | 1 年前3
 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL2018年PostgreSQL中国技术大会 为什么我们抛弃MongoDB和 MySQL,选择PgSQL 张启程 qc@aochuang.cn 奥创软件研究院(上海)研发中心 2018年PostgreSQL中国技术大会 任何数据库都很好用 • 我不是一个专业的DBA ,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL: • copy简单快速,批量复制,替换修改简单; 每个网站一个库,单体数据量小,数据类型固定; • 后来做SCRM系统,也首选MySQL: • 需求经常改动,每次改需求先改数据库; • 数据量越来越大,越来越不了解这只海豚; 2018年PostgreSQL中国技术大会 MySQL+MongoDB • 迫于无奈,分拆数据,将需要用到事务、调用频繁的数据 继续用MySQL,将IM中聊天记录等数据量大的数据,用 MongoDB存储,减轻MySQL负担; •0 码力 | 9 页 | 563.82 KB | 1 年前3 PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL2018年PostgreSQL中国技术大会 为什么我们抛弃MongoDB和 MySQL,选择PgSQL 张启程 qc@aochuang.cn 奥创软件研究院(上海)研发中心 2018年PostgreSQL中国技术大会 任何数据库都很好用 • 我不是一个专业的DBA ,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • 2018年PostgreSQL中国技术大会 主要业务场景 • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL: • copy简单快速,批量复制,替换修改简单; 每个网站一个库,单体数据量小,数据类型固定; • 后来做SCRM系统,也首选MySQL: • 需求经常改动,每次改需求先改数据库; • 数据量越来越大,越来越不了解这只海豚; 2018年PostgreSQL中国技术大会 MySQL+MongoDB • 迫于无奈,分拆数据,将需要用到事务、调用频繁的数据 继续用MySQL,将IM中聊天记录等数据量大的数据,用 MongoDB存储,减轻MySQL负担; •0 码力 | 9 页 | 563.82 KB | 1 年前3
 Greenplum 精粹文集互联网行业经过之前近 10 年的由慢到快的发展,累积了大量信息和数 据,数据在爆发式增长,这些海量数据急需新的计算方式,需要一场 计算方式的革命。 传统的主机计算模式在海量数据面前,除了造价昂贵外,在技术上也 难于满足数据计算性能指标,传统主机的 Scale-up 模式遇到了瓶颈, SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google 1 16-11-22 下午3:38 2 由此,业界认识到对于海量数据需要一种新的计算模式来支持,这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时,开放的X86服务器技术已经能很好的支持商用,借助高速网络(当 时是千兆以太网)组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机,并且成本很低,横向的扩展性还可带来系统良好 的成长性。 行工作、负责数据分布、Pipeline 计算、镜像复制、健康探测等等诸 多任务。 在 Greenplum 开源以前,据说一些厂商也有开发 MPP 数据库的打算, 其中最难的部分就是在 Interconnect 上遇到了障碍,可见这项技术的 关键性。 Greenplum 集群架构 Big Date2.indd 3 16-11-22 下午3:38 4 2. Greenplum 为什么选择 Postgreeql 做轮子0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集互联网行业经过之前近 10 年的由慢到快的发展,累积了大量信息和数 据,数据在爆发式增长,这些海量数据急需新的计算方式,需要一场 计算方式的革命。 传统的主机计算模式在海量数据面前,除了造价昂贵外,在技术上也 难于满足数据计算性能指标,传统主机的 Scale-up 模式遇到了瓶颈, SMP(对称多处理)架构难于扩展,并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来,Google 1 16-11-22 下午3:38 2 由此,业界认识到对于海量数据需要一种新的计算模式来支持,这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时,开放的X86服务器技术已经能很好的支持商用,借助高速网络(当 时是千兆以太网)组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机,并且成本很低,横向的扩展性还可带来系统良好 的成长性。 行工作、负责数据分布、Pipeline 计算、镜像复制、健康探测等等诸 多任务。 在 Greenplum 开源以前,据说一些厂商也有开发 MPP 数据库的打算, 其中最难的部分就是在 Interconnect 上遇到了障碍,可见这项技术的 关键性。 Greenplum 集群架构 Big Date2.indd 3 16-11-22 下午3:38 4 2. Greenplum 为什么选择 Postgreeql 做轮子0 码力 | 64 页 | 2.73 MB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum • “黑盒子” • “大铁箱” • 大磁盘 过去Google™ 曾经用来实现信息搜索功能的技术, 现在被Greenplum用于数据仓库 现在的解决方案 12 Greenplum愿景:企业数据集合 13 • 在企业内创建统一的数据运算平台 • 企业所有者可以直接控制其数据实例 • 通过实体整合提供企业级数据访问功能 个方面同时达到最满意的效果: 供程序员使用的MapReduce以 及供数据库管理使用的 SQL。” Monash Research 的Curt Monash 分析师褒奖 “ Greenplum正在通过新式技术来 推动并行数据库的发展,从而满足互 联网级企业的需求。” ZDNet的Dana Gardner Magic Quadrant 2007 (”远见者象限”) 最佳集群解决方案 Global 1000s商用处理内核 • 将所有处理操作尽量移动到数据附近 计算内核 Greenplu m并行数 据流引擎 对本地磁盘进行直 接的高性能访问 gNet 互连 • 第一个支持互联网级分析技术(由Google普及)的产品 • 采用新的编程模型,在商用硬件上并行处理和执行 • 可以使客户洞察力和数据货币化程度达到前所未有的高度 MapReduce Greenplum MapReduce的优势0 码力 | 45 页 | 2.07 MB | 1 年前3 Greenplum 新一代数据管理和数据分析解决方案服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum • “黑盒子” • “大铁箱” • 大磁盘 过去Google™ 曾经用来实现信息搜索功能的技术, 现在被Greenplum用于数据仓库 现在的解决方案 12 Greenplum愿景:企业数据集合 13 • 在企业内创建统一的数据运算平台 • 企业所有者可以直接控制其数据实例 • 通过实体整合提供企业级数据访问功能 个方面同时达到最满意的效果: 供程序员使用的MapReduce以 及供数据库管理使用的 SQL。” Monash Research 的Curt Monash 分析师褒奖 “ Greenplum正在通过新式技术来 推动并行数据库的发展,从而满足互 联网级企业的需求。” ZDNet的Dana Gardner Magic Quadrant 2007 (”远见者象限”) 最佳集群解决方案 Global 1000s商用处理内核 • 将所有处理操作尽量移动到数据附近 计算内核 Greenplu m并行数 据流引擎 对本地磁盘进行直 接的高性能访问 gNet 互连 • 第一个支持互联网级分析技术(由Google普及)的产品 • 采用新的编程模型,在商用硬件上并行处理和执行 • 可以使客户洞察力和数据货币化程度达到前所未有的高度 MapReduce Greenplum MapReduce的优势0 码力 | 45 页 | 2.07 MB | 1 年前3
 MyBatis 框架尚硅谷 java 研究院版本:V 1.0MyBatis可以使用简单的XML或注解用于配置和原始映射,将接口和Java的POJO(Plain Old Java Objects,普通的 Java 对象)映射成数据库中的记录 1.3 为什么要使用 MyBatis – 现有持久化技术的对比 1) JDBC 1 SQL 夹在 Java 代码块里,耦合度高导致硬编码内伤 2 维护不易且实际开发需求中 sql 是有变化,频繁修改的情况多见 2) Hibernate 和 JPA 创建一个动态的 WEB 工程 JAVAEE 课程系列 ————————————————————————————— 39 更多 Java –大数据 –前端 –python 人工智能资料下载,可访问百度:尚硅谷官网 导入 SSM 需要使用的 jar 包 导入整合适配包 导入其他技术的一些支持包 连接池 数据库驱动 日志.... 2) Spring + Springmvc 在 web.xml 中配置: Mapper 接口的代理实现类 5) 测试: REST CRUD 课堂: 查询所有的员工信息,列表显示 课下: 增删改 9.3 整合的配置 9.3.1 web.xml <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java0 码力 | 44 页 | 926.54 KB | 1 年前3 MyBatis 框架尚硅谷 java 研究院版本:V 1.0MyBatis可以使用简单的XML或注解用于配置和原始映射,将接口和Java的POJO(Plain Old Java Objects,普通的 Java 对象)映射成数据库中的记录 1.3 为什么要使用 MyBatis – 现有持久化技术的对比 1) JDBC 1 SQL 夹在 Java 代码块里,耦合度高导致硬编码内伤 2 维护不易且实际开发需求中 sql 是有变化,频繁修改的情况多见 2) Hibernate 和 JPA 创建一个动态的 WEB 工程 JAVAEE 课程系列 ————————————————————————————— 39 更多 Java –大数据 –前端 –python 人工智能资料下载,可访问百度:尚硅谷官网 导入 SSM 需要使用的 jar 包 导入整合适配包 导入其他技术的一些支持包 连接池 数据库驱动 日志.... 2) Spring + Springmvc 在 web.xml 中配置: Mapper 接口的代理实现类 5) 测试: REST CRUD 课堂: 查询所有的员工信息,列表显示 课下: 增删改 9.3 整合的配置 9.3.1 web.xml <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java0 码力 | 44 页 | 926.54 KB | 1 年前3
 HBase最佳实践及优化HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从 中国用户大会 系统部署 • NameNode节点:3台 • DataNode(数据存储节点): 178台 • Zookeeper节点:7台 • 集群监控节点:1台 • 入库服务节点:24台 • Web查询应用服务节点:20台 • 机架间通过万兆交换机连接 • 网络冗余 DCN网络 IP承载网 客服系统 A 省 GGSN SGSN Gn口 产创平台 采集系统 客服系统 B 省 GGSN 立 HBase 库(独 立ZK集 群) Redis Kafka Storm YARN 589台 HBase 120台 HBase 133台 其他 118台 客户端 Gateway Web FTP-o-H 接口 165台 数据节 点960台 管理节 点10台 20 Postgres Conference China 2016 中国用户大会 开发指南 21 Postgres0 码力 | 45 页 | 4.33 MB | 1 年前3 HBase最佳实践及优化HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从 中国用户大会 系统部署 • NameNode节点:3台 • DataNode(数据存储节点): 178台 • Zookeeper节点:7台 • 集群监控节点:1台 • 入库服务节点:24台 • Web查询应用服务节点:20台 • 机架间通过万兆交换机连接 • 网络冗余 DCN网络 IP承载网 客服系统 A 省 GGSN SGSN Gn口 产创平台 采集系统 客服系统 B 省 GGSN 立 HBase 库(独 立ZK集 群) Redis Kafka Storm YARN 589台 HBase 120台 HBase 133台 其他 118台 客户端 Gateway Web FTP-o-H 接口 165台 数据节 点960台 管理节 点10台 20 Postgres Conference China 2016 中国用户大会 开发指南 21 Postgres0 码力 | 45 页 | 4.33 MB | 1 年前3
共 280 条
- 1
- 2
- 3
- 4
- 5
- 6
- 28














 
 