 云原生数据库PieCloudDB 性能优化之路郭峰 拓数派 云原生数据库PieCloudDB 性能优化之路 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司(又称“OpenPie”),以“Data Computing for New Discoveries”「数据计算,只为新发现」为使命, 成立后的短短10个月时间内,完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库 PieCloudDB,以云计算架构为设计基础,首 创全新 eMPP 分布式技术,帮助企业建立竞争壁垒的同时,实现数据价 值最大化,并在新基建中承担可靠和可控的世界级云数据库底座。 PostgreSQL优化器简介 PieCloudDB优化器之分布式特性简介 PieCloudDB优化器之云原生特性简介 Q/A Contents 录 目 01 • • 预处理阶段 • 通过逻辑上的等价变换,把查询树转换为更加简单高效的等式 • 分发约束条件,收集外连接信息等 • 扫描/连接优化阶段 • 主要处理扫描和连接操作 • 扫描/连接之外的优化阶段 • 主要处理除扫描和连接之外的其他操作,例如聚集、排序等 • 后处理阶段 • 主要把前面的处理结果转换成执行器期望的形式 • 简化表达式 • 简化连接树 • 把 IN,EXISTS 等类型的子查询转换为半连接0 码力 | 26 页 | 711.44 KB | 1 年前3 云原生数据库PieCloudDB 性能优化之路郭峰 拓数派 云原生数据库PieCloudDB 性能优化之路 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司(又称“OpenPie”),以“Data Computing for New Discoveries”「数据计算,只为新发现」为使命, 成立后的短短10个月时间内,完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库 PieCloudDB,以云计算架构为设计基础,首 创全新 eMPP 分布式技术,帮助企业建立竞争壁垒的同时,实现数据价 值最大化,并在新基建中承担可靠和可控的世界级云数据库底座。 PostgreSQL优化器简介 PieCloudDB优化器之分布式特性简介 PieCloudDB优化器之云原生特性简介 Q/A Contents 录 目 01 • • 预处理阶段 • 通过逻辑上的等价变换,把查询树转换为更加简单高效的等式 • 分发约束条件,收集外连接信息等 • 扫描/连接优化阶段 • 主要处理扫描和连接操作 • 扫描/连接之外的优化阶段 • 主要处理除扫描和连接之外的其他操作,例如聚集、排序等 • 后处理阶段 • 主要把前面的处理结果转换成执行器期望的形式 • 简化表达式 • 简化连接树 • 把 IN,EXISTS 等类型的子查询转换为半连接0 码力 | 26 页 | 711.44 KB | 1 年前3
 数据迁移数据迁移 数据迁移 存量 存量 MySQL 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移, 及增量数据同步。 可协助⽤⼾在不停机的情况下轻松将业务从MySQL 切换⾄ TiDB。 ⾃建 ⾃建 TiDB 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB服务。 ⽤⼾在源TiDB开启Pump ⽤⼾在源TiDB开启Pump, Drainer 可进⾏数据增量同步。 UDTS与源端Pump, Drainer⼀起可协助⽤⼾在不停机的情况下轻松将业 务从⾃建TiDB 切换⾄ TiDB 服务。 为 为 TiDB 服务建⽴ 服务建⽴ MySQL 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ MySQL 数据库。 ⽤⼾在TiDB服务上开启 Binlog 可将数据增量同步⾄下游MySQL。 UDTS 与 TiDB 服务建⽴ TiDB 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB 数据库。 ⽤⼾在源TiDB服务上开启 Binlog 可将数据增量同步⾄下游TiDB。 UDTS 与 TiDB Binlog服务⼀起可协助⽤⼾轻松建⽴TiDB从 数据迁移 Copyright © 2012-2021 UCloud 优刻得 1/2 库。 数据迁移 Copyright © 2012-2021 UCloud0 码力 | 2 页 | 42.01 KB | 6 月前3 数据迁移数据迁移 数据迁移 存量 存量 MySQL 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移, 及增量数据同步。 可协助⽤⼾在不停机的情况下轻松将业务从MySQL 切换⾄ TiDB。 ⾃建 ⾃建 TiDB 迁移到 迁移到 TiDB 服务 服务 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB服务。 ⽤⼾在源TiDB开启Pump ⽤⼾在源TiDB开启Pump, Drainer 可进⾏数据增量同步。 UDTS与源端Pump, Drainer⼀起可协助⽤⼾在不停机的情况下轻松将业 务从⾃建TiDB 切换⾄ TiDB 服务。 为 为 TiDB 服务建⽴ 服务建⽴ MySQL 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ MySQL 数据库。 ⽤⼾在TiDB服务上开启 Binlog 可将数据增量同步⾄下游MySQL。 UDTS 与 TiDB 服务建⽴ TiDB 从库 从库 UDTS 产品⽀持 TiDB 全量数据迁移⾄ TiDB 数据库。 ⽤⼾在源TiDB服务上开启 Binlog 可将数据增量同步⾄下游TiDB。 UDTS 与 TiDB Binlog服务⼀起可协助⽤⼾轻松建⽴TiDB从 数据迁移 Copyright © 2012-2021 UCloud 优刻得 1/2 库。 数据迁移 Copyright © 2012-2021 UCloud0 码力 | 2 页 | 42.01 KB | 6 月前3
 Greenplum上云与优化张广舟(明虚) 阿里云高级专家 Greenplum上云与优化 — ApsaraDB for Greenplum介绍 2016Postgres中国用户大会 目 录 content ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 2016Postgres中国用户大会 ApsaraDB for GP的定位 2016Postgres中国用户大会 与其他技术的对比? 为什么上云? 2016Postgres中国用户大会 ApsaraDB for GP的定位 ApsaraDB for GP = 简单、高效解决大数据分析需求 MPP + 列存压缩 复杂SQL + 查询优化器 本地高效存储 +高速网络 +预置稳定资源 = = 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from Name Id status city 列存块 ….. 列存块 列存 ≈索引 + index only 2016Postgres中国用户大会 GP vs. Hadoop? Orca优化器 SQL Runtime 本地存储 >5-30倍的性能优势 2016Postgres中国用户大会 ApsaraDB for GP vs. AWS Redshift? “有史以来卖的最好的云服务”0 码力 | 26 页 | 1.13 MB | 1 年前3 Greenplum上云与优化张广舟(明虚) 阿里云高级专家 Greenplum上云与优化 — ApsaraDB for Greenplum介绍 2016Postgres中国用户大会 目 录 content ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 2016Postgres中国用户大会 ApsaraDB for GP的定位 2016Postgres中国用户大会 与其他技术的对比? 为什么上云? 2016Postgres中国用户大会 ApsaraDB for GP的定位 ApsaraDB for GP = 简单、高效解决大数据分析需求 MPP + 列存压缩 复杂SQL + 查询优化器 本地高效存储 +高速网络 +预置稳定资源 = = 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from Name Id status city 列存块 ….. 列存块 列存 ≈索引 + index only 2016Postgres中国用户大会 GP vs. Hadoop? Orca优化器 SQL Runtime 本地存储 >5-30倍的性能优势 2016Postgres中国用户大会 ApsaraDB for GP vs. AWS Redshift? “有史以来卖的最好的云服务”0 码力 | 26 页 | 1.13 MB | 1 年前3
 HBase最佳实践及优化中国用户大会 HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel 曾在Intel编译器部门从事服务器中间件软件开发,擅长服务器软件调 试与优化,与团队一起开发出世界上性能领先的XSLT 语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问,先后负责Hadoop 产品 化、HBase 性能调优,以及行业解决方案顾问 2 Postgres Conference China 2016 中国用户大会 HBase的历史 2006年 Google发表 了BigTable 了BigTable 论文 2006年底由 PowerSet 的 Chad Walters和 Jim Kellerman 发起了HBase 项目,依据 BigTable的论文 重构关系数据 库 2007年2月建立 了HBase的原型 版本 2007年10月建立 了第一个可用的 HBase版本 2008年成为 Apache Hadoop 的一个子项目 3 HBase是Google BigTable的开源实现0 码力 | 45 页 | 4.33 MB | 1 年前3 HBase最佳实践及优化中国用户大会 HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel 曾在Intel编译器部门从事服务器中间件软件开发,擅长服务器软件调 试与优化,与团队一起开发出世界上性能领先的XSLT 语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问,先后负责Hadoop 产品 化、HBase 性能调优,以及行业解决方案顾问 2 Postgres Conference China 2016 中国用户大会 HBase的历史 2006年 Google发表 了BigTable 了BigTable 论文 2006年底由 PowerSet 的 Chad Walters和 Jim Kellerman 发起了HBase 项目,依据 BigTable的论文 重构关系数据 库 2007年2月建立 了HBase的原型 版本 2007年10月建立 了第一个可用的 HBase版本 2008年成为 Apache Hadoop 的一个子项目 3 HBase是Google BigTable的开源实现0 码力 | 45 页 | 4.33 MB | 1 年前3
 PostgreSQL 查询优化器解析0 码力 | 37 页 | 851.23 KB | 1 年前3 PostgreSQL 查询优化器解析0 码力 | 37 页 | 851.23 KB | 1 年前3
 Oracle 和 MySQL 性能优化感悟移动APP性能监测实践(iOS篇) 杨凯 杨凯 杨凯@听云 iOS研发工程师 yangkai@tingyun.com 关于APM APM的终极使命 APM价值的直接体现 监测的根本在数据获取 监控 技术 NSURLProtocol Method swizzling Isa swizzling Isa swizzling+NSProxy Others NSURLProtocol 3、把目标对象的isa指向这个类 fishhook Runlook观察者/CADisplayLink sendEvent/addTarget::: others • WKWebview • TCP数据 • 用一个入口拦截任意方法 听云产品试用群0 码力 | 19 页 | 3.82 MB | 1 年前3 Oracle 和 MySQL 性能优化感悟移动APP性能监测实践(iOS篇) 杨凯 杨凯 杨凯@听云 iOS研发工程师 yangkai@tingyun.com 关于APM APM的终极使命 APM价值的直接体现 监测的根本在数据获取 监控 技术 NSURLProtocol Method swizzling Isa swizzling Isa swizzling+NSProxy Others NSURLProtocol 3、把目标对象的isa指向这个类 fishhook Runlook观察者/CADisplayLink sendEvent/addTarget::: others • WKWebview • TCP数据 • 用一个入口拦截任意方法 听云产品试用群0 码力 | 19 页 | 3.82 MB | 1 年前3
 SQLite 数据转 MysqlSQLite 数据转 Mysql InsMsgServer 3.7.6 当前 InsMsgServer 环境 以下过程在 win7 sp1 x64 系统下完成,如果您的系统不能运行以下相关程序,请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成 利用 InsMsgServer 生成 Mysql 数据库 确保 确保 mysql 数据库中没有 IM 相关库 调整使用 Mysql 作为数据库,并点击启动 确认启动后数据库正确建立 退出 InsMsgServer,确保导入过程中不影响 InsMsgServer 运行 下载 SQLite Data Wizard 地址: http://www.sqlite.org/cvstrac/wiki?p=ConverterTools0 码力 | 17 页 | 1.40 MB | 1 年前3 SQLite 数据转 MysqlSQLite 数据转 Mysql InsMsgServer 3.7.6 当前 InsMsgServer 环境 以下过程在 win7 sp1 x64 系统下完成,如果您的系统不能运行以下相关程序,请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成 利用 InsMsgServer 生成 Mysql 数据库 确保 确保 mysql 数据库中没有 IM 相关库 调整使用 Mysql 作为数据库,并点击启动 确认启动后数据库正确建立 退出 InsMsgServer,确保导入过程中不影响 InsMsgServer 运行 下载 SQLite Data Wizard 地址: http://www.sqlite.org/cvstrac/wiki?p=ConverterTools0 码力 | 17 页 | 1.40 MB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司,在数据处理和 BI/DW领域,提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum greenplum.com www.greenplum-china.com Greenplum:简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Teradata Netezza Oracle Software-Based Commodity HW • 用户人数 • 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量:数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节 千兆字节0 码力 | 45 页 | 2.07 MB | 1 年前3 Greenplum 新一代数据管理和数据分析解决方案1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司,在数据处理和 BI/DW领域,提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum greenplum.com www.greenplum-china.com Greenplum:简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Teradata Netezza Oracle Software-Based Commodity HW • 用户人数 • 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量:数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节 千兆字节0 码力 | 45 页 | 2.07 MB | 1 年前3
 Greenplum开源MPP数据库介绍Greenplum 开源MPP数据仓库介绍 李晓亮 Greenplum开源MPP数据库介绍Greenplum 开源MPP数据仓库介绍 李晓亮- Greenplum工程师、内核团队经理 Confidential │ ©2022 VMware, Inc. 2 Agenda Ø Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 Confidential │ ©2022 VMware, Inc. 3 Greenplum简介:什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum.org https://github.com/greenplum-db/gpdb Confidential │ ©2022 VMware, Inc Greenplum项目,从 PostgreSQL 8 分支,做成 MPP架构 Ø 2010年被EMC收购 Ø 2012年成为Pivotal的一部分 Ø 2015年开源,可能是世界上第一个成熟商用的开源 MPP数据仓库 Ø 2019年底跟随Pivotal被VMware收购 Confidential │ ©2022 VMware, Inc. 5 谁在用Greenplum? Ø 500多付费企业客户 Ø 0 码力 | 23 页 | 4.55 MB | 1 年前3
 使用JDBC连接数据库使用JDBC连接数据库 北京理工大学计算机学院 金旭亮 Java数据库应用程序全局视图 Java应用程序 JDBC数据库驱动 (*.jar) JDBC规定了一整套访问数据库的标准API,所有数据库都 需要实现它,因此,使用JDBC访问数据库的Java应用程 序,是很容易切换底层数据库的。 JDBC核心类型一览表 核心类型(java.sql) 说明 DriverManager 负责装载/卸载驱动程序 Connection 与数据库建立连接 Statement 在一个给定的连接中执行SQL语句 PreparedStatement 用于执行预编译的SQL命令 CallableStatement 用于调用数据库中存储过程 ResultSet 保存SQL命令的执行结果 上述组件是独立于底层数据库的,也就是说,只要连接上了数据 库,相同的代码,就可以顺利工作…… JDBC访问数据库的基本步骤 加载JDBC驱动程序 加载JDBC驱动程序 创建数据库连接 执行SQL语句 接收并处理SQL的返回结果 关闭创建的各个对象 对于有可视化界面的应用 程序,或者是Server端 应用程序,应该在独立的 线程中完成这些步骤。 出于精简学习负担的目的,我们将以SQLite为例介绍 JDBC的基本使用,在此基础之上,后面选择微软的 SQL Server来介绍JDBC的高级特性…… JDBC连接SQLite数据库 下载SQLite的JDBC驱动-10 码力 | 20 页 | 1.02 MB | 1 年前3 使用JDBC连接数据库使用JDBC连接数据库 北京理工大学计算机学院 金旭亮 Java数据库应用程序全局视图 Java应用程序 JDBC数据库驱动 (*.jar) JDBC规定了一整套访问数据库的标准API,所有数据库都 需要实现它,因此,使用JDBC访问数据库的Java应用程 序,是很容易切换底层数据库的。 JDBC核心类型一览表 核心类型(java.sql) 说明 DriverManager 负责装载/卸载驱动程序 Connection 与数据库建立连接 Statement 在一个给定的连接中执行SQL语句 PreparedStatement 用于执行预编译的SQL命令 CallableStatement 用于调用数据库中存储过程 ResultSet 保存SQL命令的执行结果 上述组件是独立于底层数据库的,也就是说,只要连接上了数据 库,相同的代码,就可以顺利工作…… JDBC访问数据库的基本步骤 加载JDBC驱动程序 加载JDBC驱动程序 创建数据库连接 执行SQL语句 接收并处理SQL的返回结果 关闭创建的各个对象 对于有可视化界面的应用 程序,或者是Server端 应用程序,应该在独立的 线程中完成这些步骤。 出于精简学习负担的目的,我们将以SQLite为例介绍 JDBC的基本使用,在此基础之上,后面选择微软的 SQL Server来介绍JDBC的高级特性…… JDBC连接SQLite数据库 下载SQLite的JDBC驱动-10 码力 | 20 页 | 1.02 MB | 1 年前3
共 155 条
- 1
- 2
- 3
- 4
- 5
- 6
- 16














 
 