Greenplum 编译安装和调试Greenplum 编译安装和调试 本文先介绍如何从源代码编译安装Greenplum、初始化Greenplum集群。然后介绍SQL在 Greenplum中的典型执行路径,最后介绍一些调试技巧。 源代码使用 Greenplum 开源社区最新源代码 6X_STABLE 分支: https://github.com/greenplum-db/gpdb,内核代码基于 PostgreSQL 首先下载 Greenplum 源代码 $ git clone https://github.com/greenplum-db/gpdb Greenplum Database 编译和运行依赖于各种系统库和Python库。需要先安装这些依赖: $ sudo yum groupinstall 'Development Tools' # GCC, libtools etc $ sudo g20 | 25443 2. 初始化 Greenplum 集群 前面编译部分介绍了如何使用 Greenplum 源代码中的 demo 集群脚本创建集群。这种方法简单快 捷,然而屏蔽了很多细节。 2.1 手工集群初始化 下面介绍如何手工部署一个单机集群:在一台笔记本上安装一个Greenplum的集群,包括一个 master,两个segments。0 码力 | 15 页 | 2.07 MB | 1 年前3
SQLite概述、安装和使用SQLite概述、安装和使用 北京理工大学计算机学院 金旭亮 http://www.sqlite.org/ •一种单用户单文件的关系数据库 •占用资源少,适合于嵌入式产品 •无需安装,可以直接嵌入到应用程序中, Java应用只需引用一个jar包即可 •Android操作系统内置对SQLite的直接支持 SQLite概述 官网: http://www.sqlite.org/download 建一个新文件。 创建表 create table test (id integer primary key, value text); 使用create table命令创建test表,表中有两个字段:id和value test表创建完成之后,打开文件资源管理器,你会发现test.db文件 己经创建好了,你可以在SQLite Shell中使用.tables命令列出当前 数据库(即test.db)中的所有表。 INTEGER:整数 ▪ REAL:浮点数 ▪ TEXT:文本与字符串 ▪ BLOB:二进制类型的数据 在创建表时给与表字段明确的类型,并且只向表中插入和提取对应类型 的数据,是一条应该遵循的编程规范。 SQLite数据库是一种“动态类型”的数 据库,可以将不同类型的数据“塞入” 同一个字段中。 插入数据 使用insert命令插入数据,select命令查询插入的数据。 对于无效的SQL命令,SQLite会拒绝执行并报告错误,0 码力 | 17 页 | 717.73 KB | 1 年前3
Oracle 和 MySQL 性能优化感悟1、定一个NSURLProtocol子类 2、注册这个类 3、NSURLProtocol子类实现 method swizzling 拦截的要点: • 拦截到 • 调回去 • 名词约定:原始方法、代理方法 method swizzling 原理 typedef struct objc_method *Method; typedef struct objc_ method { SEL method_name; method_imp; }; method swizzling 原理 基本步骤 1、用class_addMethod为某类添加“代理方法” 2、调用method_exchangeImplementations交换IMP 3、确保你的“代理方法”调用了“原始方法” method swizzling 原理 基本步骤 应用场景 优点/缺点/坑 method swizzling(改进版) 优点/缺点/坑 isa swizzling 特点:针对一个对象 1、(动态)创建目标类子类 2、(动态)为子类添加方法 3、修改目标对象的isa 原理 基本步骤 应用场景 优点/缺点/坑 isa swizzling+NSProxy 1、从NSProxy派生一个子类, 2、实现那三个方法 3、把目标对象的isa指向这个类 fishhook Runlook观察者/CADisplayLink0 码力 | 19 页 | 3.82 MB | 1 年前3
Greenplum机器学习⼯具集和案例2017.thegiac.com www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com 开放源代码,持续大力投入 • 敏捷方法学:快速迭代、持续发布、质量内建 • 企业级稳定性,成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X:各种语言实现自定义函数(存储过程) • MADLib: 数据挖掘、统计分析、图(Graph)等算法 • GPText:文本检索和分析 • GeoSpatial:地理信息数据分析 历史回顾 2017.thegiac.com 金融 保险 医疗 汽车 制造 科研 政府机构 互联网 娱乐和媒体 零售 MADlib ⽤用户和场景 2017.thegiac.com 功能 Data Types and TransformaJons Array and Matrix Operations Matrix FactorizaDon0 码力 | 58 页 | 1.97 MB | 1 年前3
NetBackup™ for SQLite 管理指南: Windows 和LinuxNetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间: 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights rights reserved. 保留所有权利。 Veritas、Veritas 徽标和 NetBackup 是 Veritas Technologies LLC 或其附属机构在美国和其他 国家/地区的商标或注册商标。其他名称可能为其各自所有者的商标,特此声明。 本产品可能包括 Veritas 必须向第三方支付许可费的第三方软件(以下称“第三方程序”)。 部分第三方程序会根据开源或免费软件许可证提供。软件随附的授权许可协议不会改变这些 变这些 开源或免费软件许可证赋予您的任何权利或义务。请参考此 Veritas 产品随附的或以下链接提 供的第三方法律声明文档: https://www.veritas.com/about/legal/license-agreements 本文档中介绍的产品根据限制其使用、复制、分发和反编译/逆向工程的许可证进行分发。未 经 Veritas Technologies LLC 及其许可方(如果存在)事先书面授权,不得以任何方式任何形0 码力 | 34 页 | 777.04 KB | 1 年前3
PostgreSQL和Greenplum 数据库故障排查2018年PostgreSQL中国技术大会 PostgreSQL和Greenplum 数据库故障排查 赵振平 zzp@taryartar.com 北京太阳塔信息科技有限责任公司 2018年PostgreSQL中国技术大会 自我介绍 微信号:laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平,太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家(TVP) 微信号:laohouzi999 log_statement = 'none' # none, ddl, mod, all 控制记录哪些SQL语句。none不记录,ddl记录所有数据定 义命令,比如CREATE,ALTER,和DROP 语句。mod记录所有ddl 语句,加上数据修改语句INSERT,UPDATE等,all记录所有执行的 语句,将此配置设置为all可跟踪整个数据库执行的SQL语句。 log_duration 2018年PostgreSQL中国技术大会 连接方式(type) 共有三种:local、host、hostssl、hostnossl local使用本地unix套接字 host使用TCP/IP连接(包括SSL和非SSL) “IPv4地址”使用IPv4方式 hostssl只能使用SSL TCP/IP连接 hostnossl不能使用SSL TCP/IP连接 数据库(database)0 码力 | 84 页 | 12.61 MB | 1 年前3
NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间: 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights rights reserved. 保留所有权利。 Veritas、Veritas 徽标、Veritas Alta 和 NetBackup 是 Veritas Technologies LLC 或其附属机 构在美国和其他国家/地区的商标或注册商标。其他名称可能为其各自所有者的商标,特此声 明。 本产品可能包括 Veritas 必须向第三方支付许可费的第三方软件(以下称“第三方程序”)。 部分第三方程序会 变这些 开源或免费软件许可证赋予您的任何权利或义务。请参考此 Veritas 产品随附的或以下链接提 供的第三方法律声明文档: https://www.veritas.com/about/legal/license-agreements 本文档中介绍的产品根据限制其使用、复制、分发和反编译/逆向工程的许可证进行分发。未 经 Veritas Technologies LLC 及其许可方(如果存在)事先书面授权,不得以任何方式任何形0 码力 | 29 页 | 675.75 KB | 1 年前3
Greenplum分布式事务和两阶段提交协议Greenplum中文社区 https://cn.greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging(WAL) ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性:ACID 持久性 一个事务在提交之后,该事务对数据库的改变 是持久的。 Write Ahead Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、一致性和持久性,在此基础上,Haerder和Reuter在1983年中提出了事务的隔离性并提出术语 “ACID”,自此,事务的ACID四个性质成为业内标准术语 8 Disk-Oriented DBMS Components /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 数据、元数据、索引 日志页 读、写页0 码力 | 42 页 | 2.12 MB | 1 年前3
TiDB 实践 HTAP 的架构进展和未来展望-韦万0 码力 | 32 页 | 6.61 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现Confidential • 在世界范围内的统计信息显示,Nosql和数据湖已经不在数据分析 领域占有主要市场 • Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制 了分析和创新的操作化 NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved. OpenPie Confidential • 公有云无限的计算池可以提供理想的弹性计算资源 • 公有云廉价且无限容量的对象存储 • 传统数仓缺乏弹性和存算分离,难以利用公有云的优势 以关系型数据库为基础的数据仓库很难适应云环境 数据的移动 • Segment节点不直接访问系统表,事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB0 码力 | 43 页 | 1.14 MB | 1 年前3
共 146 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15













