使用 Docker 建立 Mysql 集群 软件环境介绍 操作系统：Ubuntu server 64bit 14.04.1 Docker 版本 1.6.2 数据库：Mariadb 10.10 （Mariadb 是 MySQL 之父在 MySQL 被 Oracle 收购之后 创建的分支，性能上优于 MySQL 开源版本） 第一步 安装 Docker 对于 Ubuntu，建议直接联网安装 Docker MYSQL_PASSWORD=medical_waste \ -e MYSQL_DATABASE=medical_waste \ -e TERM=linux \ -d mariadb 第三步 配置一主一从集群 3.1 接下来启动另一个容器作为从数据库，因为镜像不支持在容器内进入 mysql 控制 台，所以依然需要把端口暴露出来以供局域网访问,但主数据库容易可以链接进 来作为一个可访问的主机 master_db。 master_log_pos=789; /*开启从数据库复制*/ start slave; 最后可以通过 show slave status; 查看同步情况。 至此我们就建立了一个基于 Docker 的 Mariadb 数据库集群。

PieCloudDB Database 社区版集群部署和使用手册 版本：V2.1 2023 年 03 月 08 日 目录 1. 集群规划 .......................................................................................................... ................................................................................. 10 2.9 安装 K8S 集群 .................................................................................................. ......................................................................................... 28 4. 集群部署和使用 .............................................................................................

Greenplum 精粹文集 1 一、Greenplum 的前生今世 1. Greenplum 的起源 Greenplum 最早是在 10 多年前（大约在 2002 年）出现，基本上 和 Hadoop 是同一时期（Hadoop 约是 2004 年前后出现的，早期的 Nutch 可追溯到 2002 年）。 互联网行业经过之前近 10 年的由慢到快的发展，累积了大量信息和数 据，数据在爆发式增长，这些海量数据急需新的计算方式，需要一场 计算模式来支持，这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时，开放的X86服务器技术已经能很好的支持商用，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 个实例且实现并行计算呢？为了这，Interconnnect 大神器出现了。在 那一年多的时间里，大咖们很大一部分精力都在不断的设计、优化、 开发 Interconnect 这个核心软件组件。最终实现了对同一个集群中多 个 Postgresql 实例的高效协同和并行计算，Interconnect 承载了并行 查询计划生产和 Dispatch 分发（QD）、协调节点上 QE 执行器的并 行工作、负责数据分布、Pipeline

http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从事服务器中间件软件开发，擅长服务器软件调 试与优化，与团队一起开发出世界上性能领先的XSLT 语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问，先后负责Hadoop 产品 化、HBase 性能调优，以及行业解决方案顾问 HBase版本 2008年成为 Apache Hadoop 的一个子项目 3 HBase是Google BigTable的开源实现 • BigTable利用GFS作为其文件存储系统 • HBase使用HDFS作为其文件存储系统 Postgres Conference China 2016 中国用户大会 4 HBase的模型特性 Hadoop database and NoSQL database 非常高的数据读写速度，为写特别优化 – 高效的随机读取 – 对于数据的某一个子集能够进行有效地扫描 • 具有容错特性，能够将数据持久化的非易失性 存储中 – 使用HDFS做底层存储，可利用Hadoop的压缩 Codec等减少空间占用 • 自动水平扩展 – 只需要加入新的结点即可提高存储容量和吞吐量 – 服务器能够被动态加入或者删除（用以维护和升级） – 服务器自动调整负载平衡 5 Postgres

hdfs 外部表迁移数据 外部表迁移数据 1. 在原 greenplum 集群中创建 hdfs pxf 可写外部表 2. 将原 greenplum 集群表数据写⼊ hdfs 3. 在⽬的 greenplum 集群中创建 hdfs pxf 可读表 4. 从 hdfs 外部表中读取数据并写⼊⽬的 greenplum 集群 FAQs 创建好数据仓库之后怎么连接到UDW？ UDW⽀持从mysql导⼊数据吗？ 把数据分为⼏个均等的部分：通过⼀个分区标准把⼀个⼤表的数据划分为均等的分区，这样可以等倍的提⾼查询性能。 使⽤分区的时候请避免建⽴过多的分区，创建过多的分区可能会影响管理和维护作业，例如： 清理⼯作，节点恢复，集群扩展，查看磁盘使⽤情况等。 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 92/206 6.1 创建分区表 创建分区表 创建分区变需要注意以下问题： UDW Copyright © 2012-2021 UCloud 优刻得 183/206 数据存储 数据存储 创建了⼀个10个节点的UDW集群，节点类型为ds1.large,磁盘类型SATA，⼤⼩为2000GB。 （由于UDW集群的⾼可⽤⽅案，集群可⽤⼤⼩为10000GB）。 表格设计 表格设计 采取列存储和压缩的追加表，分布键为id,根据time分区,时间间隔为1天。完整的建表语句如下所⽰：

Confidential πDataCS 优势1 ：全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题， 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下，开发 分布式程序，以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多，常见约30个，基础组件包括：Hadoop通用功能库、HDFS、 MapReduce以及YARN 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 算任务的时候按需启动，按照使用时间和规模计算成本。 eMPP分布式专利技术 在云上，PieCloudDB利用eMPP（elastic Massive Parallel Processing）架构，实现多集群并发执⾏任务。企业可灵活 进⾏扩缩容，随着负载的变化实现⾼效的伸缩，轻松应对 PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓

ZooKeeper 未授权访问漏洞 Rsync 未授权访问漏洞 Atlassian Crowd 未授权访问漏洞 CouchDB 未授权访问漏洞 Elasticsearch 未授权访问漏洞 Hadoop 未授权访问漏洞 Jupyter Notebook 未授权访问漏洞 攻击机: Windows10 目标靶机: Centos7 ip地址: 192.168.18.138 连接工具:Xshell 是一个开源的引擎可以轻松地为任何应用创建一个轻量级的、可移植的、自给自足的容 器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署包括 VMs、bare metal、 OpenStack 集群和其他的基础应用平台Docker。 Docker Remote API 是一个取代远程命令行界面（rcli）的REST API。存在问题的版本分别为 1.3 和 1.6因为权限控制等问题导致可以通过 ookeeper 的默认开放端口是2181。Zookeeper安装部署之后默认情况下不需要任何身份验证，造成攻击者可以远 程利用Zookeeper，通过服务器收集敏感信息或者在Zookeeper集群内进行破坏（比如：kill命令）。攻 击者能够执行所有只允许由管理员运行的命令。 漏洞利用 环境介绍 import docker client = docker.DockerCli

可以在 Linux、Unix、Mac OS 以及 Windows 上进行安装，为了简便起见，本文以 CentOS 为例进行介绍。 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 下载、安装并启动 Cassandra 因为本文只是简单介绍 Apache Cassandra 的使用，所以本文仅安装单机版的 Cassandra，在生 的时候我们并没有指定需要连接的节点以及端口，这种情况下 cqlsh 会自动探测本机及相关端口，因为我们在前面已经启动了 Cassandra 服务，所以 cqlsh 可以正确连接到这个集群。从上面的命令可以看出 cqlsh 连接到名为 Test Cluster 的集群，这是由 conf/cassandra.yaml 文件里面的 cluster_name 参数决定的，默认值为 Test Cluster。 当然，我们也可以在启动 cqlsh 里面查看环境变量 我们可以使用 DESCRIBE 命令，来查看一些集群的一些环境变量的值。下面命令查看当前集群的情况 cqlsh> DESCRIBE CLUSTER; Cluster: Test Cluster Partitioner: Murmur3Partitioner DESCRIBE CLUSTER 显示了集群的名字以及采用的 Partitioner ，Cassandra 1.2

TiDB Serverless 计费 计费 TiDB TiDB Serverless 回收与删除 回收与删除 通知渠道 TiDB 删除 TiDB Serverless 删除 实例 实例 创建TiDB集群 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 MySQL 协议，⽀持⽔平伸缩，具备强⼀致性和⾼可⽤性。 UCloud 基于PingCAP的TiDB，实现TiDB在公有云的产品化，给⽤⼾提供两种形态产品。TiDB：按⽤⼾指定节点规格⼀键部署，灵活集群管理，接⼊⽅便的⾼性能数据；TiDB Serverless： ⽆需关⼼底层资源池、按需使⽤、接⼊⽅便的 Serverless ⾼性能数据库服务。 什么是TiDB 分布式NewSQL数据库 TiDB Copyright 2012-2021 UCloud 优刻得 11/120 产品优势 产品优势 ⾼度兼容 ⾼度兼容 MySQL ⼤多数情况下，⽆需修改代码即可从 MySQL 轻松迁移⾄ TiDB，分库分表后的 MySQL 集群亦可通过 TiDB ⼯具进⾏实时迁移。 动态扩展 动态扩展 通过简单地增加新节点即可实现 TiDB 的⽔平扩展，按需扩展吞吐或存储，轻松应对⾼并发、海量数据场景。 分布式事务 分布式事务 TiDB 100%

报 提 纲 Greenplum VS hadoop Greenplum架构 Greenplum的高可用方案 GP分布式数据库功能介绍 理解GP的查询处理 Greenplum VS hadoop 比较项 Greenplum Hadoop+hive 软件性质 商业软件 开源 集群规模 一般在100台以下 可以到上万台。 性能 在100台以下时，性能 比hadoop好。 单个SQL可以做到秒级 别 集群规模越大，总体性 能越好。 单个SQL最少也有数十 秒。 SQL的支持程度 支持完善，几乎所有 PostgreSQL支持的SQL， gp都支持。 支持有限的SQL，查询 支持子查询，但不支持 窗口函数。大部分dml都 不支持，只支持append。 稳定性 有较多的bug。 比较稳定。 器上。而 Greenplum4.0版本增加了功能，当备份节点坏的时 候，主节点可以把增量数据记下来，这样当备份节点的 主机恢复时，只需要恢复增量数据就可以了。 要让原先已offline的节点再加入集群中，需要重启集 群。 Greenplum中的高可用方案 对于Greenplum 3.X的版本，segment 的primary与 mirror之间是做的逻辑同步，mirror端的数据库实际上