位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 BITMAP函数 HLL函数 窗口函数 哈希函数 Baidu 百度智能云文档 目录 2 SQL手册 数据类型 TINYINT数据类型 TINYINT数据类型 长度: 长度为1个字节的有符号整型。 范围: [-128, 127] 转换: Doris可以 +------------------------+ +------------------------+ 1 row in set (0.00 sec) 1 row in set (0.00 sec) Baidu 百度智能云文档 SQL手册 3 BIGINT数据类型 BIGINT数据类型 长度: 长度为8个字节的有符号整型。 范围: [-9223372036854775808, 9223372036854775807] +------------------------------------------+ 1 row in set (0.05 sec) 1 row in set (0.05 sec) Baidu 百度智能云文档 SQL手册 4 转换: Doris不会自动将DOUBLE类型转换成其他类型。用户可以使用CAST()将其转换成TINYINT, SMALLINT, INT, BIGINT, STRING

JAVAEE 课程系列 ————————————————————————————— 1 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 MyBatis 框架 尚硅谷 java 研究院 版本：V 1.0 第 1 章 MyBatis 简介 1.1 MyBatis 历史 1）MyBatis 是 Apache 的一个开源项目 iBatis, 2010 进行部分映射时比较困难。导致数据 库性能下降 JAVAEE 课程系列 ————————————————————————————— 2 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 3） MyBatis 1 对开发人员而言，核心 sql 还是需要自己优化 2 sql 和 java 编码分开，功能边界清晰，一个专注业务、一个专注数据 1.4 如何下载 MyBatis com/mybatis/mybatis-3/ JAVAEE 课程系列 ————————————————————————————— 3 更多 Java –大数据 –前端 –python 人工智能资料下载，可访问百度：尚硅谷官网 第 2 章 MyBatis HelloWorld 2.1 开发环境的准备 1) 导入 MyBatis 框架的 jar 包、Mysql 驱动包、log4j 的 jar 包 myBatis-3

的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研，2017年开源 系统定位 • 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 2009 • 随百度业务飞速发展，对 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 2013 • 精简架构、统一用户客户端， 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 人帮助Doris 2017

id loop execute 'DROP TABLE IF EXISTS out, out_summary;'; execute 'SELECT madlib.graph_bfs(''people'',''id'',''links'',NULL,'||v1.id||',''out'');' ; select 1 into linkchk from out and st_makepoint() 计算给定经纬 度方圆2KM的范围 GPText.search() 函数可 以知道是否一个人在 Pivotal工作 Greenplum MADlib BFS 算法可以 知道两个之间是否有直接联系 Greenplum模糊字符串匹 配函数Soundex() 可以 知道姓名是否发音是 ‘Pavan’或‘Peter’ Greenplum Time 函数计算24

、美国国家税务局、美联储、三星、戴尔、福特、 爱立信等，国内客户包括深交所、建设银行、民生银行、广大银行、浦发银行、航旅纵横、中国 移动、华为等。自 2015 年开源以来，更是吸引了包括阿里云、百度云、中移动、旷世、去哪儿 网、易观、腾云科技、饿了么、金风科技在内大量开源用户。 Greenplum 大数据平台的优势 ● 一次打包到处运行的平台：部署灵活，不受限于硬件环境和平台，无论裸机、私有云、公 个半月一个版本的发布速度。Greenplum 主干分支（master）开发非常活跃，众多社区 期待的特性稳健推进中，包括内核升级、新课题，处于业界领先地位。 Greenplum 社区邀请 Pivotal、阿里云、百度等社区人士共同定期举办各种技术研讨会、技术沙龙、 101 培训等活动，获得良好反馈。国内多所知名大学开设了 Greenplum 相关数据库课程，并在学 术领域取得了突出成就。 Greenplum

是分布式计算领域的旗帜性人物和开源社区领袖，同时是国际知名开源项目 Codis 作者。 Codis 是基于 Redis 的分布式集群解决方案， 为用户提供在线弹性伸缩和高性能的缓存服务，该项目 目前已广泛被各大互 联网公司（百度/小米/滴滴/猎豹 等）采用。 核心技术团队均为一线互联网公司基础架构部资深架构师，有技术改变世界的强烈抱负。 2013年以后 2008年至2013年 2008年以前 • 背景：应用最为广泛的数据库；能 Apple iCloud 业务）和华为商城（VMall）等大型项目落地 京东 全职工程师（10人团队）深度参与，将会在京 东云平台落地，替 换内部 Oracle，继阿里去IOE之后又一重大标志性事件 百度 已经开始整合 TiDB 的技术调研 滴滴、360、乐视、去哪儿 均有浓厚兴趣，后续合作正在洽谈 渠道 多个Pass服务商 主动希望为其客户提供分布式数据库解决方案（云服务） 客户 多个客户 有明确和迫切的需求痛点，主

........................................................................................ - 272 - 文件系统要求 ............................................................................................... ........................................................................................ - 385 - 文件系统 ................................................................................................. 表空间(tablespace)允许Database管理员使用多个文件系统来存储数据库对 象，从而可以决定如何更好的利用他们的物理储存设备。表空间的存在有具体的意义， 例如在访问频度不同的数据库对象上使用不同性能的磁盘，例如，将经常使用的表放在 高性能磁盘的文件系统上(例如SSD固态盘)，而将其他表放在普通硬盘的文件系统上。 一个表空间，在GP集群中，对应的是一组分布式的操作系统目录，在每个Instance

/dev/drbd0 /drbd 挂在文件系统。 f) 启动 dbserver2 的 mysql，/etc/rc.d/init.d/mysqld start。 注意：dbserver1 和 dbserver2 上的 mysql 用户的 uid 和 gid 要一样。不然 切换后会导致 mysql 数据目录的属主不正确而启动失败。  主从切换 主切换成从，需要先卸载文件系统，再执行降级为从的命令： umount /dev/drbd0 drbdadm secondary all 从切换成主，要先执行升级成主的命令然后挂在文件系统： drbdadm primary all 如果不成功 drbdsetup /dev/drbd0 primary -o mount /dev/drbd0 /drbd/  DRBD 脑裂后的处理 当 DRBD 出现脑裂后，会导致 drbd 两边的磁盘不一致，处理方法如下： Heartbeat 的管理 配置好 heartbeat 之后，需要将 mysql 从自启动服务器中去掉，因为主 heartbeat 启动的时候会挂载 drdb 文件系统以及启动 mysql，切换的时候会 将主上的 mysql 停止并卸载文件系统，从上会挂载文件系统，并启动 mysql。 因此需要做如下操作： chkconfig mysqld off chkconfig --add heartbeat chkconfig

 查看实例宕机历史和恢复历史信息  select * from gp_configuration_history order by 1 ;  查看Tablespace对应的文件系统位置 select * from pg_filespace_entry ; Admin常用命令  gpstate：显示Greenplum数据库运行状态，详细配置等信息  常用可选参数 query_start，检查是否有3~6个小时以上的SQL仍在运行  检查空间使用情况 – gpssh -f allhosts =>df –h |grep data1,检查所有文件系统，包括xfs文件系统、tmp的使用情况； 日常巡检事项  检查操作系统日志 – gpssh检查所有节点的/var/log/message，grep过滤是否有硬件错误、系统错误等信息   确定是哪个实例的问题后，检查该节点是否有硬件故障 – 检查网络是否故障 – 检查实例的进程是否存在，ps –ef |grep postgres|grep port – 检查文件系统是否有异常（到相应实例对应的数据目录下，执行ls；echo“test‖ > mytest.txt看看是否有错误） 问题定位方法 现象-某个SQL任务执行时间太长

云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 Docker 容器交互，以在容器中执行用户定义函数 （UDF），这样方便数据科学家可以在不需要 DBA 帮助的情况自由使用数据分析，同时大大提高了安全性，Docker 容器确保用户代码无法访问源主机的文件系统。此外，容器启动时网络访问受限，无法连接回 Greenplum 数据库或 打开任何其他外部连接。 集成分析：改进后的全新分析接口 一直以来，客户都能在 Greenplum 中做高级