Apache Kyuubi 1.7.0-rc0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档详细介绍了Apache Kyuubi 1.7.0-rc0的安装、配置和使用。涵盖了Kyuubi服务器的目录结构、日志系统配置、与Apache Spark的集成、元数据管理以及监控指标等内容。此外，还提供了构建和调试Kyuubi的指南，以及新版本的功能特性和改进，如小文件合并、偏移连接优化和阶段级配置隔离等。

AI总结

《Apache Kyuubi 1.7.0-rc0 Documentation》文档总结如下：

---

### 目录结构说明
文档详细描述了Kyuubi 1.7.0-rc0的目录结构及各部分功能：
- **LICENSE**：Apache 2.0授权协议。
- **RELEASE**：构建信息。
- **NOTICE**：项目及依赖库的声明。
- **bin**：Kyuubi服务器启动脚本入口。
- **conf**：默认配置文件，包括日志、环境变量和会话配置。
- **docker**：Docker容器化部署相关文件，如Dockerfile和Kubernetes配置文件。
- **externals/engines**：支持的各种SQL引擎。
- **jars**：Kyuubi服务器所需的包文件。
- **logs**：日志存储目录。
- **pid**：进程PID文件存储目录。
- **work**：子进程（SQL引擎）的工作目录根目录。

---

### 安装与构建
1. **安装**
- 值得注意的是，Kyuubi 1.7.0-rc0的安装基于二进制包，源码包需要额外的构建步骤。
- 提供了Spark的安装链接，Spark是Kyuubi的依赖项。

2. **构建工具**
- 使用Apache Maven进行构建，支持单独构建子模块、跳过某些模块、针对不同Spark版本构建等。
- 支持生成可运行的发布包，并提供文档生成工具。
- 提供了调试和开发工具的配置指南，包括IntelliJ IDEA的使用和代码格式化工具。

3. **运行与测试**
- 支持全量测试和单模块测试，提供了调试服务器、引擎和应用的功能。

---

### 监控与日志
1. **日志系统**
- Kyuubi自1.5.0版本起使用Apache Log4j2，早期版本使用Log4j。
- 日志包括服务器日志、引擎日志和操作日志，主要用于追踪SQL工作负载。
- 服务器日志记录了启动/停止、客户端请求处理等信息，可通过配置log4j2.xml自定义日志输出。

2. **监控指标**
- 提供了服务器指标的配置说明，方便监控服务的运行状态。

---

### 修改与配置说明
1. **核心配置**
- 提供了详细的配置参数说明，包括元数据清理、请求重试、线程池大小等。例如：
- `kyuubi.metadata.cleaner.enabled`：是否启用定期元数据清理，默认为`true`。
- `kyuubi.metadata.max.age`：元数据的最大保留时间，默认为72小时。

2. **SQL优化与扩展功能**
- Kyuubi支持Apache Spark的自适应查询执行框架（AQE），并提供了额外的SQL优化规则，例如：
- 自动合并小文件，通过增加额外的shuffle操作解决Spark的小文件问题。
- 在join操作前增加shuffle节点，以优化偏斜连接。
- 提供阶段级别的配置隔离，解决AQE中配置冲突的问题。

3. **辅助SQL函数**
- 提供了多个辅助函数，如`kyuubi_version`、`engine_name`、`system_user`等，用于获取Kyuubi服务器和引擎的信息。

---

### 发布指南
文档详细说明了Kyuubi的发布流程，包括：
1. 发布决策与准备。
2. 切分主分支并生成候选发布包。
3. 对发布候选进行社区投票。
4. 根据投票结果决定是否修复问题并重新生成候选包。
5. 最终发布并推广到官方地址，同时更新Docker镜像。

---

### 其他内容
- 提供了常见问题排除指南，帮助用户解决实际使用中的问题。
- 包含了代码格式化、开发工具配置等开发者指南。
- 文档最后提供了完整的配置参数说明和相关工具的使用指南。

---

以上为文档的核心内容和关键信息的总结，具有逻辑性和完整性，便于快速了解Kyuubi 1.7.0-rc0的功能、安装、配置和使用。