Apache Kyuubi 1.6.0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

The document provides comprehensive documentation for Apache Kyuubi 1.6.0, covering its architecture, configuration parameters, logging system, monitoring metrics, and troubleshooting. It details various configurations such as server connections, session management, and security settings, including support for SPNEGO and Kerberos authentication. The document also outlines the use of Apache ZooKeeper for service discovery and explains the logs produced by Kyuubi Server and Engines. Additionally, it introduces new features like the kyuubi-admin tool, which provides maintenance operations, and explains how Kyuubi integrates with Apache Spark, particularly in optimizing SQL queries through techniques like small file merging and dynamic partition insertion. The document serves as a guide for developers and administrators to build and manage applications using Kyuubi effectively.

AI总结

以下是对《Apache Kyuubi 1.6.0 Documentation》的总结，重点突出核心内容和关键信息：

---

### 1. **核心功能与术语解释**
- **Kyuubi**：一种基于SQL引擎，支持多租户和高可用性的服务。
- **JDBC/ODBC Drivers**：提供标准的数据库驱动，支持开发者自选语言构建应用。
- **Server/Engine**：Kyuubi的服务端和执行引擎，支持 Thrift、REST 等协议。
- **Multi Tenancy**：支持多租户隔离。
- **DataLake & LakeHouse**：支持 Apache Iceberg、Delta Lake 和 Apache Hudi 等数据湖技术。

---

### 2. **配置说明**
- **用户连接限制**：
- `kyuubi.server.limit.connections.per.user`：限制用户的连接数。
- `kyuubi.server.limit.connections.per.user.ipaddress`：限制用户-IP组合的连接数。
- **日志与安全**：
- `kyuubi.server.redaction.regex`：自定义正则表达式，用于隐藏敏感信息。
- **会话管理**：
- `kyuubi.session.timeout`：会话超时时间，默认为6小时。
- `kyuubi.session.config.ignore.list`：忽略的配置键列表。
- **Zookeeper 配置**：
- `kyuubi.zookeeper.embedded.client.port`：嵌入式 Zookeeper 的客户端端口，默认为2181。

---

### 3. **客户端与工具**
- **JDBC/ODBC Drivers**：
- 支持 Kyuubi Hive JDBC Driver、MySQL Connector 等。
- **命令行工具**：
- Kyuubi Beeline：用于提交 SQL 查询。
- **BI 工具**：
- Apache Superset、Cloudera Hue、DataGrip 等支持 Kyuubi。
- **API 支持**：
- Thrift、REST、Python DB-API 等。

---

### 4. **日志与监控**
- **日志系统**：
- Kyuubi 使用 Apache Log4j2（1.5.0 及以上版本）。
- 日志分为服务器日志、引擎日志和操作日志。
- **日志配置**：
- 可通过修改 `log4j2.xml` 配置日志输出。
- 默认日志文件路径为 `$KYUUBI_HOME/logs/kyuubi-${user}-${hostname}.out`。

---

### 5. **版本更新与新功能**
- **1.6.0 新增功能**：
- 引入 Kyuubi Admin Tool（`kyuubi-admin`），提供配置刷新等维护操作。
- 增加 SPNEGO 安全验证支持。
- 优化 Spark AQE（自适应查询执行）：
- 自动合并小文件。
- 优化倾斜连接和动态分区插入。
- **改进与修复**：
- 修复 NPE 和日志文件句柄泄漏问题。
- 支持 Kubernetes 部署。

---

### 6. **附录**
- **术语解释**：
- 包括 Server、Engine、Multi Tenancy 等关键概念。
- **Changelog**：
- 记录了版本更新的详细信息。

---

### 总结
该文档详细介绍了 Apache Kyuubi 1.6.0 的功能、配置、客户端工具、日志系统和版本更新内容，是部署和使用 Kyuubi 的重要参考。