TiDB 开源分布式关系型数据库参与金融分布式专 项相关标准工作:4分布式数据库技术金融应用规范技术架构》《分布式数据库技术金融应用规范安全 技术要求》《分布式数据库技术金融应用规范灾难恢复要求》 。 ”主导联合技术课题《分布式数据库运维体系研究》《分布式数据库入云及多租户研究》 1.5 荣誉 TiDB 产品荣誉 。 2017 年度产品创新奖 。 2017 年度中国信通院 0SCAR 尖峰开源技术奖 。 2018InfoWorld | PingCAPCOM 章 - TiDB 开源分布式关系型数据库 2.4 TiFlash 高性能列式分析引擎 为了真正解决企业级用户在高性能实时数据分析领域的业务需求,我们在 TiDB 已有体系架构的基础上, 结合最先进的列式存储与计算技术,研发而成了 Tiflash 高性能列式分析引擎。 Tiflash 是TiDB 数据库的扩展分析引擎,核心基于列存储引擎和矢量计算引擎, 与 TiDB 业务范围涵盖涵半投资银行直接投资.证券.保险.基金、飞机租 赁.资产管理,金融科技等多个领域,为全球客户提供全面的金融服务。 业务挑战 中国银行在生产实践中采用中 Zabbix 运维监控方案, 作为开源云原生方案, Zabbix 一直使用 MySQL 作为 后端存储, 在面对更大规模监控需求的时候, 单机 MySQL 数据库面临性能和容量瓶颈, 无法支持几T量级 的数据, 使得监控对象的数量和数据存储时间不能莱得。0 码力 | 58 页 | 9.51 MB | 1 年前3
[PingCAP Meetup SH 5.26]TiDB在Ping++金融聚合支付下的实践0526TiDB在Ping++的应⽤用场景分析 - OLAP:saas服务下实时数仓的⽀支撑 - HTAP:基于TiDB Docker的聚合⽀支付私有化部署⽅方案 • 关于TiDB的线上运维 - TiDB体系 - 业务零感知运维 Ping++原数据架构及瓶颈 实时数仓数据源挑战: • 数⼗十亿交易易量量 • 多维度联合分析 • 实时分析+报表下载 场景⼀一:实时数仓数据源⽀支撑 ⾃自动Region分⽚片、分布式事务 • Online DDL • SQL优先级策略略,安全的oltp+olap • Grafana监控 • Docker简易易运维,⽔水平扩展 TiDB线上运维 • TiDB体系 TiDB线上运维 TiDB的业务零感知运维 • ⾃自动运维:TiDB升级、节点扩展/下线 TiDB-Ansible • ⼿手动运维:升级磁盘、磁盘扩容、数据迁移、⽹网络升级、服务器器重启等0 码力 | 11 页 | 630.95 KB | 6 月前3
[PingCAP Meetup SH 5.26]上海电信微信营业厅 TiDB 实践 v 1.6周围工具 • MySQL -> TiDB ,一行代码没改 • 满足营销活动时候的扩展 • 满足账单支付金融级别要求 • 上线 2 个月以来,平稳运行 • 满足实时统计分析、报表要求 •完善的监控、备份体系 谢感谢 PingCAP 小伙伴在上线过程中给 给与的大力支持! 谢谢大家!0 码力 | 9 页 | 188.20 KB | 6 月前3
Tracing in TiDB 浅谈全链路监控:
从应用到数据库到 Runtime@@tidb_tracer_id=xxxxxx; 2. 在 Application 里将 Tracer ID 和 Span Context 序列化成字符串后传递给这个 Session Varible 3. 在 TiDB 体系内将 Tracer 信息反序列化后生成新的 Context 4. TiDB 和 TiKV 之间的通信是通过 gRPC, jaeger 对 gRPC 有着良好的支持 Tips: Jaeger client0 码力 | 39 页 | 3.43 MB | 1 年前3
PingCAP TiDB&TiKV Introduction OLTP兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一(对标美国 CockroachDB) ● 完全从头打造,并非基于 MySQL 或数据库中间件进行改造、封装 ● 体系架构完全不同于传统的单机型数据库的理论,真正意义上的分布式架构 ● 开源模式保证技术创新、高效和领先性,天然的国际化基因 我们的数据库能解决什么问题 - 1 ● 无限线性水平扩展(Scale Out)0 码力 | 21 页 | 613.54 KB | 6 月前3
分布式NewSQL数据库TiDB状况以便及时做出决策,故需要将分散在各个系统的 数据汇聚在同⼀个系统并进⾏⼆次加⼯处理⽣成 T+0 或 T+1 的报表。传统常⻅的解决⽅案是采⽤ ETL + Hadoop 来完成,但 Hadoop 体系太复杂,运维、存储成本太⾼⽆法满⾜⽤⼾ 的需求。与 Hadoop 相⽐,TiDB 就简单得多,业务通过 ETL ⼯具或者 TiDB 的同步⼯具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接⽣成报表0 码力 | 120 页 | 7.42 MB | 6 月前3
TiDB v5.3 中文手册的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 merge_option=deny,避免 Region 的自动合并。 用户文档,#3839 2.2.2.2 安全 • 支持为 TiDB Dashboard 创建最小权限用户 TiDB Dashboard 的账号体系与 TiDB SQL 用户一致,并基于 TiDB SQL 用户的权限进行 TiDB Dashboard 授权验 证。TiDB Dashboard 所需的权限较少,甚至可以只有只读权限。可以基于最小权限原则配置合适的用户 Analytical Processing, HTAP) 功能。 注意: 如果你对 TiDB HTAP 功能还不太了解,希望快速试用体验,请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景,建议先观看下面的培训视频(时长 15 分钟)。 注意本视频只作为学习参考,如需了解详细的 HTAP 相关内容,请参阅下方的文档内容。 82 3.4.1 HTAP 适用场景0 码力 | 2374 页 | 49.52 MB | 1 年前3
TiDB v6.1 中文手册的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 Analytical Processing, HTAP) 功能。 注意: 如果你对 TiDB HTAP 功能还不太了解,希望快速试用体验,请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景,建议先观看下面的培训视频(时长 15 分钟)。 注意本视频只作为学习参考,如需了解详细的 HTAP 相关内容,请参阅下方的文档内容。 3.4.1 HTAP 适用场景 网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 TiSpark。具体步骤,请参阅TiSpark 用户指南。 3.4.4 HTAP 数据准备 TiFlash0 码力 | 3572 页 | 84.36 MB | 1 年前3
TiDB v5.4 中文手册的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 Analytical Processing, HTAP) 功能。 注意: 如果你对 TiDB HTAP 功能还不太了解,希望快速试用体验,请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景,建议先观看下面的培训视频(时长 15 分钟)。 注意本视频只作为学习参考,如需了解详细的 HTAP 相关内容,请参阅下方的文档内容。 3.4.1 HTAP 适用场景 网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 TiSpark。具体步骤,请参阅TiSpark 用户指南。 3.4.4 HTAP 数据准备 TiFlash0 码力 | 2852 页 | 52.59 MB | 1 年前3
TiDB v6.5 中文手册的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成, 但 Hadoop 体系太复杂,运维、存储成本太高无法满足用户的需求。与 Hadoop 相比,TiDB 就简单得多, 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接生成报表。 Analytical Processing, HTAP) 功能。 注意: 如果你对 TiDB HTAP 功能还不太了解,希望快速试用体验,请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景,建议先观看下面的培训视频(时长 15 分钟)。 注意本视频只作为学习参考,如需了解详细的 HTAP 相关内容,请参阅下方的文档内容。 95 3.4.1 HTAP 适用场景 网络和物理磁盘的写入 能力有限,内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈,也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系,需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析,请部署 TiSpark。具体步骤,请参阅TiSpark 用户指南。 3.4.4 HTAP 数据准备 TiFlash0 码力 | 4049 页 | 94.00 MB | 1 年前3
共 20 条
- 1
- 2













