户 参与度，也为音乐人和合作伙伴在音乐的制作、发行和销售方面提供更大的支持。 在业务运营过程中我们需要对包括歌曲、词曲、专辑、艺人在内的内容对象进行全方位分析， 高效为业务赋能，内容库数据平台旨在集成各数据源的数据，整合形成内容数据资产（以指 标和标签体系为载体），为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分 析服务。 数据架构演进 TDW 是腾讯最大的离线数据处理平台 参数调优： max_XXXX_compaction_thread max_cumulative_compaction_num_singleton_deltas  优化 BE 提交逻辑：定期缓存 BE 列表，按批次随机提交到 BE 节点，细化负载均 衡粒度。 优化背景：在写入时发现某一个 BE 负载会远远高于其他的 BE，甚至出现 OOM。结合源 码发现：作业启动后会获取一次 BE 地址列表，从中随机选出一个 节点，除非作业异常报错，否则该节 点不会发生切换。 对于少量 Flink 作业大数据场景会导致选中的 BE 节点负载较高，因此我们尝试对 BE 提 交逻辑进行优化，设置每 1 小时缓存一次 BE 列表，每写入一个批次都随机从 BE 缓存列 表中获取一个进行提交，这样负载均衡的粒度就从 job 级别细化到每次提交的批次，使得 BE 间负载更加的均衡，这部分实现我们已经贡献到社区，欢迎大家一起使用并反馈。

联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成，不依赖于外部存储系统 • 架构优雅，单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询，100台集群可达10w QPS • 流式导入单节点100MB/s，小批量导入毫

Impala、Presto、Doris、Cl ickHouse、Druid、TiDB等等，但缺乏实践案例的介绍，所以我们也没有太多的经验可以借鉴。 于是，我们就结合自身业务的需求，从引擎建设成本出发，并立足于公司技术生态融合、集成、 易用性等维度进行综合考虑，作为选型依据，最终我们平台部门选择了2018年刚进入Apache社 区的Doris。 Doris简介及特点 Doris是基于MPP架构的OLAP引擎，主要整合了Google

加。 如果在之后的使用过程中添加索引，如果表中已有数据，则需要重写所有数据，因此索引的创建时间取决于当前数据量。 内存表 内存表 当建表时指定了 属性。则 Doris 会尽量将该表的数据块缓存在存储引擎的 PageCache 中，已减少磁盘 IO。但这个属性不会保证数据块常驻在内存中，仅作为一种尽力而为的标识。 DROP-REPOSITORY DROP REPOSITORY DROP