到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层 在业务运营过程中我们需要对包括歌曲、词曲、专辑、艺人在内的内容对象进行全方位分析， 高效为业务赋能，内容库数据平台旨在集成各数据源的数据，整合形成内容数据资产（以指 标和标签体系为载体），为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分 析服务。 数据架构演进 TDW 是腾讯最大的离线数据处理平台，公司内大多数业务的产品报表、运营分析、数据挖 掘等的存储和计算都是在 TDW 中 三层将数据整合为不同主题的标签和指标体系， DWM 集市层围绕内容对象构建大宽表，从不同主题域 DWS 表中抽取字段。  加速层：在数仓中构建的大宽表导入到加速层中，Clickhouse 作为分析引擎， Elasticsearch 作为搜索/圈选引擎。  应用层：根据场景创建 DataSet，作为逻辑视图从大宽表选取所需的标签与指标，同 时可以二次定义衍生的标签与指标。 存在的问题：

OLAP平台存储引擎 -- 存储时序数据、cube加速数据，应用亍高基数查询、精确去重场景。  运维监控 -- 实时聚合分析监控数据，主要使用物化视图技术。  用户画像场景 -- 标签数据的存储、用户画像查询引擎。 7 Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 8 Bitmap位存储和位计算 2019-10-02 4 p1 7 2019-10-02 5 p1 8 2019-10-02 5 p2 一张简单的订单明细表 detail_order，如何计算用户的日留存？ 15 标签 SQL 大表join，count distinct 都比较慢，而且容易 OOM! Bitmap应用示例 order_date uv_bitmap 2019-10-01 {1,2 用户画像平台 现有的流程：  ES中定义标签的大宽表  通过Spark关联各种业务数据，插入到ES大 宽表。  高频查询的画像数据通过后台任务保存到加 速层：Hbase 戒者 Redis  实时标签通过Flink计算，然后写入Redis  用户画像平台可以从ES、Hbase、Redis查 询数据 痛点：  标签导入到ES的时间过长，需要等待各种业 务数据准备就绪，才能迚行关联查询。

Spring Bean Id schema‐name (?) 属性 JDBC 数据源别名 data‐source‐names 标签 数据源名称，多个数据源以逗号分隔 rule‐refs 标签 规则名称，多个规则以逗号分隔 mode (?) 标签 运行模式配置 props (?) 标签 属性配置，详情请参见属性配置 配置示例 标签 持久化仓库所需属性 5.1. ShardingSphere-JDBC 102 Apache ShardingSphere document, v5.1.1 配置示例

0 码力 | 409 页 | 4.47 MB | 1 年前

3

Bean Id schema‐name (?) 属性 JDBC 数据源别名 data‐source‐names 标签 数据源名称，多个数据源以逗号 分隔 rule‐refs 标签 规则名称，多个规则以逗号分隔 mode (?) 标签 运行模式配置 props (?) 标签 属性配置，详情请参见‘属性配 置 标签 持久化仓库所需属性 配置示例 标签 持久化仓库所需属性 配置示例

0 码力 | 406 页 | 4.40 MB | 1 年前

3

属性 Spring Bean Id schema‐name (?) 属性 JDBC 数据源别名 data‐source‐names 标签 数据源名称，多个数据源以逗号 分隔 rule‐refs 标签 规则名称，多个规则以逗号分隔 props (?) 标签 属性配置，详情请参见‘属性配 置 标签 分片表规则配置 auto‐table‐rules (?) 标签 自动化分片表规则配置 binding‐table‐rules (?) 标签 绑定表规则配置 broadcast‐table‐rules (?) 标签 广播表规则配置 default‐database‐strategy‐ref (?) 属性 key‐generate‐strategy‐ref 属性 分布式序列策略名称 名称 类型 说明 binding‐table‐rule (+) 标签 绑定表规则配置 名称 类型 说明 logic‐tables 属性 绑定表名称，多个表以逗号分隔

0 码力 | 385 页 | 4.26 MB | 1 年前

3

Bean Id database‐name (?) 属性 JDBC 数据源别名 data‐source‐names 标签 数据源名称，多个数据源以逗号分隔 rule‐refs 标签 规则名称，多个规则以逗号分隔 mode (?) 标签 运行模式配置 props (?) 标签 属性配置，详情请参见属性配置 配置示例 标签 持久化仓库所需属性 配置示例

0 码力 | 446 页 | 4.67 MB | 1 年前

3

id ); } 2) 完成两个绑定 1 Mapper 接口与 Mapper 映射文件的绑定 在 Mppper 映射文件中的标签中的 namespace 中必须指定 Mapper 接口 的全类名 2 Mapper 映射文件中的增删改查标签的 id 必须指定成 Mapper 接口中的方法名. 3) 获取 Mapper 接口的代理实现类对象 @Test public void test() environments 环境配置 1) MyBatis 可以配置多种环境，比如开发、测试和生产环境需要有不同的配置 2) 每种环境使用一个 environment 标签进行配置并指定唯一标识符 3) 可以通过 environments 标签中的 default 属性指定一个环境的标识符来快速的切换环境 JAVAEE 课程系列 ————————————————————————————— 13 更多 识 Property-value：为标识起一个别名，方便 SQL 语句使用 databaseId 属性引用 3) 配置了 databaseIdProvider 后，在 SQL 映射文件中的增删改查标签中使用 databaseId 来指定数据库标识的别名

0 码力 | 44 页 | 926.54 KB | 1 年前

3

Mybatis 框架课程第二天

Dao 实现 CRUD 操作 使用要求： 1、持久层接口和持久层接口的映射配置必须在相同的包下 2、持久层映射配置中 mapper 标签的 namespace 属性取值必须是持久层接口的全限定类名 3、SQL 语句的配置标签

,,,的 id 属性必须和持久层接口的 方法名相同。 2.1 根据 ID 查询 定义输出结果的 类型。 第3章 Mybatis 的参数深入 3.1 parameterType 配置参数 3.1.1 使用说明 我们在上一章节中已经介绍了 SQL 语句传参，使用标签的 parameterType 属性来设定。该属性的取值可以 是基本类型，引用类型（例如:String 类型），还可以是实体类类型（POJO 类）。同时也可以使用实体类的包装 类，本章节将介绍如何使用实体类的包装类作为参数传递。 如果我们的查询很多，都使用别名的话写起来岂不是很麻烦，有没有别的解决办法呢？ 请看下一小节。 4.2 resultMap 结果类型 resultMap 标签可以建立查询的列名和实体类的属性名称不一致时建立对应关系。从而实现封装。 在 select 标签中使用 resultMap 属性指定引用即可。同时 resultMap 可以实现将查询结果映射为复杂类 型的 pojo，比如在查询结果映射对象中包括

我们希望对保单、用户数据进行灵活分析，根据用户标签筛选出符合 要求的客户进行精准营销。 原始保单数据百亿+，用户数据数亿，如果用户标签几百个，数据存 储和查询以及分析的压力就会很大，原有系统使用es来保存用户标签 数据。 保单表 用户表 用户行为表 ODPS ES 用户标签表 痛点 • 数据查询慢：每个查询需要5～10分钟； • 数据更新慢：更新数据可能需要数天时间； • 不灵活：用户有新标签需求时，需要提需求给标签开发人员排期开发 不灵活：用户有新标签需求时，需要提需求给标签开发人员排期开发 需求，开发人员开发完再更新到系统中，这时离需求提出可能已经过 去几天，无法及时给到业务人员反馈。 思路 利用clickhouse实时计算的高效性能，对原始数据进行查询分析，从而支 持用户灵活的定义标签并让用户实时得到反馈。 标签平台 clickhouse 保单表 用户表 用户行为表 数据 • 历史保单数据 join 用户数据 join 用户行为数据 • 100+亿行，50+列

Bean Id database‐name (?) 属性 JDBC 数据源别名 data‐source‐names 标签 数据源名称，多个数据源以逗号分隔 rule‐refs 标签 规则名称，多个规则以逗号分隔 mode (?) 标签 运行模式配置 props (?) 标签 属性配置，详情请参见属性配置 配置示例 0 码力 | 449 页 | 5.85 MB | 1 年前

3