告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 集成50+内置⽣态模块（⽇志与指标） • ⽀持容器类部署场景 其他OLAP选择: Druid • 性能优越： • PB级别规模 • 亚秒级OLAP系统 • 实时写⼊入与查询 • 组件⻆角⾊色较多，搭建较为复杂 • Json-QL（有SQL适配器器） • 不不⽀支持外Join、窗⼝口等 其他OLAP选择: Clickhouse • 性能优越： • 10亿+条规模⽐比商业软件快5倍

of RPC work ● Keep high performance ● Tons of data ● Huge amount of OLTP queries ● Very complex OLAP queries ● External Consistency ● SQL is much more complex than KV Why TiDB choose Golang? ● Easy-learning queries in one session ● Introduce a cache in goyacc ● Resource pool OLTP & OLAP 8am 2pm 6pm 2am ETL Database OLTP OLAP Data Warehouse Is the data out-of-date? TiSpark Thanks! Contact me: wink@pingcap

Single instruction/multiple data (SIMD), vectorized processing, and vectorized querying • Adopt by OLAP and data warehouse systems • … Apache Arrow Apache Arrow • Field • Array • Schema • RecordBatch Free and open source file format • Language agnostic • Column-based format • Used for analytics (OLAP) use cases • Highly efficient data compression and decompression • Supports complex data types and

将业务人员的线下热操作简移到线上，通过将维度压扁拉伸成纵向指标，进行多维指标的对比，并提供明 细。 图13 产品指标对比图 美团点评运营数据产品化应用与实践 - 美团技术团队 多维查询 多维查询 为支持更好的OLAP分析，发挥预计算层的作用，还提供了关键指标解析和多维查询的功能，是产品对常 规性分析的功能补充。 图14 产品多维查询图 总结 总结 在运营专题数据产品化的过程中，将技术转化为价值，提炼数据内容、为业务赋能是真正的发力点，为发 ，统计按照顺 序访问每层节点的用户数，得到访问过程的转化率。 统计上有一些维度约束，比如日期，时间窗口（整个访问过程在规定时间内完成，否则统计无效），城市 或操作系统等，因此这也是一个典型的OLAP分析需求。此外，每个访问节点可能还有埋点属性，比如搜 索页上的关键词属性，支付页的价格属性等。从结果上看，用户数是逐层收敛的，在可视化上构成了一个 漏斗的形状，因此这一类需求又称之为“有序漏斗”。 “坏消息”。 1. 漏斗定义完全随机。不同分析需求对应的漏斗定义完全不同，包括具体包含哪些事件，这些事件的顺序等，这意味着 完全的预计算是不可能的。 2. 附加OLAP需求。除了路径匹配之外，还需要满足属性和维度上一些OLAP的上卷下钻的需求。 3. 规模和性能的矛盾。一方面有几百亿条数据的超大规模，另一方面又追求秒级响应的交互式分析效率，这是一个非常 激烈的矛盾冲突。 另一方面，还是能够从问题的分析中得到一些“好消息”

Scalability as the first class feature ● SQL is necessary ● Compatible with MySQL, in most cases ● OLTP + OLAP = HTAP (Hybrid Transactional/Analytical Processing) ● 24/7 availability, even in case of datacenter

InfoBright使⽤用的是社区版 曝光统计服务 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • MySQL 不适合OLAP类应⽤用 • MySQL和InfoBright横向扩展都不⽅方便 • 数据更新⿇麻烦 曝光统计服务： 问题 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right

据系统里，这些日志来源 于系统日志、客户端日志以及业务数据库。下游的数据消费系统包括通过 ODS 入仓 提供离线计算使用、直接供实时计算使用、通过 DataLink 同步到日志中心，以及做 OLAP 分析使用。 Kafka 在美团的集群规模总体机器数已经超过了 15000+ 台，单集群的最大机器数也 已经到了 2000+ 台。在数据规模上，天级消息量已经超过了 30+P，天级消息量峰 值也达到了