基于GP打造SaaS化电商服务平台 聚水潭 秃鹰 赵坚密 2019.08.10 聚水潭成立于2014年1月，创始人兼CEO骆海东拥有超过二十年传统 及电商ERP的研发和实施部署经验，公司核心管理团队来自于阿里巴 巴、亚马逊、中国平安和麦包包等知名公司。 聚水潭创建之初，以电商SaaS ERP切入市场，凭借出色的产品和服务， 快速获得市场领先地位。随着客户需求的不断变化，如今聚水潭已经 发展成为以SaaS 1200多人。聚水潭已在全国设立了40多个线下服务分支机构，服务范 围覆盖超过268个城市，为客户提供及时、周到和专业的服务。 来自阿里巴巴旗下商家服务市场的最新数据显示，聚水潭已是企业 ERP类目中使用商家数最多的软件。自双十一购物节诞生以来，团队 经历了每一次电商大促的考验，尽管每年承载单量成几何倍数增加， 聚水潭系统依然保持平稳、安全和顺畅地运行。2018年11月11日， 聚水潭系统处理订单总量达1 聚水潭系统处理订单总量达1.51亿单，成交额达341亿。 聚水潭简介 关键字 数据架构 推 送 库 中 间 库 商 品 库 核 心 库 辅 助 库 推 送 库 中 间 库 商 品 库 核 心 库 辅 助 库 推 送 库 中 间 库 商 品 库 核 心 库 辅 助 库 账 号 库 店 铺 库 其 他 库 业务系统 数据仓库 G P 1 G P 2 G P 2 5 交 换

● 数据量量⼤大，现有数 据分析团队缺乏技 能 客户 数据科学解决⽅方案 ● 某⼤大型跨国⾦金金 融服务公司 ● 移动应⽤用 API 分析 ● 使⽤用Madlib进⾏行行聚 类分析，建⽴立会话 识别模型和主题模 型 ● 建⽴立scoring pipeline, 对新访问 的安全性进⾏行行评估 ● 使⽤用可视化⼯工具对 结果进⾏行行更更好地呈 现 背景 抽取会话特征 根据原始特征 对用户聚类 验证聚 类结果 评分 对API请求结合超时和 K-means聚类处理理 主题模型 对主题进⾏行行K- means聚类 S 标记回话 ⼈人⼯工审查 新会话 建模过程 2017.thegiac.com 会话识别 API 请求 ⽇日志 对API请求结合超时和 K-means聚类处理理 建模过程 2017 会话1 会话2 会话3 基于时间的会话化 时间+聚类 2017.thegiac.com 会话识别 API 请求 ⽇日志 建模过程 对API请求结合超时和 K-means聚集处理理 2017.thegiac.com 会话识别 API 请求 ⽇日志 抽取会话特征 根据原始特征 对用户聚类 建模过程 对API请求结合超时和 K-means聚集处理理

数据前删除索引，加载后重新建⽴索引的⽅法。这样的操作通常⽐带着索引加载要快。 9. 考虑聚簇索引：聚簇索引是指数据在物理上，按照索引顺序存储。如果您访问的数据在磁盘是随机存储，那么数据库就需要在磁盘上不断变更位置读取您需要的数据。如果数据更加紧 密的存储起来，读取数据的操作效率就会更⾼。例如：在⽇期列上创建聚簇索引，数据也是按照⽇期列顺序存储。⼀个查询如果读取⼀个⽇期范围的数据，那么就可以利⽤磁盘顺序扫描

Greenplum 集群的时候，一定要规划好 网络设备的接入，在达到性能最大的同时，也要考虑大流量对现有业 务系统是否造成影响。 Greenplum 建议采用以太网万兆交换机，并通过设定跨设备链路 聚 合 组（MC-LAG Multi-ChassisLink Aggregation Group） 的 方 式将两台交换机连在一起，在服务器上将网卡通过 LACP（IEEE 802.3ad/802.1ax

Cost评估，选择一阶段聚合或二阶段聚合。编者认为，三阶段聚合的适用面更广。  optimizer_force_three_stage_scalar_dqa -- 强制Orca选择三阶段聚 合。该该参数缺省值为TRUE，建议不要修改。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - ) ] 对所有输入的记录(NULL也包含在内)进行聚合运算。通常用于count(*)函数。 其中aggregate_name是一个预先定义好的聚合函数，expression是一个除聚 合表达式以外的任意的值表达式，也就是说，聚合函数表不可以嵌套调用。 这里的FILTER子句的作用是，为聚合函数指定特定的条件以过滤输入的记录，只 有满足FILTER子句中WHERE条件的记录才会被作为聚合函数的的输入。例如： BY子句定义了在一个开窗分组如何对记录进行排序。值得注意的是，开窗 分组中的ORDER BY仅对开窗分组内的数据进行局部排序。对于计算Rank的开窗 函数来说需要有ORDER BY子句，不然Rank值就是随机排序的结果。对于OLAP聚 合来说，在使用ROWS或RANGE子句的开窗分组时，也要有ORDER BY子句，不然 开窗函数计算得到的也是随机排序的结果。  ROWS/RANGE子句用于定义开窗分组内的动态分组。PARTITION