0] 4 13 2. 特征构建 • 聚合特征构造主要通过对多个特征的分组聚合实现，这些特征通常来 自同一张表或者多张表的联立。 • 聚合特征构造使用一对多的关联来对观测值分组，然后计算统计量。 • 常见的分组统计量有中位数、算术平均数、众数、最小值、最大值、 标准差、方差和频数等。 聚合特征构造 14 2. 特征构建 相对于聚合特征构造依赖于多个特征的分组统计，通常依赖于对于特征本

层次化的簇中。 ⚫ 层次聚类又有聚合聚类（自下而上）、分裂聚类 （自上而下）两种方法。 ⚫ 因为每个样本只属于一个簇，所以层次聚类属于 硬聚类。 背景知识：如果一个聚类方法假定一个样本只能属于一个簇，或簇的交集为空集，那么该方法称为硬聚类方法。 如果一个样本可以属于多个簇，或簇的交集不为空集，那么该方法称为软聚类方法。 39 层次聚类 AGENES 聚合聚类 分裂聚类 e d Step3 Step4 Step4 Step3 Step2 Step1 Step0 40 层次聚类-聚合聚类 聚合聚类 ⚫ 开始将每个样本各自分到一个簇； ⚫ 之后将相距最近的两簇合并，建立一个新的簇； ⚫ 重复此操作直到满足停止条件； ⚫ 得到层次化的类别。 AGENES 聚合聚类 e d c c,d,e d,e a,b,c,d,e b a a,b Step0 Step4

distribution）。这种分布可以在给定值A = a, B = b上进行求值。 边际化 为了能进行事件概率求和，我们需要求和法则（sum rule），即B的概率相当于计算A的所有可能选择，并将 所有选择的联合概率聚合在一起： P(B) = � A P(A, B), (2.6.2) 这也称为边际化（marginalization）。边际化结果的概率或分布称为边际概率（marginal probability）或边 应该对相同的图像区域具有相似的反应，即为“平移不变性”。 2. 局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔 较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。 让我们看看这些原则是如何转化为数学表示的。 6.1.2 多层感知机的限制 首先，多层感知机的输入是二维图像X，其隐藏表示H在数学上是一个矩阵，在代码中表示为二维张量。其 层叠的上升，每个神经元对其敏感的感受野（输入）就越大。 而我们的机器学习任务通常会跟全局图像的问题有关（例如，“图像是否包含一只猫呢？”），所以我们最后一 层的神经元应该对整个输入的全局敏感。通过逐渐聚合信息，生成越来越粗糙的映射，最终实现学习全局表 示的目标，同时将卷积图层的所有优势保留在中间层。 此外，当检测较底层的特征时（例如 6.2节中所讨论的边缘），我们通常希望这些特征保持某种程度上的平

Connection 与当前层输出进行聚合，与 ResNet 的对应位置相加方式不 同，DenseNet 采用在通道轴?维度进行拼接操作，聚合特征信息。 如下图 10.65 所示，输入? 通过H1卷积层得到输出?1，?1与? 在通道轴上进行拼 接，得到聚合后的特征张量，送入H2卷积层，得到输出?2，同样的方法，?2与前面所有层 的特征信息 ?1与? 进行聚合，再送入下一层。如此循环，直至最后一层的输出 层的输出?4和前面 所有层的特征信息：{??}?= 1 2 3进行聚合得到模块的最终输出。这样一种基于 Skip Connection 稠密连接的模块叫做 Dense Block。 图 10.65 Dense Block 结构② DenseNet 通过堆叠多个 Dense Block 构成复杂的深层神经网络，如图 10.66 所示。 图 10.66 一个典型的 DenseNet for xt in x: # h 张量会被循环利用 h = cell(xt, h) # 记录每次输出 outs.append(h) # 最终输出可以聚合每个时间戳上的输出，也可以只取最后时间戳的输出 out = outs[-1] # 取最后一个时间戳的输出作为最终输出 outs = torch.stack(outs, dim=0) print('outs:'

COPYRIGHTS RESERVED 13 AI选房建模  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 Y = f (X)  行为特征选择14天进行聚合  挂牌不足14天房源，行为特征信息不足  结论：选择挂牌满14天的房源 2019 KE.COM ALL COPYRIGHTS RESERVED 14 模型演变历程 2019 KE.COM

冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参数服务的高可用，支持基于模型的异构集群迁移，支持集 群扩缩容 • 性能优化 • 通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分区优化：支持多种分区策略（RANGE/HASH/M

resample('7D').ohlc() Pandas中专门提供了一个ohlc()方法。 47 降采样 降采样相当于另外一种形式的分组操作，它 会按照日期将时间序列进行分组，之后对每 个分组应用聚合方法得出一个结果。 time_ser.groupby(lambda x: x.week).mean() 48 升采样 升采样的时间颗粒 是变小的，数据量 会增多，这很有可 能导致某些时间戳 没有相应的数据。