(Contd.) Let K1 and K2 be two kernel functions then the followings are as well: Direct sum: K(x, z) = K1(x, z) + K2(x, z) Scalar product: K(x, z) = αK1(x, z) Direct product: K(x, z) = K1(x, z)K2(x, z)

10 Let K1 and K2 be two kernel functions, then the following rules hold: • Direct sum: K(x, z) = K1(x, z) + K2(x, z) • Scalar product: K(x, z) = αK1(x, z) • Direct product: K(x, z) = K1(x, z)K2(x

多输入多输出通道可以用来扩展卷积层的模型。 • 当以每像素为基础应用时，1 × 1卷积层相当于全连接层。 • 1 × 1卷积层通常用于调整网络层的通道数量和控制模型复杂性。 练习 1. 假设我们有两个卷积核，大小分别为k1和k2（中间没有非线性激活函数）。 1. 证明运算可以用单次卷积来表示。 2. 这个等效的单个卷积核的维数是多少呢？ 3. 反之亦然吗？ 2. 假设输入为ci × h × w，卷积核大小为co ai/t/5760 10.3. 注意力评分函数 393 用数学语言描述，假设有一个查询 q ∈ Rq和 m个“键－值”对 (k1, v1), . . . , (km, vm)，其中ki ∈ Rk，vi ∈ Rv。 注意力汇聚函数f就被表示成值的加权和： f(q, (k1, v1), . . . , (km, vm)) = m � i=1 α(q, ki)vi ∈ Rv, (10.3.1)