我们经常在论文中看到 ⊕、⊗和 ⊙ 符号,那么有下面两个问题:

这三个符号有什么作用呢?
如何在论文中正确使用这三个数学符号
1. 两种符号的解释
1.1 逐元素相加:⊕
⊕  在论文中表示逐元素相加,如果用两个矩阵表示,即:

从公式可以看到,⊕ 表示对应元素相加,即两个矩阵的形状必须相同。

1.2 矩阵乘法:⊗
圈乘 ⊗ 表示传统线性代数学的矩阵乘法,用公式即:

可以看到就是普通的矩阵乘法,要求 A 矩阵第二维度与 B 矩阵第一维度相等。

1.3 矩阵点乘:⊙
矩阵点乘 ⊙表示矩阵对应位置元素相乘,例子如下: 

与矩阵加法 ⊕类似,也是要求两个矩阵的维度必须相同。

2. 两种符号的代码表示

名称    
 
符号    PyTorch 代码     含义     条件

矩阵乘法(element-wise)          

torch.mm() 或 torch.matmul() 

矩阵乘法(自动广播) 

 形状相同或满足广播机制

矩阵加法(element-wise)      

+ 或 torch.add(A, B)

两个矩阵对应位置元素相加 

 形状相同或满足广播机制

矩阵点乘

 * 或 torch.mul(A, B)

两个矩阵对应位置元素相乘(自动广播)

 形状相同或满足广播机制


 参考原文链接:https://blog.csdn.net/weixin_44878336/article/details/124501040

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐