改进多尺度注意力机制:从 EMA 到 EMAX 的理论与实现分析

本文提出了一种新的注意力模块——**EMAX(Enhanced Multi-scale Attention with eXpressive learning)**,在保持 EMA 高效性的同时,引入了动态分组、通道注意力、门控残差连接和全局注意力增强等创新设计,使其具备更强的表达能力和泛化能力。

ResNet学习笔记

本文介绍了ResNet(深度残差神经网络)的理论基础与核心思想。首先解释了深度网络容易出现梯度消失和梯度爆炸的原因,导致深层网络训练效果变差。ResNet通过引入残差学习(Residual learning)的思想,使得网络能够直接学习残差映射,从而避免梯度消失和梯度爆炸的问题,成功训练出152层的深度卷积神经网络,取得了ImageNet等视觉任务中的卓越表现。