SwiGLU激活函数

SwiGLU能否超越ReLUGELU，激活函数迭代演进，性能提升18.9%？

容我插一句... 如果我们想在较大模型中采用SwiGLU作为激活函数，先来看我们需要了解SwiGLU的原理和PyTorch实现。SwiGLU是一种结合了Swish激活函数和门控线性单元的激活函数， 它通过门控实现动态特征选择，有效缓解了梯度