神经网络激活函数的作用和原理 2023-12-21 353 激活函数在神经网络中的作用是增加网络的非线性特性，从而提高网络的拟合能力，并通过不同的数学模型和特性来解决梯度消失等问题，以促进网络的稳定训练和更好的性能表现。本文将深入探讨神经网络激活函数的作用和原 …
RNN中为什么要采用tanh，而不是ReLU 作为激活函数 2023-11-23 495 在循环神经网络（RNN）中采用tanh，而不是ReLU 作为激活函数，涉及多个方面的考量：1.梯度消失问题；2.输出范围的考量；3.计算效率和模型性能平衡。在实际应用中，要根据具体问题和数据特点来选择 …
