代码之家 › 专栏 › 技术社区 › DouHuanmin

除了使用Tanh()函数外,还有什么规则可以用来将嵌入向量约束在(-1,1)的范围内吗?

loss-function neural-network deep-learning

DouHuanmin · 技术社区 · 1 年前

我发现我的想法的性能很差,嵌入维度很高。我认为这个问题与激活功能有关。你能帮帮我吗? 我试图用arctan()替换tanh(),但效果仍然很差,有什么好的策略吗? enter image description here

1 回复 | 直到 1 年前

Chih-Hao Liu 1 年前

您可以使用各种类型的激活函数,激活函数的选择取决于您的目标任务。

在许多情况下,通常使用ReLU或Leaky ReLU函数。有关激活功能的更多详细信息和基准测试,您可以参考论文: Activation Functions in Deep Learning: A Comprehensive Survey and Benchmark 。

要实现这些激活功能,您可以导航到 PyTorch nn module 。

推荐文章

rob me of my freedom · 在不使用Y_pred和Y_actual的tensorflow中编写自定义损失

3 年前

six · 如何修改yolov5的损失函数?

3 年前

Adrián Arroyo Perez · 给tensorflow添加原始图像尺寸误差

7 年前

user3697597 · 在Python中实现梯度下降并接收溢出错误

7 年前

KM. · Keras自定义损失函数,每个示例具有不同的权重

7 年前

NicolaiF · 在TensorFlow中定义成本/损失函数

7 年前

flxh · 噪声不可微损失函数的自定义Tensorflow优化器

7 年前

Borbag · 在训练CNN进行图像分割时,我的损失怎么会突然增加?

7 年前