连续与离散人工神经网络

在过去,我用连续神经网络做过一些研究项目。激活是用双极双曲tan来完成的,网络接受几百个浮点输入,输出大约一百个浮点值。

在这种特殊情况下,网络的目的是学习矿物列车的动力学方程。该网络给出了列车的当前状态,并预测了未来50秒的速度、车厢间动力学和其他列车行为。

这个特殊项目的基本原理主要是性能。这是针对一个嵌入式设备,评估神经网络比解决一个传统的常微分方程(ODE)系统性能友好得多。

一般来说,连续神经网络应该能够学习任何类型的函数。当使用确定性方法无法/极难解决系统时,这尤其有用。与通常用于模式识别/分类的二进制网络相反。

考虑到神经网络的不确定性本质,任何类型的神经网络都是敏感的野兽,选择正确的输入/网络架构都可能是一种黑色艺术。

我认为这要么只是一些试图证明没有函数超出nn结构的逼近能力的理论家感兴趣,要么是关于构造函数的分段线性逼近(通过反向传播)方法的一个命题。如果是后者,我认为现有的方法比反向传播要快得多,不易受局部极小值的影响,也不容易过度拟合。

我对神经网络的理解是,连接和神经元包含它所训练的数据的压缩表示。关键是,您拥有一个大型数据集,它需要的内存比每个示例中突出显示的“一般课程”要多。神经网络被认为是一个经济的容器,可以从庞大的语料库中提炼出这一普遍的教训。

如果你的神经网络有足够多的隐藏单元来对原始函数进行密集采样,这相当于你的神经网络足够大,能够记住训练语料库(而不是从中归纳)。把训练语料库看作是给定分辨率下原始函数的样本。如果神经网络有足够的神经元以比你的训练语料库更高的分辨率采样函数,那么系统就没有压力去概括,因为它不受神经元数量的限制。

由于不需要归纳或概括,你最好把你所有的训练数据存储在内存中,并使用k近邻,这将 总是 性能比任何神经网络都好,而且即使在神经网络的采样分辨率接近无穷大的情况下,性能也总是和任何神经网络一样好。

这个词在机器学习的文献中还没有很流行,这解释了所有的困惑。这似乎是一个一次性的文件,一个有趣的文件,但它并没有真正导致任何事情,这可能意味着几件事,作者可能只是失去了兴趣。

我知道Radford Neal成功地使用了贝叶斯神经网络(具有可数的多个隐藏单元,“连续神经网络”一文扩展到了不可数的情况)。 his thesis 所有关于这些事情)赢得 NIPS 2003 Feature Selection Challenge 使用贝叶斯神经网络。

前馈神经网络总是“连续的”——这是反向传播学习实际工作的唯一方式(不能通过离散/阶跃函数反向传播,因为在偏差阈值下它是不可微的)。

您可能有输入或目标输出的离散(例如“一个热”)编码,但所有计算都是连续值的。输出可以是受限的(即,使用softmax输出层,使得输出总是总和为一,这在分类设置中是常见的),但是仍然是连续的。

如果你指的是预测一个连续的、无约束的目标的网络——想想“正确答案”不是离散的、线性回归模型不够的任何预测问题。递归神经网络在不同时期已经成为各种金融预测应用的流行方法,例如。