代码之家 › 专栏 › 技术社区 › Steve Severance

神经网络结构

neural-network machine-learning

Steve Severance · 技术社区 · 17 年前

我目前正在建立一个神经网络库。为了简单起见,我将它构造为一个对象图。我想知道是否有人可以量化使用基于数组的方法的性能优势。我现在所拥有的对于构建接近任意复杂性的网络非常有用。支持常规(反向)网络和循环网络。我正在考虑让受过训练的网络“编译”成一些“简单”的形式,如数组。

我只是想看看有没有人有任何实际的建议或经验,建立神经网络,部署到生产。最终产品是基于数组而不是基于对象图有什么好处吗?

P.S内存占用比速度更重要。

5 回复 | 直到 17 年前

Dan Keen 17 年前

这完全取决于你使用的是什么语言——我假设你使用的是C导数。

在我的实现中,我发现对象图方法要高得多。在速度上有一些折衷,但是维护的容易程度超过了对象查找调用。这完全取决于你是在寻找训练速度还是解决速度…我假设你最担心的是训练速度?

如果需要的话,您可以最终微优化一些对象调用问题。

考虑到你细分网络的第二个动机,我认为更重要的是基于对象-它使你更容易完成部分工作。

Calyth 17 年前

人们已经开始在人工智能中使用GPGPU技术,而让你的神经网络以矩阵的形式可以利用你典型图形卡中更快的矩阵运算。

Community Mohan Dere 9 年前

无论您如何实现它,您永远不能忘记:

Mitch Wheat 17 年前

已经有一段时间了,但我记得速度通常只是神经网络训练中的一个问题。

Noldorin 17 年前

我没有写这样一个图书馆的个人经验,但我可以把你链接到一些流行的开源项目,你也许可以从中学习。(就我个人而言,我只使用这些现有的库中的一个。)

推荐文章

Whitedevil4648 · 我的测试损失在增加,但神经网络的训练损失在减少。我该怎么办?

2 年前

akozel · 分类任务的tensorflow输出层配置

2 年前

Felix Spiers · 更改NN中隐藏层的数量会导致错误

2 年前

A J · 为什么我的动态神经网络有0个参数?

2 年前

Owen · 如何使结构中的变量带有指向非静态成员函数的指针?[副本]

2 年前

Matheus Felipe · 关于并行运行神经网络的最佳方式的建议

2 年前

Irene Ferfoglia · ImportError:无法从“ray.air”导入名称“Checkpoint”

2 年前

Harry · 如何使用神经网络进行分类

2 年前

Tolga Aktas · PyTorch中的register_forward_hook和register_module_forward_hook之间有什么区别?

2 年前

DouHuanmin · 除了使用Tanh()函数外,还有什么规则可以用来将嵌入向量约束在(-1,1)的范围内吗?

2 年前