代码之家 › 专栏 › 技术社区 › Seven.L

带CTC层的张量

tensorrt

0

Seven.L · 技术社区 · 7 年前

我想使用tensort优化我的模型,但是tensort不支持我的模型中的CTC层。有人用Tensorrt成功地优化了CTC层。

1 回复 | 直到 7 年前

1

我已经成功地做到了这两个步骤,首先使用TunSoRT来获得概率logit,然后使用C++ CTC解码器对logit进行解码。

由于CTC的解码适用于CPU,而且我还设法使用GPU来获取一批登录信息,并在GPU运行时将每批登录信息排队到一个CPU CTC解码队列中。这样,CPU和GPU就可以并行运行。CTC解码器的C++实现可以在GITHUB或TysFROW存储库中找到。