代码之家 › 专栏 › 技术社区 › Maksim Khaitovich

通过googletranslate批量翻译一大组记录

google-translate data-science nlp google-cloud-platform

Maksim Khaitovich · 技术社区 · 7 年前

我需要翻译一个相当大的一套记录,从各种语言(语言是不知道提前)到英语。这一套大约有3百万张唱片,每一张唱片都是很短的文字。它不是详细的文本,大部分只是项目描述。类似于“诺基亚Black的移动路由器3G”,用各种语言编写(虽然没有太多异国情调,但主要是德语、法语、阿拉伯语、俄语等)。我也不知道每个记录是用哪种语言写的,所以我需要依靠自动语言检测。

到目前为止,我能够通过使用 Google Cloud API

它相当简单,我只需一次将一条记录传递给API,而无需指定源语言,而且它能够根据需要正确地翻译记录。

这里的问题是,这个过程非常缓慢。我们提取单个文本字符串,连接到API,将其发送过来,得到结果并存储。每个记录处理在与API通信时都会带来很大的开销,当您执行数百万条记录的翻译时,需要很长的时间。

我想知道有没有办法批量执行这个操作?也许一次发送大量字符串记录进行翻译,以减少与googleapi通信的开销?或者有什么方法可以直接上传一个文件到Google,里面有我需要翻译的所有记录,然后在有结果的时候下载?

1 回复 | 直到 7 年前

Armin_SC 7 年前

我认为 云翻译API GCP Client Libraries ,它将文本字符串连接到单个分隔字符串记录中;这样,可以在同一调用中转换多个值。将完整字符串转换为所需语言后,可以根据分隔符值将其拆分,以获得分隔的文本字符串数组。请记住,建议 send less than 5000 per request

如果此解决方案不能满足您当前的需要,您可以使用 发送反馈 按钮,位于 service public documentation ,以及看看 Issue Tracker raise a Translation API feature request 并将此功能通知Google。

Komsit Prakobphol 5 年前

现在googletranslate提供了批处理请求API,它接受云存储上的文件 https://cloud.google.com/translate/docs/advanced/batch-translation

推荐文章

Yusuf YeÅilyurt · 当呈现某个组件时,React应用程序崩溃

3 年前

Sera · 使用Google translate API和translateR时,文件中出现错误(con,“r”):无法打开连接

7 年前

Charlie Hung · 区分Google云翻译API请求中使用的API键

7 年前

cbutler · 使用Google Translate API同时翻译和检测

7 年前

J. Hock · 将谷歌翻译API导入Android Studio

7 年前

Duong Lu Dien · 语言资源。getName()方法返回null值

7 年前

dontbyteme · 使用DeepL API翻译文本

8 年前

Agsthya · Google translate API v2-显示403“超出每日限制”错误

9 年前

Scarecrow · 谷歌翻译API返回403(PHP)

10 年前

olimits7 · 使用谷歌翻译插件(IP和接受语言)自动翻译网站?

11 年前