代码之家  ›  专栏  ›  技术社区  ›  Liam Purvis

拥有许多不同CPU的google云平台机器是否允许我通过几个不同的IP地址运行API请求?

  •  1
  • Liam Purvis  · 技术社区  · 7 年前

    我试图用R中的线程脚本从API(oasis.caiso.com)查询公用事业数据。显然,如果请求太多,该API将拒绝来自特定IP地址的请求。因此,我需要在不同的IP地址上并行运行许多不同的API请求,我想知道在google云平台上有许多不同CPU的机器是否会允许这样做?

    我正在查看本页中的n1-highcpu-96选项: https://cloud.google.com/compute/docs/machine-types

    如果这是一个糟糕的解决方案,有人能推荐另一个分布式计算解决方案吗?该解决方案可以扩展到允许来自不同IP的数十个甚至数百个API查询同时进行?

    1 回复  |  直到 7 年前
        1
  •  0
  •   GalloCedrone    7 年前

    如果我需要多个IP来执行“轻”API调用,我不会垂直扩展(对于96核的机器)。我会创建一个 instance group 50或100或n Debian micro或small preentible instances 大小取决于需要执行的计算类型。

    您可以设置 startup script 加载到元数据或连接到API服务器的自定义映像中,执行它必须执行的操作,并将结果保存到bucket中,如果实例得到“API拒绝”,我只需自动终止实例,让实例组使用 可能地 新IP。

    我认为这是一个可能的简单解决方案,可以实现你想要的,但我想有多种解决方案。

    我不确定您想要实现什么,我认为您需要首先检查它是否合法,以及API所有者是否同意。