代码之家  ›  专栏  ›  技术社区  ›  A.Ali

是否有针对API运行脚本并保存接收数据的AWS服务

  •  0
  • A.Ali  · 技术社区  · 8 年前

    我在AWS环境中工作,我需要将以下[编辑]作为日常计划任务[/EDIT]:

    1. 运行python/http脚本多次调用外部(AWS外部)API。
    2. 将每个调用的输出保存到CSV中
    3. 将多个CSV转储到红移数据库中。

    我看了AWS胶水,但我认为我不能做第一步。您建议采用什么工作流或工具组合?

    2 回复  |  直到 8 年前
        1
  •  1
  •   rvd    8 年前
    1. 使用EC2访问API并存储CSV
    2. 使用 boto3 要将这些上载到S3的库
    3. 使用 COPY 命令将数据从S3加载到红移(目前为止最快的方式)
        2
  •  1
  •   Ashan    8 年前

    你可以写一个 Lambda function with scheduled events 爬网API。

    与提供EC2实例相比,使用Lambda可能更便宜,因为您的作业不耗时,数据量也更少。

    如果仍希望使用EC2实例,则可以使用Lambda schedule事件 start and stop the EC2 instance (或者EC2实例本身可以在作业完成后关闭)。