代码之家  ›  专栏  ›  技术社区  ›  user3482527

如何从AWS S3检索数据到SQL Server[已关闭]

ssis amazon-s3 amazon-web-services sql-server sql
  •  1
  • user3482527  · 技术社区  · 7 年前

    想知道我能不能得到些帮助。我们的python开发人员已经安排了一个每天web抓取一些文件的过程。数据将保存在AWS S3中。现在,我正在尝试将此数据导入到我们的SQL Server数据库中。最好的方法是什么?我们可以使用SQL脚本从AWS S3查询数据吗?或者我需要从s3下载csv格式的文件,然后使用ssis包处理这些文件吗?如果可能的话,我宁愿查询AWS S3。

    谢谢和问候

    1 回复  |  直到 7 年前
        1
  •  2
  •   Zaynul Abadin Tuhin    7 年前

    您可以使用Pentaho数据集成直接从AWS S3读取CSV文件。通过使用Pentaho,您可以创建将数据推送到SQL Server的作业。 在Pentaho di去

    1. S3 csv输入,如下图所示 enter image description here

    2. 然后您可以选择所需的字段

    3. 然后选择表输出对象并与您的SQL Server创建连接,并将输入字段与表列映射。 enter image description here

    推荐文章
    Tim  ·  在java中,有没有更快的方法将字节数组写入文件?
    1 年前
    DSATH  ·  我的lambda在代码完成之前就结束了,我不知道为什么
    1 年前
    explorer  ·  AWS SageMaker项目模板创建失败
    1 年前
    Nitrox  ·  Terraform-创建AWS S3存储桶策略错误-策略格式错误:字段版本未知
    1 年前
    Keegan Husom  ·  pd.to_detime()在转换对象时工作不一致
    1 年前
    Joao Fernando Fernandes Montes  ·  将S3存储桶中任何文件夹中的文件公开
    2 年前
    Scarface Jr  ·  如何获取S3中具有Key Error和异常的对象列表
    2 年前
    Sunil Garg  ·  使用nodejs在S3上传文件时出现格式问题
    2 年前
    ccohen  ·  Github操作和创建用于创建RDS的S3 bucket
    2 年前
    DataGuy  ·  将一个S3存储桶中的一个文件复制到另一个S3储存桶中的密钥
    2 年前
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号