代码之家  ›  专栏  ›  技术社区  ›  datasn.io

授予数以万计的AWS帐户访问一个bucket的权限?

  •  1
  • datasn.io  · 技术社区  · 8 年前

    我们是一家不起眼的初创公司,从整个互联网上挖掘数据,并将其放入amazons3桶中与世界共享。现在我们有 2TB 很快我们就可以到达 20兆字节 作记号。

    我们的订户将能够从Amazon S3 bucket下载所有数据。我们必须选择 请求者支付 显然是为了带宽,除非我们想以一些令人心碎的S3账单收场。

    预签名的URL不是一个选项,因为它似乎没有 audit bandwidth usage in real time

    经过一番研究 this 似乎是向不同的AWS帐户授予访问我们的bucket所需的权限的方法:

    {
       "Version": "2012-10-17",
       "Statement": [
          {
             "Sid": "Permissions to foreign account 1",
             "Effect": "Allow",
             "Principal": {
                "AWS": "arn:aws:iam::ForeignAccount-ID-1:root"
             },
             "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
             ],
             "Resource": [
                "arn:aws:s3:::ourbucket"
             ]
          },
          {
             "Sid": "Permissions to foreign account 2",
             "Effect": "Allow",
             "Principal": {
                "AWS": "arn:aws:iam::ForeignAccount-ID-2:root"
             },
             "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
             ],
             "Resource": [
                "arn:aws:s3:::ourbucket"
             ]
          },
          {
             "Sid": "Permissions to foreign account 3",
             "Effect": "Allow",
             "Principal": {
                "AWS": "arn:aws:iam::ForeignAccount-ID-3:root"
             },
             "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
             ],
             "Resource": [
                "arn:aws:s3:::ourbucket"
             ]
          },
    
          ......
    
       ]
    }
    

    ForeignAccount-ID-x 是帐户ID,例如2222-2222-2222。

    然而问题是,我们可能有成千上万甚至更多的订户加入这个bucket。

    考虑到每个请求都将通过此存储桶策略,它是否会给此存储桶带来任何性能困难?

    这个问题有更好的解决办法吗?

    1 回复  |  直到 8 年前
        1
  •  1
  •   John Rotenstein    8 年前

    Amazon S3 Requester Pays Buckets 是可以理解的,但会导致其他限制。

    用户意愿 需要他们自己的账户

    Bucket策略限制为20KB,acl限制为100。

    另一种选择是创建一种机制,您的系统可以 推 . 它们需要提供一个目标bucket和某种形式的访问(例如可以假设的IAM角色),并且您的应用程序可以将文件复制到它们的bucket中。然而,对于定期公布的数据来说,这可能很困难。

    另一个选择是 仅来自同一AWS地区

    最后的选择是 propose your dataset to the AWS Public Dataset Program ,这将涵盖“公共可用的高价值云优化数据集”的存储和数据传输成本。