代码之家 › 专栏 › 技术社区 › razimbres

无法从AWS Quick Sight中的S3分析JSON文件

amazon-quicksight aws-iot amazon-dynamodb amazon-s3 amazon-web-services

razimbres · 技术社区 · 7 年前

我在AWS中开发了一个管道,在那里我通过python 3从我的笔记本电脑收集CPU温度,使用安全协议发送到AWS物联网核心,一个规则将数据发送到云手表,dynamodb将其保存。创建了一个数据管道来将此dynamodb数据保存到S3,我想快速生成此数据的绘图。

但是,我不能快速看到正确读取文件。S3文件如下:

{"timestamp":{"s":"1526819850637"},"payload":{"m":{"$Temperature":{"s":"42.000"}}}}
{"timestamp":{"s":"1526819976032"},"payload":{"m":{"$Temperature":{"s":"42.000"}}}}
{"timestamp":{"s":"1526819934216"},"payload":{"m":{"$Temperature":{"s":"42.000"}}}}
{"timestamp":{"s":"1526817845094"},"payload":{"m":{"$Temperature":{"s":"48.000"}}}}

当我使用下面的清单文件时,Quick Sight成功地读取数据,但新计算字段中的“parsejson”命令消失,使得无法读取json:

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3.amazonaws.com/my-bucket2/2018-05-20-12-32-49/12345-a279-1234-2269-491212345"
            ]
        },
        {
            "URIPrefixes": [
                "https://s3.amazonaws.com/my-bucket2/2018-05-20-12-32-49/12345-a279-1234-2269-491212345"
            ]
        }
    ],"globalUploadSettings": {
        "format": "CSV","delimiter":"\n","textqualifier":"'"
    }

}

Quick Sight读取JSON为:

{{"timestamp":{"s":"1526819850637"},"payload":{"m":{"$Temperature":{"s":"42.000"}}}}}

…没有'parsejson'命令。

数据直观,无漏值,AWS管线运行良好。我能做什么?

1 回复 | 直到 7 年前

razimbres 7 年前

我找到了让它工作的方法。简单地说:

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3.amazonaws.com/your-bucket2/2018-05-20-12-32-49/123456789"
            ]
        },
        {
            "URIPrefixes": [
            "https://s3.amazonaws.com/your-bucket2/2018-05-20-12-32-49/123456789"
            ]
        }
    ],"globalUploadSettings": {"format":"JSON",
    "delimiter":"\n","textqualifier":"'"
    }
}

推荐文章

Anna Berezko · AWS匹配不支持的TLD域名和S3 bucket静态网站

1 年前

R0bert2 · Ansible-使用with_项创建列表

2 年前

renzCNFT · 与s3相比,workdocs有什么优势

2 年前

Eva · Github与AWS codecommit镜像和同步的操作

2 年前

Heritage Squad · 如何使节点组模块中的每个实例都使用特定的安全组?

2 年前

Christian Townsend · 如何从Terraform中的ElastiCache获取cache_节点地址?

2 年前

Hasham · 如何将多个本地文件上载到s3中的一个文件

2 年前

shesupplypi · 如何将一个应用程序或服务的无服务器输出引用到另一个应用程序或服务?

3 年前

sebas flores · S3 URL-使用python下载

3 年前

Ibrahim Patel · AWS CloudWatch Error“尝试获取图形数据时出错。”

3 年前