如何读取无效的JSON格式amazon firehose

初始anwser中的一个用于不带引号的JSON,这种情况有时会发生。这个:

({((\\?\".*?\\?\")*?)})

除此之外,为了使它更简单,这使它有了一些改进。。因为可以有整数值和正常值。。由于双重捕获组,字符串文本中的任何内容都将被忽略。

https://regex101.com/r/kPSc0i/1

将输入修改为一个大型JSON数组,然后解析:

input = File.read("input.json")
json = "[#{input.rstrip.gsub(/\}\s*\{/, '},{')}]"
data = JSON.parse(json)

您可能希望将前两种方法结合起来以节省一些内存:

json = "[#{File.read('input.json').rstrip.gsub(/\}\s*\{/, '},{')}]"
data = JSON.parse(json)

这是假设 } { 决不会在JSON编码数据的键或值内发生。

正如您在最近的评论中总结的那样,firehose中的put_records_批次要求您在记录中手动放置分隔符,以便消费者轻松解析。您可以添加一个新行或一些专门用于解析的特殊字符,例如,不应在有效负载中使用。

import json
def send_to_firehose(records):
  firehose_client = boto3.client('firehose')
  for record in records:
    data = json.dumps(record)
    firehose_client.put_record(DeliveryStreamName=<your stream>,
                               Record={
                                       'Data': data
                                      }
                              )

默认情况下,Firehose在将数据发送到您的bucket之前会对数据进行缓冲,并且最终应该是这样的。这将很容易解析并加载到首选数据结构中的内存中。

[
    {
        "metadata": {
            "schema_id": "4096"
        },
        "payload": {
            "zaza": 12,
            "price": 20,
            "message": "Testing sendnig the data in message attribute",
            "source": "coming routing to firehose"
        }
    },
    {
        "metadata": {
            "schema_id": "4096"
        },
        "payload": {
            "zaza": 12,
            "price": 20,
            "message": "Testing sendnig the data in message attribute",
            "source": "coming routing to firehose"
        }
    }
]