ElasticSearch IO如何在编写之前从JSON文档中删除id

Ingest API 和 remove processor simulate 摄取管道和结果。

我准备了一个可能涵盖您的案例的示例:

POST _ingest/pipeline/_simulate
{
  "pipeline": {
    "description": "remove id form incoming docs",
    "processors": [
      {"remove": {
        "field": "id",
        "ignore_failure": true
      }}
    ]
  },
  "docs": [
      {"_source":{"id":"123546", "other_field":"other value"}}
    ]
}

你看,有一个测试文档包含一个归档的“id”。此字段不再出现在响应/结果中:

{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_type",
        "_id" : "_id",
        "_source" : {
          "other_field" : "other value"
        },
        "_ingest" : {
          "timestamp" : "2018-12-03T16:33:33.885909Z"
        }
      }
    }
  ]
}

我已经在中创建了一个票证 Apache Beam JIRA 描述这个问题。

目前,原始问题无法作为使用ApacheBeamAPI的索引化过程的一部分来解决。

维护人员之一Etienne Chauchot提出的解决方案是 有单独的任务,将清除索引后的数据。

看见 Remove a field from a Elasticsearch document

将来,如果有人也希望利用这一功能,您可能希望遵循链接的票证。