代码之家  ›  专栏  ›  技术社区  ›  Dan

在NiFi中触发了FetchFolder?

  •  0
  • Dan  · 技术社区  · 8 年前

    我正在使用NiFi使用一个专有的处理工具(运行 致妮菲)。

    NiFi将源文件放到磁盘上,我调用外部工具(使用ExecuteScript处理器),该工具加载二进制文件并继续生成许多较小的文件。

    ,我需要“拾取”较小(生成)文件的目录,并继续通过NiFi进行处理。我需要等待,因为[输出目录]、[文件数]和[处理所需时间]是动态的。

    问题是:

    1. GetFile(获取目录)没有上游连接,因此无法在处理完成时触发它。
    2. ListFile+FetchFile组合不起作用b/c ListFile没有上游连接,所以——再一次——我不能在处理完成后触发它。

    ... 那么在二进制处理完成后,我可以使用哪个处理器来获取 新的 把文件带到NiFi land?

    2 回复  |  直到 8 年前
        1
  •  1
  •   Bryan Bende    8 年前

    我假设您的外部工具有一种方法在完成时通知NiFi,因为即使GetFile或ListFile支持传入流文件,您也需要这样做。。

    外部工具写入目录1,完成后调用HandleHttpRequest处理器提供的REST API,然后调用“mv directory-1 directory-2”的ExecuteScript处理器。

    ListFile处理器总是监视directory-2,但在上面的move命令执行之前,永远看不到任何东西。

        2
  •  0
  •   Dan    8 年前

    与@Bryan Bende的回答有些一致,我最终使用了 ExecuteScript

    import java.nio.charset.StandardCharsets
    import groovy.io.FileType
    def flowFile = session.get()
    if(!flowFile) return
    def flowFiles = [] as List<FlowFile>
    def fetchDirectory = flowFile.getAttribute('fetchDirectory')
    def listOfFiles = []
    def dir = new File(fetchDirectory)
    if(dir.exists()) {
       dir.eachFileRecurse (FileType.FILES) { file ->
          listOfFiles << file
       }
    }
    listOfFiles.each { i ->
       def newFlowFile = session.create()
       session.putAttribute(newFlowFile, 'path', i.path)
       session.putAttribute(newFlowFile, 'filename', i.getName())
       flowFiles << newFlowFile
    }
    session.remove(flowFile)
    session.transfer(flowFiles, REL_SUCCESS)
    

    因此,当外部工具完成时,我将块的流文件路由到上面的处理器,然后通过管道将其传递到 FetchFile 处理器。

    推荐文章