代码之家  ›  专栏  ›  技术社区  ›  Rishu S

蜂巢-“skip.footer.line.count”在黑斑羚中不起作用

  •  1
  • Rishu S  · 技术社区  · 7 年前

    我正在将平面文件交付给hdfs。文件的一般结构如下所示:

    <header - 2 rows>
     <data>
    <footer - 1 row>
    

    create external table ext_test
    (
      id string,
      name string, 
      age string
    ) row format DELIMITED FIELDS TERMINATED BY ','
      STORED AS TEXTFILE
      LOCATION '<hdfs file location>'
      TBLPROPERTIES ('skip.footer.line.count'='1', 'skip.header.line.count'='2')
    

    当我询问 select * from ext_test 在蜂箱中;我正在从外部表中获得预期的准确行数。但是当我在IMPALA中运行完全相同的查询时,我会收到一个额外的行,它基本上是footer属性。

    例如: 下面的示例将清除该场景:

    提要中的示例数据:

    Header,Sample-03122018,
    ID,NAME,AGE
    1,R,10
    2,RR,11
    3,RRR,12
    Footer,End of Report,
    

    在中运行select命令时的输出 使用上述DDL :

    1,R,10
    2,RR,11
    3,RRR,12
    

    在中运行select命令时的输出 使用上述DDL: [问题]

    1,R,10
    2,RR,11
    3,RRR,12
    Footer,End of Report,Null
    

    你有没有遇到过类似的问题?如果是,请告诉我合适的解决方案。

    1 回复  |  直到 6 年前
        1
  •  1
  •   leftjoin    7 年前

    这个特性还没有在Impala中实现,请参见此Jira IMPALA-7196

    黑斑羚不认得 skip.footer.line.count ,因此它实际上被忽略了。

    解决方法是使用过滤器进行查询 WHERE ID <> 'Footer'