我正在将平面文件交付给hdfs。文件的一般结构如下所示:
<header - 2 rows>
<data>
<footer - 1 row>
create external table ext_test
(
id string,
name string,
age string
) row format DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '<hdfs file location>'
TBLPROPERTIES ('skip.footer.line.count'='1', 'skip.header.line.count'='2')
当我询问
select * from ext_test
在蜂箱中;我正在从外部表中获得预期的准确行数。但是当我在IMPALA中运行完全相同的查询时,我会收到一个额外的行,它基本上是footer属性。
例如:
下面的示例将清除该场景:
提要中的示例数据:
Header,Sample-03122018,
ID,NAME,AGE
1,R,10
2,RR,11
3,RRR,12
Footer,End of Report,
在中运行select命令时的输出
使用上述DDL
:
1,R,10
2,RR,11
3,RRR,12
在中运行select命令时的输出
使用上述DDL:
[问题]
1,R,10
2,RR,11
3,RRR,12
Footer,End of Report,Null
你有没有遇到过类似的问题?如果是,请告诉我合适的解决方案。