代码之家 › 专栏 › 技术社区 › Rani

在spark中使用数据时出现问题?

sqoop apache-spark

Rani · 技术社区 · 9 年前

我在hdfs中使用sqoop获取数据,但我的数据在单列中包含逗号'。当我在spark中使用相同的数据时,它将每个逗号作为分隔符。如何更改这些逗号?

假设在第一行中有xyz列,在第二行中有a、b、c和cd,那么我能做什么来避免这些逗号?

2 回复 | 直到 9 年前

Dev 9 年前

以文本格式导入数据时,默认字段分隔符为逗号( , ). 由于您的数据包含逗号,请更改字段分隔符。

使用 --fields-terminated-by <char> 在sqoop导入命令中。

Taufiq Rahman 9 年前

您可能会发现这些命令很有用: --hive_drop-import-delims 或 --hive-delims-replacement

推荐文章

sri · 将sqoop的输出导出到本地

8 年前

Arvind · 错误orm。ClassWriter:AAA$T列的SQL类型8没有Java类型

8 年前