代码之家 › 专栏 › 技术社区 › wipman

使用spark流从HDF中消耗大量xml

spark-streaming hdfs scala xml

wipman · 技术社区 · 8 年前

我是 listening 到 hdfs 的目录 xml 带有 spark-streaming - textFileStream() . 问题是我的记录很大(而且只有一行);它们的大小可以接近1G。

我愿意:

val xmlStream = ssc.textFileStream(monitoredDirectory).map { ("",_) }

我怎么能告诉spark不要分割我的文件?或者有其他方法来处理大型xml文件吗?

2 回复 | 直到 8 年前

CarloV 8 年前

在我看来,流媒体并不是管理大文件的最佳解决方案。简单的方法是用简单的

sc.textfile("newfileinthefolder", partition=1)

另一个解决方案是管理StreamingContext的batchDuration,但我对此不太有信心。在这种情况下,请注意流媒体产生的血统。最后,看看 this ,databricks资源有时是最合适的解决方案

wipman 8 年前

具有 spark-xml ,如建议 gtosto公司 ,如下所示:

import org.apache.hadoop.io.{LongWritable, Text}
import com.databricks.spark.xml.XmlInputFormat

val conf = sc.hadoopConfiguration
conf.set(XmlInputFormat.START_TAG_KEY, "<xxx>")
conf.set(XmlInputFormat.END_TAG_KEY, "</xxx>")
org.apache.hadoop.fs.FileSystem.get(conf)

val xml = ssc.fileStream[LongWritable,Text,XmlInputFormat](monitoredDirectory,true,false)

推荐文章

Nk.Pl · 为Kafka主题创建配置单元表生成器

8 年前

enodmilvado · 从HDP当前版本2.6.0.3升级到2.6.4失败

8 年前

Enrico Gallinucci · HDFS配置的容量高于磁盘容量

8 年前

Omid · 计算fat 32和HDFS的最大体积大小

8 年前

Danny · AWS中的Spark:“S3AbortableInputStream:并非所有字节都是从S3ObjectInputStream读取的”

8 年前

Tran Thien An · Hadoop Kerberos:Datanode无法连接到Namenode。jsvc启动Datanode与特权端口绑定(不使用SASL)

8 年前

dhalfageme · HBase:MasterNotRunningException:节点/HBase不在zookeeper中

8 年前

dlamblin · Hadoop HDFS就地压缩

8 年前

user2007861 · 在HDFS文件夹中查找旧文件

8 年前

osk · 加载a。Scala中HDFS的csv文件

8 年前