代码之家 › 专栏 › 技术社区 › osk

大型文本文件的高效迭代

bigdata iterator scala

osk · 技术社区 · 8 年前

因此,我有以下几点:

val bufferedSource = io.Source.fromFile("""C:\Users\something\workspace\""" + fileName)
val lines = bufferedSource.getLines

我想随机选择一个开始索引和一个结束索引,然后遍历 lines 打印到新文件时在此范围内。有没有办法访问中的元素 线 按索引迭代器?

我的第一次尝试是将数据复制到 ListBuffer :

var lineArr = ListBuffer[String]()
for (line <- lines) {
    lineArr += line
}

如果我遍历 lineArr 在我的范围内,从指数来看,它真的很慢。

我怎样才能有效地做到这一点?

旁注:如果我遍历 线 它包含所有元素(我不想要),在将它们写入新文件时迭代速度很快,但是我只想要选择的写入量。

3 回复 | 直到 8 年前

osk 8 年前

因此,我没有迭代每一行,而是使用切片解决了这个问题。我仍然创建一个 ListBuffer 但我在开始和结束索引上切片:

lineArrTemp = lineArrTemp.slice(start, end)

然后简单地遍历 列表缓冲区 迭代器,它是有效的。

Dima 8 年前

  lines
    .drop(startIndex)
    .take(endIndex - startIndex)
    .foreach(writeToFile)

elm 8 年前

同时考虑 zipWithIndex 在迭代器上,因此我们可以根据索引值完善行选择;例如,使用

io.Source.fromFile("temp.txt").getLines.zipWithIndex.foreach { 
  case (line,i) => if (i % 2 == 0) println(line) 
}

在这里,我们一次索引一行,因为我们只在文件上迭代一次。

推荐文章

nxn · ADX Kusto如何合并两个大表

2 年前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

2 年前

DSA · 基于R中的引用将矢量的值替换为数据帧列的值

2 年前

sclark952 · Docker容器中MongoDB使用Flask和进行聚合查询的问题

3 年前

Altin Mag. · 如何将spark连接到mongodb?

3 年前

Uddhav Savani · Spark Left Join即使在选择时使用数据帧名称,也会给出歧义列名的错误

3 年前

user8625479 · Pyspark StringIndexer在对Dataframe中的列进行索引并获取行数时引发“看不见的标签”错误

3 年前

CompEng · 如何通过查看我的两个秋天来复制行?

3 年前

Arlo Clarke · 如何以自动化方式导出大型Neo4j数据集进行分析

8 年前

RefiPeretz · SPARK聚合基于一列的所有列[重复]

8 年前