代码之家 › 专栏 › 技术社区 › Parth Vishvajit

如何将cassandraRow转换为Row(apache spark)?

spark-cassandra-connector cassandra apache-spark

Parth Vishvajit · 技术社区 · 9 年前

我正在尝试从RDD[cassandraRow]创建数据帧……但我不能,因为createDataframe( RDD[行] ,schema:StructType)需要RDD[Row]而不是RDD[cassandraRow]。

(答案之一)关于在RDD[Row]上使用toDF()从RDD获取数据帧的建议不适用于我。

我正在使用Scala。

1 回复 | 直到 8 年前

zero323 little_kid_pea 9 年前

如果您确实需要,您可以随时将数据映射到Spark行:

sqlContext.createDataFrame(
  rdd.map(r => org.apache.spark.sql.Row.fromSeq(r.columnValues)),
  schema
)

但如果你想 DataFrames 最好直接导入数据:

val df = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> table, "keyspace" -> keyspace))
  .load()

推荐文章

colesico · 类别项目实体的Cassandra/Scylla最优存储模型

1 年前

æä½ä¸¤å¼è± · 使用Apache Atlas官方命令打包时出现NullPointerException

1 年前

junsung kang · Cassandra突然挂起,返回WindowsFileSystemException:“该进程不可访问,因为该文件正被另一个进程使用”

1 年前

Basel Maged · 在cassandra 3.11中启用本机审核日志记录

2 年前

PKS · 什么是系统。cassandra中的size_估计值和高磁盘消耗背后的合理原因

3 年前

RomanGoltsov · Scala、Cassandra、Quill、Need impl logget批处理模式

3 年前

Damilola · Cassandra无效查询:缺少一些群集密钥

7 年前

user2345093 · Cassandra是如何避免使用负载平衡器的?

7 年前

colloque · 如何在聊天应用程序中按上次回复时间订购聊天室实体?

7 年前

Roddy of the Frozen Peas · Cassandra不在Java 10上启动

7 年前