代码之家  ›  专栏  ›  技术社区  ›  Milos Bejda

在齐柏林飞艇中添加spark csv依赖项会产生网络错误

  •  0
  • Milos Bejda  · 技术社区  · 9 年前

    在齐柏林飞艇中添加spark csv依赖项会产生网络错误。 我去了齐柏林飞艇上的Spark解释器,添加了Spark csv依赖项。 com.databricks:spark-csv_2.10:1.2.0

    enter image description here

    我重新启动齐柏林飞艇并运行以下命令:

    import org.apache.spark.sql.SQLContext
    
    val sqlContext = new SQLContext(sc)
    val df = sqlContext.read
        .format("com.databricks.spark.csv")
        .option("header", "true") // Use first line of all files as header
        .option("inferSchema", "true") // Automatically infer data types
        .load("https://github.com/databricks/spark-csv/raw/master/src/test/resources/cars.csv")
    df.printSchema()
    

    enter image description here

    我是否正确添加了依赖项?

    更新

    com.databricks:spark-csv_2.11:jar:1.6.0 得到以下信息:

    设置解释器spark的属性时出错。spark:找不到工件com。中央数据库:spark-csv_2.11:jar:1.6.0( http://repo1.maven.org/maven2/ )

    enter image description here

    1 回复  |  直到 9 年前
        1
  •  1
  •   Mariusz    9 年前

    看起来您使用的是非常旧的库版本,另外是为scala 2.10构建的(您的spark似乎是2.11)。

    com.databricks:spark-csv_2.11:1.5.0