在齐柏林飞艇中添加spark csv依赖项会产生网络错误。
我去了齐柏林飞艇上的Spark解释器,添加了Spark csv依赖项。
com.databricks:spark-csv_2.10:1.2.0
我重新启动齐柏林飞艇并运行以下命令:
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true") // Use first line of all files as header
.option("inferSchema", "true") // Automatically infer data types
.load("https://github.com/databricks/spark-csv/raw/master/src/test/resources/cars.csv")
df.printSchema()
我是否正确添加了依赖项?
更新
com.databricks:spark-csv_2.11:jar:1.6.0
得到以下信息:
设置解释器spark的属性时出错。spark:找不到工件com。中央数据库:spark-csv_2.11:jar:1.6.0(
http://repo1.maven.org/maven2/
)