代码之家 › 专栏 › 技术社区 › Tiffany

如何在不创建无数中间数据帧的情况下应用多个索引器和编码器?

apache-spark-mllib apache-spark scala

Tiffany · 技术社区 · 8 年前

这是我的代码:

val workindexer = new StringIndexer().setInputCol("workclass").setOutputCol("workclassIndex")
val workencoder = new OneHotEncoder().setInputCol("workclassIndex").setOutputCol("workclassVec")

val educationindexer = new StringIndexer().setInputCol("education").setOutputCol("educationIndex")
val educationencoder = new OneHotEncoder().setInputCol("educationIndex").setOutputCol("educationVec")

val maritalindexer = new StringIndexer().setInputCol("marital_status").setOutputCol("maritalIndex")
val maritalencoder = new OneHotEncoder().setInputCol("maritalIndex").setOutputCol("maritalVec")

val occupationindexer = new StringIndexer().setInputCol("occupation").setOutputCol("occupationIndex")
val occupationencoder = new OneHotEncoder().setInputCol("occupationIndex").setOutputCol("occupationVec")

val relationindexer = new StringIndexer().setInputCol("relationship").setOutputCol("relationshipIndex")
val relationencoder = new OneHotEncoder().setInputCol("relationshipIndex").setOutputCol("relationshipVec")

val raceindexer = new StringIndexer().setInputCol("race").setOutputCol("raceIndex")
val raceencoder = new OneHotEncoder().setInputCol("raceIndex").setOutputCol("raceVec")

val sexindexer = new StringIndexer().setInputCol("sex").setOutputCol("sexIndex")
val sexencoder = new OneHotEncoder().setInputCol("sexIndex").setOutputCol("sexVec")

val nativeindexer = new StringIndexer().setInputCol("native_country").setOutputCol("native_countryIndex")
val nativeencoder = new OneHotEncoder().setInputCol("native_countryIndex").setOutputCol("native_countryVec")

val labelindexer = new StringIndexer().setInputCol("label").setOutputCol("labelIndex")

2 回复 | 直到 8 年前

Alper t. Turker 8 年前

我会用 RFormula :

import org.apache.spark.ml.feature.RFormula

val features = Seq("workclass", "education", 
   "marital_status", "occupation", "relationship", 
   "race", "sex", "native", "country")

val formula = new RFormula().setFormula(s"label ~ ${features.mkString(" + ")}")

Vector .

Jacek Laskowski 8 年前

使用名为 ML Pipelines :

使用ML管道,您可以“连接”(或“管道”) “编码器和索引器,而不创建无数中间数据帧”

import org.apache.spark.ml._
val pipeline = new Pipeline().setStages(Array(workindexer, workencoder...))

推荐文章

Dale Angus · Spark ML库

7 年前

Sergey Yakovlev · Spark Scala MLlib分配语法

7 年前

Khelifi Aymen · Spark Java-如何迭代dataframe数据集中的行,并将一列的值添加到Arraylist中

7 年前

shane · 在spark中,将Seq[(String,Any)]转换为Seq[(String,org.apache.spark.ml.PredictionModel[\uu,\])]

7 年前

Adeel Hashmi · Spark机器学习:RDD变得不可读

7 年前

Bidisha Mukherjee · pyspark中ML算法的训练

7 年前

OBarros · RandomForestClassifier用于多类分类Spark 2。x个

7 年前

Djura Marinkov · Scala中的非工作Spark示例,LogisticRetressionTrainingSummary

7 年前

mentongwu · 如何使矢量汇编程序不压缩数据?

7 年前

Hussain Asghar · 是否将文本数据转换为SVMFile格式以用于垃圾邮件分类?

7 年前