代码之家 › 专栏 › 技术社区 › Hussain Asghar

是否将文本数据转换为SVMFile格式以用于垃圾邮件分类?

apache-spark-mllib bigdata machine-learning apache-spark

Hussain Asghar · 技术社区 · 8 年前

如何将文本数据转换为LibSVM文件格式,以训练垃圾邮件分类模型。 SVMFiles是否已标记?

1 回复 | 直到 8 年前

user9179787 8 年前

SVM格式既不是必需的,也不是有用的。在Apache Spark ML示例中使用它,只是因为它可以直接映射到所需的格式。

SVMFiles是否已标记?

不一定,但Spark只能读取标记的变体。

实际上,您应该使用 org.apache.spark.ml.feature 用于从数据中提取相关特征的工具。

你可以跟随 the documentation 还有一些问题。,

推荐文章

nxn · ADX Kusto如何合并两个大表

1 年前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

1 年前

DSA · 基于R中的引用将矢量的值替换为数据帧列的值

2 年前

sclark952 · Docker容器中MongoDB使用Flask和进行聚合查询的问题

2 年前

Altin Mag. · 如何将spark连接到mongodb?

2 年前

Uddhav Savani · Spark Left Join即使在选择时使用数据帧名称,也会给出歧义列名的错误

2 年前

user8625479 · Pyspark StringIndexer在对Dataframe中的列进行索引并获取行数时引发“看不见的标签”错误

2 年前

CompEng · 如何通过查看我的两个秋天来复制行?

3 年前

Arlo Clarke · 如何以自动化方式导出大型Neo4j数据集进行分析

8 年前

RefiPeretz · SPARK聚合基于一列的所有列[重复]

8 年前