代码之家 › 专栏 › 技术社区 › Clock Slave

在Spark 2.3中使用G1GC垃圾收集器

g1gc garbage-collection pyspark apache-spark

Clock Slave · 技术社区 · 7 年前

我试图使用g1gc垃圾收集器来执行spark任务,但是我得到了一个

Error: Invalid argument to --conf: -XX:+UseG1GC

我试过使用这些选项,但没能成功

spark-submit --master spark://192.168.60.20:7077 --conf -XX:+UseG1GC /appdata/bblite-codebase/test.py

和

spark-submit --master spark://192.168.60.20:7077 -XX:+UseG1GC /appdata/bblite-codebase/test.py

正确的方法是什么? G1GC 斯帕克的收藏家?

2 回复 | 直到 7 年前

user9941512 7 年前

jvm选项应作为 spark.executor.extraJavaOptions / spark.driver.extraJavaOptions ,即

 --conf "spark.executor.extraJavaOptions=-XX:+UseG1GC"

Kaushal 7 年前

这就是如何在驱动程序和执行程序中配置垃圾回收设置的方法。

spark-submit --master spark://192.168.60.20:7077 \
 --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
 --conf "spark.executor.extraJavaOptions=-XX:+UseG1GC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
 /appdata/bblite-codebase/test.py

推荐文章

codeforester · 测量GC暂停时间的最佳方法是什么?

7 年前

Venki WAR · 需要解释G1的并行完整GC

7 年前

Alexis · FileChannel与MappedByteBuffer在随机访问中的比较?

7 年前

Stephan_Berlin · 为什么CMS系列中的初始标记阶段

7 年前

randow_user_1234 · 防止计时器在控制台应用程序中被垃圾收集

7 年前

Bonsaisteak · 为什么年轻一代需要三个区域来收集垃圾?

7 年前

goks · 如何清除熊猫的数据帧内存?

7 年前

Julius HÃ¤ger · StringBuilder insert使用字符串是否有原因。价值?

7 年前

Aqeel Ashiq · -XX:+PrintGC和-verbose:gc之间的差异

7 年前

ProfileForStack4 · 在Xamarin中,垃圾收集器多久被调用一次。Android应用程序?

7 年前