在Ignite DataFrame上执行sql时,错误:java.lang.NoClassDefFoundError:org/apache/spark/sqlcatalyst/expressions/IfNull

我有一个spark数据帧,我已经将其写入Ignite格式

`spark_df.write.format("ignite")\
        .mode("overwrite")\
        .option("table", "processed_logs")\
        .option("primaryKeyFields","player_id")\
        .option("config",config_file).save()`

接下来,我将其读取到数据帧中

`ignite_df = spark.read.format("ignite")\
    .option("table", "processed_logs")\
    .option("config", config_file)\
    .load()`

我在上面创建了一个表视图

`ignite_df.createOrReplaceTempView("ignite_table")`

当我对ignlight_table运行SQL查询时,我会得到以下错误

查询-> spark.sql("Select * from ignite_table where logins > 2").show()

错误-> Py4JJavaError: An error occurred while calling o197.showString. : java.lang.NoClassDefFoundError: org/apache/spark/sql/catalyst/expressions/IfNull at org.apache.ignite.spark.impl.optimization.SystemExpressions$.apply(SystemExpressions.scala:35) at org.apache.ignite.spark.impl.optimization.package$.$anonfun$exprsAllowed$2(package.scala:100)

完全错误-> https://pastebin.pl/view/f33b2e80

如果我使用python瘦客户端,则查询有效,但我只需要此实现。 请帮我解决这个问题。

PS:Spark版本->3.3.2 Ignite版本->2.15.0