代码之家 › 专栏 › 技术社区 › Akhil

DataProc Jupyter

google-cloud-dataproc google-kubernetes-engine jupyter

Akhil · 技术社区 · 2 年前

我有一个terrform脚本,用于使用GKE安装Dataproc,我很难在Dataproc集群中安装Jupyter。

我尝试了以下

virtual_cluster_config {
    staging_bucket = google_storage_bucket.staging_bucket.name
    kubernetes_cluster_config {
        kubernetes_namespace = "foobar"

        kubernetes_software_config {
            component_version = {
                "SPARK" : "3.1-dataproc-7"
            }

            properties = {
                "spark:spark.eventLog.enabled": "true"
                "dataproc:jupyter.enable": "true"
            }
        }
    }
}

但这些特性在应用后没有影响。

如果我根据TF文档使用GKE进行数据处理,我看不到可以使用初始化操作的方法 https://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/dataproc_cluster#virtual_cluster_config