代码之家 › 专栏 › 技术社区 › nam

如何在Databricks中升级python版本

azure-databricks databricks python-3.x python

0

nam · 技术社区 · 3 年前

我们升级了 Databricks 从…起 10.3 到 10.4 LTS 。但是 python 版本未从更改 python 3.8.10 。

问题 :在 Databricks - version 10.4 ,我们如何从 python 3.8.10 到 python 3.10 ?

更新 :我想使用python 3.10中提供的一些新功能,例如 match case Statement 。

0 回复 | 直到 3 年前

1

Saideep Arikontham 3 年前

它可能无法升级python的版本 在Databricks集群内 。每个集群都有一个预定义的配置,该配置由 Spark, Scala and Python 。

我们将Databricks从10.3 LTS升级到10.4 LTS。但python版本与python 3.8.10没有变化

这是因为Databricks 10.3和10.4 LTS的python版本都是 3.8.10 。

一个解决方案是 Edit the cluster 更改为支持所需配置的Databricks运行时。要执行此操作,请导航到 compute -> click on your cluster -> edit 并选择所需的databricks运行时。

但目前,Azure数据块中支持的最高python版本是 Python 3.9.5 通过 Databricks runtime 11.1 提到 this Microsoft documentation 了解更多关于Databricks运行时的功能和配置

2

1

Jath 3 年前

您可以在Docker镜像上安装python 3.10.5,集群可以使用该镜像来代替标准运行时。

https://docs.databricks.com/clusters/custom-containers.html

您可以在最低配置的基础上进行构建。我举了一个最小的例子

FROM databricksruntime/minimal:experimental

# Installs python 3.10 and virtualenv for Spark and Notebooks
RUN apt-get update \
  && apt-get install -y \
    python3.10 \
    virtualenv \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

# Initialize the default environment that Spark and notebooks will use
RUN virtualenv -p python3.10 --system-site-packages /databricks/python3

# Specifies where Spark will look for the python process
ENV PYSPARK_PYTHON=/databricks/python3/bin/python3

您将需要安装所有其他python库,因此这个过程有点乏味。