在emr上的jupyter/jupiterhub上向pyspark内核添加库

进一步的阅读表明我错了:使用pyScar内核实际上会有星星之火(EMR本身)上运行的代码,而使用Python内核将在JuyTyHub服务器(DOCKER映像)上运行代码。

matplotlib是预先安装在docker映像上的,而不是emr。 在emr主节点上安装matplotlib可以解决pyspark内核中的导入问题。然而,这对使用spark中的数据帧绘制图形没有进一步的帮助(至少对我现在是这样)。

我最终可以按照这个指南得到我想要的结果-将结果传输到“local”(这里“local”是指jupyterhub服务器-docker映像)并使用matplotlib在本地使用 %%本地 魔术: https://github.com/jupyter-incubator/sparkmagic/blob/master/examples/Pyspark%20Kernel.ipynb