使用boto3和PySpark的AWS SageMaker笔记本列表

在AWS SageMaker中执行以下代码有一些困难。它应该只列出DynamoDB中的所有表。

import boto3
resource = boto3.resource('dynamodb', region_name='xxxx')
response  = resource.tables.all()
for r in response:
    print(r.name)

如果SageMaker笔记本内核设置为“conda_python3”,那么代码执行得很好,表按预期列在笔记本中(这几乎是立即发生的)。

但是,如果我将内核设置为“Sparkmagic(PySpark)”,则相同的代码无限运行,根本不输出表列表。

有人知道为什么PySpark内核会发生这种情况,而conda3内核不会发生这种情况吗?理想情况下,我需要将此代码作为依赖于PySpark的更大脚本的一部分运行,因此希望让它与PySpark一起工作。