Databricks列出Azure Blob存储中的所有Blob

根据我的经验并基于我对Azure Blob存储的理解,SDK中的所有操作或Azure Blob存储上的其他操作都将转换为RESTAPI调用。所以你的 dbutils.fs.ls 调用实际上是调用相关的restapi List Blobs 在 水滴容器。

因此,我敢肯定你的代码的性能瓶颈确实是由传输的数据量大小的影响 XML Blob存储上Blob列表的响应主体,用于将Blob名称提取到 list 可变的,甚至有大约160000个斑点。

同时,所有blob名称都将被包装在XML响应的许多部分中,并且有一个 MaxResults 限制每个切片,而获得下一个切片取决于 NextMarker 上一个切片的值。上面的原因就是为什么列出blob比较慢,而且不能并行。

为了提高blob列表的加载效率,我的建议是预先缓存列表blob的结果,比如生成一个blob来逐行写入blob列表。考虑到实时更新,您可以尝试使用 Azure Function with Blob Trigger 在发生创建blob的事件时,将blob name记录添加到Append blob。