代码之家  ›  专栏  ›  技术社区  ›  moshevi

python:s3中的递归glob

  •  0
  • moshevi  · 技术社区  · 8 年前

    我正试图从s3中获取拼花文件路径的列表,这些拼花文件路径位于子目录和子目录的子目录中(等等)。

    如果是我的本地文件系统,我会这样做:

    import glob 
    
    glob.glob('C:/Users/user/info/**/*.parquet', recursive=True)
    

    我试过用 glob 方法 s3fs 但是它没有递归的Kwarg。

    有什么功能我可以使用或者我需要自己实现它吗?

    1 回复  |  直到 7 年前
        1
  •  0
  •   AKX Bryan Oakley    8 年前

    s3本身并没有子目录。

    boto3 's S3.Client.list_objects() 支持 prefix 参数,该参数将获取bucket中给定“目录”中的所有对象,无论它们看起来有多深。