代码之家 › 专栏 › 技术社区 › user98235

从S3中提取Spark python中带有星号(*)的文件路径

glob pyspark apache-spark python

user98235 · 技术社区 · 10 年前

我的一个文件具有以下路径:

s3://bucket/folder/file[1]*[2]

现在,当我试图阅读它时,使用 sc.textFile 命令,由于星号(*),它无法读取。

有没有正确阅读的方法?

(我试过*,但没用)

任何帮助都将不胜感激。

2 回复 | 直到 10 年前

Joe 10 年前

我不知道您正在使用的包,但对于boto3,我使用urlparse.quote_plus。

the.malkolm 10 年前

Spark使用Hadoop的globs,即。

正如你所见 [] 还有一些特殊的字符。试着也避开括号。

推荐文章

Muiter · Foreach循环在输出时被洗牌[重复]

8 年前

RaR · 如何在redis中模式匹配空字符串?

8 年前

machump · Python/Outlook附件:“找不到此文件。请验证是否存在”

8 年前

Eric · 简单Bash脚本不工作

9 年前

Prat · Python Glob regex文件搜索,从多个匹配中搜索单个结果

9 年前

user6792790 · 在linux中删除以2位数字结尾的文件

9 年前

jmal · python全局系统(&S)。argv错误,正则表达式不工作

9 年前

vicemagui · 使用glob按特定顺序导入文件

9 年前

Lumos · 熊猫合并同一目录中的所有文件

9 年前

bgrantdev · Sphinx从html_边栏中排除一个页面

9 年前