AWS中的Spark:“S3AbortableInputStream:并非所有字节都是从S3ObjectInputStream读取的”

忽略它。 AWS SDK的最新版本总是在您呼叫时提醒您 abort() 在输入流上,即使这是在移动多GB文件时需要执行的操作。对于小文件,是的,读取EOF是正确的,但对于大文件,则不是。

请参见: SDK repeatedly complaining "Not all bytes were read from the S3ObjectInputStream

如果您经常看到这种情况,并且正在使用ORC和Parquet等列数据格式,请通过设置属性将输入流切换到随机IO over sequential fs.s3a.experimental.fadvise 到 random . 这就阻止了它尝试读取整个文件,而只读取小块。对于完整文件读取(包括.gz文件)非常糟糕,但会转换列IO。

注意,Hadoop 3在S3A中有一个小补丁。最终关闭时的x HADOOP-14596 . 由EMR团队决定是否退出。

+我将在S3A疑难解答文档中添加一些文本。ASF从来没有发布过带有此问题的hadoop版本,但如果人们使用AWS SDK进行混搭(非常脆弱),那么这可能会出现

注: 这仅适用于非EMR安装,因为AWS不提供 s3a .

在根据Steve Loughran的回答选择忽略警告或通过设置更改输入流之前,请绝对确保您没有使用 s3://bucket/path 符号

从Spark 2开始,您应该通过 s3a://bucket/path ,这可能会解决您看到的警告(对我们来说确实如此),并大大提高S3交互的速度。 See this answer for detail on a breakdown of differences .