代码之家 › 专栏 › 技术社区 › y2k-shubham

Presto无法从S3读取数据

prestodb amazon-emr hive amazon-s3 amazon-web-services

y2k-shubham · 技术社区 · 6 年前

注意 Can't read data in Presto - can in Hive

试图让我 PySpark 应用程序(使用 boto3 )工作中,我不得不做以下几次

重新安装 pip
重新安装 aws-sdk boto3型 botocore , aws-cli )

当我设法使我的申请生效时,我最终 Presto 和 S3 ,所以 Hive EXTERNAL table 存储在S3上 (同时 Hive can)

SELECT COUNT(*) FROM my_db.my_table 在普雷斯托 /var/log/presto/server.log 以下文件报告 堆栈跟踪

2018-12-04T12:29:54.433+0530    WARN    hive-hive-63    com.facebook.presto.hive.util.ResumableTasks    ResumableTask completed exceptionally
java.lang.NoClassDefFoundError: Could not initialize class com.amazon.ws.emr.hadoop.fs.util.EmrFsUtils
    at com.amazon.ws.emr.hadoop.fs.s3n.S3Credentials.initialize(S3Credentials.java:45)
    at com.amazon.ws.emr.hadoop.fs.HadoopConfigurationAWSCredentialsProvider.<init>(HadoopConfigurationAWSCredentialsProvider.java:26)
    at com.amazon.ws.emr.hadoop.fs.guice.DefaultAWSCredentialsProviderFactory.getAwsCredentialsProviderChain(DefaultAWSCredentialsProviderFactory.java:44)
    at com.amazon.ws.emr.hadoop.fs.guice.DefaultAWSCredentialsProviderFactory.getAwsCredentialsProvider(DefaultAWSCredentialsProviderFactory.java:28)
    at com.amazon.ws.emr.hadoop.fs.guice.EmrFSProdModule.getAwsCredentialsProvider(EmrFSProdModule.java:65)
    ...

here

我想澄清一下

只有普雷斯托似乎受到了影响 蜂箱 , , Spark
我的 EC2 IAM Role 它允许从所有 S3桶
早前普雷斯托在读S3时没有抱怨,问题是在之后才出现的摆弄与环境
如果我 将配置单元外部表的位置设置为 HDFS

我已经浏览了一些相关的链接,但是没有用

0 回复 | 直到 6 年前

推荐文章

ds_user · s3分区上的配置单元查询太慢

7 年前

Evan Zamir · 正在尝试在Amazon EMR上安装pandas for Pyspark

7 年前

CyberPlayerOne · Amazon DynamoDB:警告“DynamoDB表JobDetails的配置写入吞吐量小于集群映射容量”

7 年前

Charles Green · AWS EMR Spark未使用自定义Jar加载MainClass

7 年前

WomenWhoCode · 在EMR上运行Spark应用程序速度较慢

7 年前

ds_user · 在s3中的多个拼花文件上创建配置单元表

7 年前

Yuriy Bondaruk · 具有多个加密密钥提供程序的EMR

7 年前

Markus · 如何按需创建EMR集群并执行aws EMR命令?

7 年前

seiya · AWS EMR上的奇怪火花错误

7 年前

dlamblin · EC2系统重启事件是否会导致EMR等待或更换节点?

7 年前