代码之家 › 专栏 › 技术社区 › topherW

AWS EMR Presto使用AWS Glue无法找到正确的配置单元模式

presto emr hive amazon-web-services

1

topherW · 技术社区 · 8 年前

因此,我无法通过AWS EMR执行Presto查询。

我已经启动了一个运行hive/presto并使用AWS Glue作为元存储的EMR。

如果然后进入Presto CLI并运行“show schemas on hive”,我只会看到两个“default”和“information\u schema”

就我而言,我无法理解为什么普雷斯托不能看到相同的蜂巢模式。

这是EMR上的基本默认集群启动,主要使用默认设置。

有人能告诉我应该找什么方向吗?我已经检查过蜂箱了。属性文件,这看起来很好,我只是不知道为什么普雷斯托不能看到相同的信息作为蜂巢。

我有以下配置集

[{"classification":"hive-site", "properties":{"hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"}, "configurations":[]}]

AWS文件 http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html 让它看起来应该是即插即用的,但我显然错过了一些东西

3 回复 | 直到 8 年前

1

mostafazh 8 年前

从开始 亚马逊电子病历发布版本5.10.0 你可以。简单地说,设置蜂箱。元存储。胶数据目录。enabled属性为true,如下所示:

[
  {
    "Classification": "presto-connector-hive",
    "Properties": {
      "hive.metastore.glue.datacatalog.enabled": "true"
    }
  }
]

也可以手动设置 hive.metastore.glue.datacatalog.enabled=true 在 /etc/presto/conf/catalog/hive.properties 主节点上的文件。如果使用此方法时,请确保 hive.table-statistics-enabled=false 在属性文件中设置因为数据目录不支持配置单元表和分区统计数字如果将长期运行的集群上的值更改为切换元存储时,必须在主服务器上重新启动Presto服务器 sudo restart presto-server ).

来源 : AWS Docs

2

1

TomB 8 年前

看起来这已经在emr-5.10中解决了。您要添加以下配置:

{"Classification":"presto-connector-hive","Properties":{"hive.metastore.glue.datacatalog.enabled": "true"}}

资料来源: https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-glue.html

3

0

Sayat Satybald 8 年前

Presto最近的0.198版本现在支持AWS Glue作为元数据源。

添加对使用AWS Glue作为元存储的支持。通过设置启用

https://prestodb.io/docs/current/release/release-0.198.html