代码之家 › 专栏 › 技术社区 › CyberPlayerOne

Amazon DynamoDB:警告“DynamoDB表JobDetails的配置写入吞吐量小于集群映射容量”

amazon-emr emr amazon-dynamodb hive amazon-web-services

-1

CyberPlayerOne · 技术社区 · 8 年前

我正在Amazon EMR上使用Apache Hive将一些数据从Amazon DynamoDB批量下载到Amazon S3。我收到以下警告:

警告:dynamodb表JobDetails的配置写入吞吐量小于群集映射容量。群集映射容量:20 写入吞吐量:5

在表上写下停机。

我想 WriteThroughput 与DynamoDB表的配置有关。

这个警告是什么意思?是 ClusterMapCapacity 是否与我的EMR群集相关?

这个警告是我应该解决的问题,还是我可以忽略它?

1 回复 | 直到 5 年前

IÅya Bursov 8 年前

是的,你应该解决这个问题。

最多可以有20个映射作业同时写入表,而表每秒仅接受5个写入请求。

所以,您需要在表上至少有20个写入容量(如果map每秒可以写入多次,则需要更多),以避免限制(限制意味着数据可能会丢失)。

推荐文章

Victor Wong · 如何迭代列A以有条件地对列B求和?

1 年前

StripyTiger · 从配置单元中的列表检索元素

2 年前

mfcss · SQL:使用年/月/日分区查询某个时间段的数据

2 年前

MOMO · 配置单元重命名具有分区的表中的列

2 年前

Minnu · json结构类型加载到配置单元

2 年前

PPSATO · 替代在AWS Athena中使用last_value和first_value

2 年前

te time · 按组获取完整的行集

2 年前

MattRgx · 配置单元中的Regexp将一列拆分为3列

4 年前

mishalhaneef · 如何更新蜂箱颤振数据

4 年前

Bhanuchander Udhayakumar · 为什么spark sql的cpu利用率高于hive?

8 年前