代码之家  ›  专栏  ›  技术社区  ›  Prasanna Nandakumar

Dynamodb扫描停止,结果返回LastEvaluatedKey

  •  -1
  • Prasanna Nandakumar  · 技术社区  · 7 年前

    我有一个http端点-当我以我的表名作为查询字符串参数到达端点时-我只得到部分结果 LastEvaluatedKey

    import boto3
    import json
    
    print('Loading function')
    dynamo = boto3.client('dynamodb')
    
    
    def respond(err, res=None):
        return {
            'statusCode': '400' if err else '200',
            'body': err.message if err else json.dumps(res),
            'headers': {
                'Content-Type': 'application/json',
            },
        }
    
    
    def lambda_handler(event, context):
    
        operations = {
            'DELETE': lambda dynamo, x: dynamo.delete_item(**x),
            'GET': lambda dynamo, x: dynamo.scan(**x),
            'POST': lambda dynamo, x: dynamo.put_item(**x),
            'PUT': lambda dynamo, x: dynamo.update_item(**x),
        }
    
        operation = event['httpMethod']
        if operation in operations:
            payload = event['queryStringParameters'] if operation == 'GET' else json.loads(event['body'])
            return respond(None, operations[operation](dynamo, payload))
        else:
            return respond(ValueError('Unsupported method "{}"'.format(operation)))
    

    2 回复  |  直到 7 年前
        1
  •  3
  •   Pseudonymous    7 年前

    https://docs.aws.amazon.com/amazondynamodb/latest/APIReference/API_Scan.html

    如果扫描的项目总数超过最大数据集大小 限制为1 MB时,扫描停止并将结果返回给用户 一个LastEvaluatedKey值,用于在随后的 操作。结果还包括超过标准的项目数 限制。扫描可能导致没有符合筛选条件的表数据。

    排他性启动键 操作将评估。使用为返回的值 上次操作中的LastEvaluatedKey。

    ExclusiveStartKey的数据类型必须是字符串、数字或二进制。 不允许设置数据类型。

    在并行扫描技术中,一种包括ExclusiveStartKey的扫描请求 必须指定上一次扫描返回 LastEvaluatedKey的对应值。

    类型:字符串到AttributeValue对象映射

    密钥长度约束:最大长度为65535。

    循环和检查的代码示例 https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/GettingStarted.Python.04.html#GettingStarted.Python.04.Scan

    while 'LastEvaluatedKey' in response:
        response = table.scan(
            ProjectionExpression=pe,
            FilterExpression=fe,
            ExpressionAttributeNames= ean,
            ExclusiveStartKey=response['LastEvaluatedKey']
            )
    
        2
  •  -1
  •   Prasanna Nandakumar    7 年前
    import boto3
    import json
    import re
    
    def lambda_handler(event, context):
        dynamodb = boto3.resource('dynamodb')
        table = dynamodb.Table('master')
    
        response = table.scan()
        data = response['Items']
    
        while 'LastEvaluatedKey' in response:
            response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey'])
            data.extend(response['Items'])
    
        return {
            'statusCode': 200,
            'headers': {
                'Access-Control-Allow-Origin' : '*',
            },
            'body': json.dumps(data)
        }