在使用AWS sagemaker执行A/B测试时,如何设置推理调用的百分比?

在Amazon SageMaker端点后面可以有多个生产变体。每个生产变量都有一个初始变量权重,根据每个变量权重与总权重之比,SageMaker可以将调用分配给每个模型。例如,如果只有一个重量为1的生产变型,则所有流量都将流向此变型。如果添加另一个初始重量为2的生产变型,新变型将获得2/3的流量,第一个变型将获得1/3的流量。

您可以在亚马逊SageMaker文档中查看ProductionVariant的更多详细信息: https://docs.aws.amazon.com/sagemaker/latest/dg/API_ProductionVariant.html

您可以在“创建端点配置”时提供ProductionVariants数组: https://docs.aws.amazon.com/sagemaker/latest/dg/API_CreateEndpointConfig.html ,您可以使用“更新端点权重和容量”调用更新变量: https://docs.aws.amazon.com/sagemaker/latest/dg/API_UpdateEndpointWeightsAndCapacities.html

您可以这样使用,我刚刚创建了一个函数,它使用一些用户输入来实现AWS SDK库。该示例根据下面代码中的InitialVariantWeight参数,将model1和model2的流量按1:1的比例进行拆分。有关SageMaker库的详细信息,请访问: https://boto3.readthedocs.io/en/latest/reference/services/sagemaker.html

def custom_create_endpoint_config(model1,model2,endpoint_config_name,instancetype= 'm1.t2.medium'):
    response = client.create_endpoint_config(
    EndpointConfigName=endpoint_config_name,
    ProductionVariants= [
    {
        'VariantName': 'variant1',
        'ModelName': model1,
        'InitialInstanceCount': 1,
        'InstanceType': instancetype,
        'InitialVariantWeight': 1
    },
    {
        'VariantName': 'variant2',
        'ModelName': model2,
        'InitialInstanceCount': 1,
        'InstanceType': instancetype,
        'InitialVariantWeight': 1
    },],        
    Tags=[
    {
        'Key': str(endpoint_config_name +'_key'),
        'Value': str(endpoint_config_value +'_value')
    },]
    )


def custom_delete_endpoint_config(endpoint_config_name):
    client.delete_endpoint_config(\
        EndpointConfigName=config_name)