代码之家  ›  专栏  ›  技术社区  ›  Anton von Schantz

AWS SageMaker Foundation模型的无服务器端点?

  •  0
  • Anton von Schantz  · 技术社区  · 2 年前

    如今,AWS提供了一些LLM,您可以使用SageMaker端点对其进行自托管。

    是否有可能为这些模型创建无服务器类型的端点?

    我在任何文档中都没有找到答案。

    0 回复  |  直到 2 年前
        1
  •  1
  •   Marc Karp    2 年前

    如果您的问题是无服务器端点是否支持JumpStart基础模型,那么答案是否,无服务器端点目前不支持GPU,因此也不支持基础模型。