代码之家  ›  专栏  ›  技术社区  ›  Kannaiyan

AWS Cloudsearch可伸缩吗?

  •  2
  • Kannaiyan  · 技术社区  · 6 年前

    以下是我尝试过的选项:

    尝试上载文件时,有5 MB的限制。

    然后将文件上载到S3并选择S3选项,

    :

    尝试使用命令行

    aws cloudsearchdomain上载文档--端点url http://endpoint --内容类型application/json——文档s3://bucket/cs.json

    Error parsing parameter '--documents': Blob values must be a path to a file.
    

    好的,将文件从s3复制到本地并尝试上载,

    尝试使用本地文件和cli:

    aws cloudsearchdomain上载文档--端点url http://endpoint --内容类型application/json——文档。/cs.json

    http://endpoint/2013-01-01/documents/batch?format=sdk ".

    无论如何,要让CloudSearch正常工作?

    1 回复  |  直到 6 年前
        1
  •  2
  •   Keet Sugathadasa    6 年前

    据我所知,这与问题标题中的Cloudsearch的可伸缩性无关,而是与上载的限制有关,以及如何将大型文件上载到Amazon Cloudsearch中。

    最佳解决方案是通过分块上传数据。 将文档分成若干批 并批量上传数据。(但请记住相关的限制)

    这对我有用。下面给出了一些指导方针,以帮助更好地解决这个问题。


    在将数据上载到Amazon Cloudsearch时遵循。

    1. 在上载文档之前,将文档分组为批。持续上传只包含一个文档的批对Amazon CloudSearch处理更新的速度有巨大的负面影响。相反,创建尽可能接近限制的批,并减少上载频率。(限制如下所述)

    2. 若要将数据上载到域,必须将其格式化为有效的 XML 一批


    现在,让我解释一下原因 limitations associated with Amazon Cloud search 与文件上传相关。

    最大批处理大小为5 MB

    2) 文件大小

    最大文档大小为1 MB

    3) 文档字段

    文档的字段不能超过200个

    您可以每10秒加载一个文档批(大约10000

    但如果您希望增加限制,可以联系Amazon CloudSearch。目前,亚马逊不允许增加上传大小限制。

    如果您需要增加成本,可以提交请求 搜索域的分区 限制,例如搜索域的最大数量, 联系亚马逊 .