代码之家  ›  专栏  ›  技术社区  ›  Chandar

Azure数据工厂分页问题

  •  0
  • Chandar  · 技术社区  · 2 年前

    我有一个带有Source-Rest API调用和sink-Blob存储(JSON)的复制活动,结果存储在JSON中。复制活动只加载前142条记录,不使用AbsoluteUrl Body pagin.next.link加载下一组记录 以下是API响应的示例结果:

    [
      {
    
    "results": [
          {
            "id": "abc",
            "properties": {
              "createdate": "",
              "domain": "",
              "hs_lastmodifieddate": "",
              "hs_object_id": "",
              "name": "."
            },
            "createdAt": "",
            "updatedAt": "",
            "archived": false
          },
           {
            "id": "xyz",
            "properties": {
              "createdate": "",
              "domain": "",
              "hs_lastmodifieddate": "",
              "hs_object_id": "",
              "name": ""
            },
            "createdAt": "",
            "updatedAt": "",
            "archived": false
          },
          
          "paging": {
          "next": {
            "after": "67545677",
            "link": "https://api.abb.com/crm/v3/objects/aaa?limit=100&after=67545677"
           }
          }
      }
     ]
    

    我需要传递链接值来获取下一组数据。

    ADF分页 : enter image description here

    尝试将None与$.pagin.next.link一起使用,但仍仅获得第一组记录

    0 回复  |  直到 2 年前
        1
  •  0
  •   Rakesh Govindula    2 年前

    我尝试了一个示例RESTneneneba API,并在输出JSON文件中得到了预期的结果。

    enter image description here

    您的REST API示例JSON导致无效的JSON。确保在分页规则中给出了正确的下一个链接路径。

    如果问题仍然存在,我建议您提出 support request

    如果您知道页面总数,那么您可以尝试以下方法作为解决方法。

    • 使用以下组合 For Each和copy活动 (JSON将在每次迭代中从每个页面复制到一个JSON文件)以获得单独的JSON文件。
    • ForEach之后使用另一个 接收器中具有合并选项的复制活动 将这些文件合并为一个JSON文件。