代码之家 › 专栏 › 技术社区 › Vincent Chalmel

从pyspark写给cosmosdb永远不会成功也不会失败

azure-databricks databricks azure-cosmosdb pyspark apache-spark

1

Vincent Chalmel · 技术社区 · 7 年前

我正在使用pyspark/databricks从拼花地板文件到CosmosDB(documentdb api)的E.T.L数据。

在spark中的stderr中,有错误指出“{”errors“:[”请求的资源在服务器上不再可用。“]}”但它没有失败,只是循环。

我甚至不知道如何找到那里的问题。

writeConfigUL = {
    "Endpoint" : "",
    "Masterkey" : "",
    "Database" : "Database",
    "Collection" : "Collection",
    "WritingBatchSize" : 500,
    "Upsert" : "true"
}

以“覆盖”模式写入

0 回复 | 直到 7 年前