代码之家 › 专栏 › 技术社区 › coding

Pyspark-通过Synapse笔记本读取日志分析表

azure-log-analytics azure-synapse pyspark apache-spark azure

0

coding · 技术社区 · 2 年前

我正在尝试创建一个pyspark数据帧,从Synapse Notebook读取日志分析表。

我使用了这段代码,但没有成功:

df_lg_tb = spark.read.format("com.microsoft.kusto.spark.datasource") \
    .option("kustoCluster", "https://<workspace-id>.ods.opinsights.azure.com") \
    .option("kustoDatabase", "<my-log-analytics-database-name>") \
    .option("kustoQuery", "AzureActivity|take 10") \
    .option("kustoAADUserId", "<workspace-id>") \
    .option("kustoAADPassword", "<workspace-key>") \
    .load()

有人知道另一种连接方法吗?

谢谢!

0 回复 | 直到 2 年前

1

Rakesh Govindula 2 年前

在运行上述代码之前,请确保您已添加日志分析工作区连接

https://ade.loganalytics.io/subscriptions/<subscription_id>/resourcegroups/<resource_group_name>/providers/microsoft.operationalinsights/workspaces/<workspace_name>

到下面的库斯托星团。

enter image description here

检查您是否具有所有必需的权限和角色,并尝试运行上述代码。

如果这不起作用,您可以尝试以下方法作为解决方法。

使用Python SDK通过传递查询来读取表数据。通过这个 Documentation samples 了解它。
弗斯特 将日志分析表数据导出到存储帐户 然后 通过挂载从存储帐户读取数据到synapse笔记本 。请参阅此 blog by@ Shemer Steinlauf 详细步骤。