代码之家 › 专栏 › 技术社区 › Andrei

U-SQL从模式获取文件路径

azure-stream-analytics u-sql azure-data-lake azure

Andrei · 技术社区 · 7 年前

DECLARE @input_file string = @"\data\{*}\{*}\{*}.avro";

@filenames = SELECT filename
FROM @input_file;

@filtered = SELECT filename FROM @filenames WHERE {condition}

如果有可能的话。。。

1 回复 | 直到 7 年前

mabasile_MSFT 7 年前

方法是在文件集中定义虚拟列。然后,您可以提取和操作这些虚拟列,就像它们是从文件中提取的数据字段一样。例子:

DECLARE @input_file string = "/data/{_partition1}/{_partition2}/{filename}.avro";
@rowset = 
    EXTRACT column1     string,
            column2     int,
            columnN     string,
            _partition1 string,
            _partition2 int,
            _filename   string
     FROM @input_file
     USING <Avro extractor>

@filtered = 
    SELECT column1, column2, columnN, _partition1, _partition2, _filename
    WHERE  filename <your condition>

U-SQL甚至不会读取与WHERE子句不匹配的文件,从而节省了一些时间。(另外,虚拟列名中的下划线不是必需的,但它是一种有用的方法,可以记住哪些列来自文件,哪些列来自路径)。希望对你有帮助!

推荐文章

user1043144 · u-sql:筛选出空//空字符串(microsoft academic graph)

7 年前

Venkataraman R · U-SQL作业超时:JM没有及时检测信号

7 年前

Richard · 在两者之间加入U-SQL以创建每月结果

7 年前

Siddiqui Mind · 使用按需HD Insight群集从Azure datafactory V2访问datalake

7 年前

Fariha Abbasi · 如何通过Typescript REST调用将文件上载到Azure Data Lake

7 年前

Raghavendra Narayana · Azure表存储-数据湖文件-通过USQL获取单行Select语句时触发响应时间慢

7 年前

Nario · SSIS复制多个表

7 年前

Lee. YunSu · 如何使用Azure Blob存储连接到Azure Data Lake Analysis

7 年前

Chris B. Behrens · 数据湖中的表有什么意义?[已关闭]

7 年前

Anirudh Rayabharam · U-SQL视图并发读写

7 年前