代码之家 › 专栏 › 技术社区 › Nagesh Singh Chauhan

在beamsql中实现行数

apache-beam

Nagesh Singh Chauhan · 技术社区 · 7 年前

我有以下疑问:

SELECT DISTINCT Summed, ROW_NUMBER () OVER (order by Summed desc) as Rank  from table1

我必须用apache beam(beamsql)编写它。以下是我的代码:

PCollection<BeamRecord> rec_2_part2 = rec_2.apply(BeamSql.query("SELECT DISTINCT Summed, ROW_NUMBER(Summed) OVER (ORDER BY Summed) Rank1 from PCOLLECTION "));

但我得到了以下错误:

原因:java.lang.unsupportedoperationexception:operator:row_number尚不受支持!

知道如何在beamsql中实现row_number()吗?

1 回复 | 直到 7 年前

Tim Biegeleisen 7 年前

下面是一种不用使用 ROW_NUMBER :

SELECT
    t1.Summed,
    (SELECT COUNT(*) FROM (SELECT DISTINCT Summed FROM table1) t2
     WHERE t2.Summed >= t1.Summed) AS Rank
FROM
(
    SELECT DISTINCT Summed
    FROM table1
) t1

基本思想是首先使用子查询来获得一个只有DISTINCT的表 Summed 价值观。然后,使用相关子查询来模拟行号。这不是一个非常有效的方法,但是如果 罗氏数 是不可用的,那你就只能选择了。

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

7 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

7 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

7 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

7 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

7 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

7 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

7 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

7 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

7 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

7 年前