代码之家 › 专栏 › 技术社区 › Datageek

google cloud pub/sub to bigquery模板主题订阅

google-cloud-pubsub google-cloud-dataflow

Datageek · 技术社区 · 6 年前

创建新的数据流pub/sub to bigquery模板时,可以指定pub sub topic . 似乎没有办法提供现有的pubsub subscription ,而数据流模板每次运行时都创建一个新的订阅。

就我所了解的pubsub模型而言,确保我们继续从主题中的同一位置读取数据的唯一方法是重用相同的订阅,这里似乎没有这样的选项。

当用户想要重新部署这样的数据流模板时会发生什么?部署之间是否会丢失所有数据?

1 回复 | 直到 6 年前

Lefteris S Mikhail Berlyant 6 年前

没错,Google提供的pub/sub-to-bigquery模板不支持将订阅作为参数传递( here 这是谷歌确认这一点的老答案)。但是,应该可以很容易地对其进行编辑。你只需要更换 getInputTopic 用一个 getSubscription 当量。反过来,这应该传递给 PubsubIO.readMessagesWithAttributes().fromSubscription (options.getSubscription()) 方法(见) here )而不是 fromTopic . 在创建新的销售漏斗后,您需要创建并准备 template .

推荐文章

Prof. Falken · 在CSV中读取时,Tensorflow错误“UnimplementedError:不支持将字符串转换为浮点”

7 年前

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

7 年前

Paolo Ciarrocchi · 使用GCP模板将云存储文本转换为BigQuery

7 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

7 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

7 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

7 年前

Henry Chen · 使用数据流从计算引擎读取数据

7 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

7 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

7 年前

ShubhamR · 如何将Pcollection<String>变量转换为字符串

7 年前