代码之家 › 专栏 › 技术社区 › Nivi

RDD Json文件处理

rdd google-bigquery pyspark json

Nivi · 技术社区 · 8 年前

我在Pyspark上使用以下代码从bigquery导入数据:

table_data = sc.newAPIHadoopRDD(
    'com.google.cloud.hadoop.io.bigquery.JsonTextBigQueryInputFormat',
    'org.apache.hadoop.io.LongWritable',
    'com.google.gson.JsonObject',
    conf=conf)

输出是RDD框架,但数据采用json格式:

[(0, u'{"colA":"Value1,Value4"}'), (52, u'{"colA":"Value2"}')]

我需要提取所有 价值观 以RDD格式。一个主要问题是生成的RDD不应该为每个记录包含双引号。

必修的:

Value1,Value4
Value2

而不是:

"Value1,Value4"
"Value2"

2 回复 | 直到 8 年前

Willian Fuks 8 年前

根据我对你问题的理解,这就是你想要的:

import json
data = sc.parallelize([(0, u'{"colA":"Value1,Value4"}'), (52, u'{"colA":"Value2"}')])
data = data.map(lambda x: (json.loads(x[1])['colA']))
print(data.collect())

结果:

['Value1,Value4', 'Value2']

akuiper 8 年前

可能会加载 json 模块:

import json

table_data.map(lambda t: json.loads(t[1]).get("colA")).collect()
# [u'Value1,Value4', u'Value2']

推荐文章

Joe · 为什么这两个查询之间的性能存在如此大的差异?

2 年前

David542 · 除了显示其他字段

2 年前

Jamal Khan · 如何从Google大查询表中的大数据集中删除重复数据?

2 年前

ENRICO PEGORARO · R BigQuery:以拼花地板格式将数据导出到谷歌云存储

2 年前

user2707590 · 创建动态任务映射时,如何在BigQueryInsertJobOperator“params”中使用XComArg?

2 年前

KG1 · BigQuery-较大的查询在子查询抛出错误时执行

2 年前

Iren Ramadhan · 检查两个日期字段是否正好有一个月的间隔(相同日期)的逻辑,即2月28日和3月28日

2 年前

holzben · BigQuery `LIKE ANY`和`NOT LIKE ANY`

2 年前

NaiveBae · 如果我可以查询BigQuery表,但在资源管理器面板中找不到该表,我如何访问该表的元数据?

2 年前

Matt · BigQuery-当子查询不返回结果时,所有结果为零

2 年前