代码之家 › 专栏 › 技术社区 › Tia

气流集成与BgQuery错误

apache-airflow airflow google-bigquery pandas python

Tia · 技术社区 · 8 年前

我安装了airflow,并编写了一个DAG来将MySQL数据与BigQuery集成。

运行python脚本时,出现以下错误:

导入错误:无法导入名称GbqConnector

我按照指示将熊猫降级为旧版本。当我这样做时,我得到了一个不同的错误:

导入错误:无法导入名称\u test\u google\u api\u导入

编辑:来自的建议 X97芯工作正常。

我现在有一个不同的问题。我收到以下错误:

/usr/local/lib/python2.7/dist-packages/airfolution/models。py:1927:PendingDeprectionWarning:传递给MySQLDogleCloudStorageOperator的参数无效。气流2.0将不再支持传递此类参数。无效参数为:

*参数:()

**kwargs:{'google\u cloud\u storage\u connn\u id':'podioGCPConnection'} 类别=PendingDeprectionWarning

/usr/local/lib/python2.7/dist-packages/airfolution/models。py:1927:PendingDeprectionWarning:传递给GoogleCloudStorageToBigQueryOperator的参数无效。气流2.0将不再支持传递此类参数。无效参数为:

*参数:()

**kwargs:{'project\u id':'podio data'} 类别=PendingDeprectionWarning

根据此链接,问题在于气流与python2和pythn3的兼容性。我已经尝试在这两个服务器上运行代码,但仍然出现相同的错误。 Airflow mysql to gcp Dag error

有人知道有没有解决办法吗?

2 回复 | 直到 8 年前

x97Core 8 年前

刚刚遇到这个问题。

降级pandas版本似乎可行(在Airflow v1.8.0上测试):

pip install pandas==0.18.1

有关更多详细信息: https://issues.apache.org/jira/browse/AIRFLOW-1179

或者,如果您使用的是气流1.8.2或更高版本。

pip install pandas-gbq

Richard Rublev 8 年前

这可能有点复杂。我建议您阅读这两个精彩的链接

https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow

和Van Boxel的中型

https://medium.com/google-cloud/airflow-for-google-cloud-part-1-d7da9a048aa4

推荐文章

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

10 月前

Cam · Pandas列表日期到日期时间

10 月前

jjkennedy · Pandas文本文件导入:当每个文件中存在多个表时,自动选择1个表

11 月前

Sun Jar · 在另一个系列中查找当前df值的索引,并将其添加到列中

11 月前

dietzi96 · Pandas DataFrame.to_sql随机和静默地失败,没有错误消息

11 月前

Bijan · Pandas批量更新帐户字符串

11 月前

Kernel · TypeError:Index.reindex()收到意外的关键字参数fill_value'

12 月前

Kernel · 进入熊猫的定义。系列super().reindex

1 年前

adventurous_chip_55 · 如何引爆柱子

1 年前

RKIDEV · Panda迭代行并将第n行值乘以下一(n+1)行值

1 年前