代码之家 › 专栏 › 技术社区 › Tia

气流集成与BgQuery错误

apache-airflow airflow google-bigquery pandas python

Tia · 技术社区 · 7 年前

我安装了airflow,并编写了一个DAG来将MySQL数据与BigQuery集成。

运行python脚本时,出现以下错误:

导入错误:无法导入名称GbqConnector

我按照指示将熊猫降级为旧版本。当我这样做时,我得到了一个不同的错误:

导入错误:无法导入名称\u test\u google\u api\u导入

编辑:来自的建议 X97芯工作正常。

我现在有一个不同的问题。我收到以下错误:

/usr/local/lib/python2.7/dist-packages/airfolution/models。py:1927:PendingDeprectionWarning:传递给MySQLDogleCloudStorageOperator的参数无效。气流2.0将不再支持传递此类参数。无效参数为:

*参数:()

**kwargs:{'google\u cloud\u storage\u connn\u id':'podioGCPConnection'} 类别=PendingDeprectionWarning

/usr/local/lib/python2.7/dist-packages/airfolution/models。py:1927:PendingDeprectionWarning:传递给GoogleCloudStorageToBigQueryOperator的参数无效。气流2.0将不再支持传递此类参数。无效参数为:

*参数:()

**kwargs:{'project\u id':'podio data'} 类别=PendingDeprectionWarning

根据此链接,问题在于气流与python2和pythn3的兼容性。我已经尝试在这两个服务器上运行代码,但仍然出现相同的错误。 Airflow mysql to gcp Dag error

有人知道有没有解决办法吗?

2 回复 | 直到 7 年前

x97Core 7 年前

刚刚遇到这个问题。

降级pandas版本似乎可行(在Airflow v1.8.0上测试):

pip install pandas==0.18.1

有关更多详细信息: https://issues.apache.org/jira/browse/AIRFLOW-1179

或者,如果您使用的是气流1.8.2或更高版本。

pip install pandas-gbq

Richard Rublev 7 年前

这可能有点复杂。我建议您阅读这两个精彩的链接

https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow

和Van Boxel的中型

https://medium.com/google-cloud/airflow-for-google-cloud-part-1-d7da9a048aa4

推荐文章

Bovard · 我们需要什么文件格式通过airflow中的管理员上传变量?

7 年前

Alberto C. · 如何在EmailOperator任务的文件名中添加模板变量?(气流)

7 年前

aaron · 将airflow scheduler作为守护进程运行时出现的问题

7 年前

gpk27 · 如何使用气流获取和处理mysql记录?

7 年前

Somasundaram Sekar · 气流:PythonOperator的python\u可调用的外部python

7 年前

Omer · Apache气流分布式处理

7 年前

aaron · 如何明确声明气流连接的字符集=utf8

7 年前

Dhruv Kapur · 部署如何与气流协同工作?

7 年前