代码之家 › 专栏 › 技术社区 › lampShadesDrifter

gcp dataproc sqoop数据(或在上运行其他作业)是否可以从本地数据库?

google-cloud-dataproc

lampShadesDrifter · 技术社区 · 6 年前

gcp dataproc sqoop是否可以从本地数据库导入数据以放入gcp存储(不带gcp vpc)?

我们有一个远程Oracle数据库连接到 本地网络 通过VPN隧道,我们使用Hadoop集群通过 阿帕奇斯库普 . 希望用gcp dataproc cluster替换此进程以运行sqoop作业和gcp存储。发现这篇文章似乎在做类似的事情 Moving Data with Apache Sqoop in Google Cloud Dataproc ,但它假定用户 GCP专有网络 (我无意购买)。

所以我的问题是:

如果没有这个vpc连接,云dataproc集群是否知道如何使用 job submission API ?
如果是这样的话,这将如何工作(也许我对Hadoop作业如何工作/获取数据还不够了解)?
如果不是,还有别的办法吗?

0 回复 | 直到 6 年前

Igor Dvorzhak 6 年前

不使用 VPC/VPN 您将无法向本地数据库授予dataproc访问权限。

如果VPN更好地满足您的需求,您可以使用它而不是使用vpc: https://cloud.google.com/vpn/docs/

唯一的选择是将本地数据库打开到Internet,这样dataproc就可以在不使用vpc/vpn的情况下访问它,但这本身是不安全的。

推荐文章

Lejla · 在dataproc上找不到有效的SPARK\u主页

7 年前

Radhika · 使用Google Deployment Manager将配置单元表部署到Dataproc群集

7 年前

Nira · Dataproc依赖项冲突-google api客户端

7 年前

Matus Cimerman · 集群加密中的Google Dataproc

7 年前

Tom Lous · GCP Dataproc spark。罐子包发布下载依赖项

7 年前

artyomboyko · 无法创建dataproc群集

7 年前

bignano · 将数据从BigQuery和/或云存储GCS读取到Dataproc中

7 年前

charlesreid1 · PySpark通过Dataproc+SSL连接到云SQL

7 年前

seandavi · 在启动用于Jupyter笔记本电脑的Google DataProc集群时,我如何添加额外的JAR?

7 年前

santobedi · 这个错误的解决方案是什么,JBlas不是包或apache的成员?

7 年前