代码之家 › 专栏 › 技术社区 › Sinan Erdem

AWS胶水-是否使用爬行器

aws-glue pyspark apache-spark amazon-web-services

Sinan Erdem · 技术社区 · 7 年前

对于要在拼花格式的S3 bucket中的数据上运行的作业,有两种方法:

创建一个爬行器以创建架构表,使用 glueContext.create_dynamic_frame.from_catalog(dbname, tablename) 在粘合作业中形成动态框架。
直接从S3读取,使用 glueContext.create_dynamic_frame.from_options("s3", {"paths": [full_s3_path] }, format="parquet")

因为我的数据方案不会随着时间而改变,所以使用爬行器有什么好处吗(从性能上还是其他方面)?在这种情况下,我为什么需要一个爬行器?

1 回复 | 直到 7 年前

Yuriy Bondaruk 7 年前

如果数据未分区或不想使用 predicate-pushdown 这样你就不需要运行爬虫了。

但是,如果它是分区的,并且您希望能够使用谓词下推部分加载数据,那么新的分区应该注册到数据目录中,爬虫程序是最简单的方法之一(有 alternatives 虽然)

推荐文章

hallibut · Lambda功能不工作的SST热重新加载

1 年前

Tim · 在java中,有没有更快的方法将字节数组写入文件?

1 年前

Tom McLean · 如何使用证书管理器制作的证书在AWS上创建到mongodb实例的TLS/SSL连接?健康检查失败

1 年前

Nuñito Calzada · AWS SDK 1.12.780 Java版的凭据

1 年前

Sampgun · CDN调用与lambda调用的巨大差异

1 年前

Mario MateaÈ · 无法从Elastic Beanstalk的EC2实例访问外部MongoDB Atlas数据库

1 年前

Tiago · 如何允许从一个安全组到另一个组的所有流量?

2 年前

Ercan Koc · 使用EKS和RDS Aurora在My VPC中努力切换到IPv6

2 年前

Andrew · CloudWatch错误:规则JobFailureRule应在堆栈范围内创建,但找不到堆栈

2 年前

explorer · AWS SageMaker项目模板创建失败

2 年前