寻找更好的架构从生产数据库生成报告

在我工作的公司里,我要做的工作之一是编写程序,利用生产数据库中存储的数据生成业务报告(例如,上个月访问我们网站的用户数)。

我们使用AWS lambda函数和复杂的MySQL查询来生成报表(.csv文件)。

这种架构有一些缺点:

1. MySQL查询通常很复杂。我是说他们包括很多 join 和子查询,这使得代码难以理解和维护。

2. 数据库架构更改后,某些查询可能无法工作。

3. AWSλ函数的最大超时时间为5分钟。当数据太大时,我们必须将一个lambda函数拆分为多个lambda函数。

如何使用其他Amazon web服务来解决这些问题?

我尝试过AWS Glue,但还没有找到一种简单的方法将复杂的MySQL查询转换为python脚本,以用于AWS Glue中的工作。

Amazon Athena只能处理存储在S3中的数据。它不能直接处理存储在Amazon RDS中的数据。