代码之家 › 专栏 › 技术社区 › Langali

外部数据依赖的性能问题

quartz-scheduler web-services performance

Langali · 技术社区 · 17 年前

我有一个应用程序,它使用SOAP、REST服务或仅使用数据库存储过程与多个内部和外部源进行通信。显然,性能和稳定性是我正在处理的一个主要问题。即使在端点表现最佳的情况下,对于大型数据集,我也很容易看到需要10秒的调用。

虽然我的应用程序是数据的主要消费者和生产者,但一些数据也可以从我的应用程序外部更改,我无法控制。如果我使用缓存,当这些数据从应用程序外部更改时,我永远不知道何时使缓存无效。

因此,我认为我唯一的选择是运行一个作业调度器,以持续更新数据库。我可以根据用户登录和使用应用程序的频率对其进行优先级排序。

我只是在寻找一些不需要高维护的东西,并且至少可以加速一些不太复杂的子系统——如果不是大多数的话。有什么建议吗?

1 回复 | 直到 17 年前

John Saunders 17 年前

听起来您可能需要一个数据仓库。您可以根据任何必要的时间表从各种来源更新数据仓库。但是,所有只读事务都来自数据仓库,不需要立即调用各种外部源。

这假设您不需要实时访问最新的数据。即使您需要在过去一小时内从特定来源获得准确的数据,这也只意味着您需要每小时从该来源进行更新。

你还没有说你在使用什么平台。如果您使用的是SQLServer2005或更高版本,我建议您使用SQLServerIntegrationServices(SSIS)来更新数据仓库。它就是为这类事情做的。

当然,根据您的平台选择,可能有更合适的替代方案。

推荐文章

Sweepy Dodo · JSON lite的格式化

1 年前

Merlin Nestler · 为什么索引中的列顺序在这种情况下会产生如此大的影响?

1 年前

giantjenga · 优化整数向量到二进制向量的转换

1 年前

Adriaantje · Powershell版本的cut-d在处理大文件时速度很慢,我是否错过了快速的方法?

1 年前

Costinean Sebastian · 如何优化使用for循环处理大型数组的MATLAB脚本的执行时间?"

1 年前

Zegarek · Postgresql递归查询未提供预期结果

1 年前

Joe · 为什么这两个查询之间的性能存在如此大的差异?

1 年前

tic-toc-choc · 在`dplyr中高效使用列表进行过滤`

1 年前

Mohan · 是否有一种更快的方法来编写代码,从1:N中提取许多随机样本?

2 年前

user2980746 · 在C#字典中键入xyz对的最有效方法是什么?

2 年前