代码之家 › 专栏 › 技术社区 › Michael Ushakov

在gunicorn上运行django应用程序时,有什么更好的方法可以缓存数据

gunicorn caching django

Michael Ushakov · 技术社区 · 4 年前

我有一个django应用程序正在gunicorn应用服务器上运行。Gunicorn经营着一家工厂。我们知道每个工人都是一个独立的python进程。在我的一个应用程序服务中,我对一个数据库的查询需要很长时间(10-20秒)。

好吧,我决定缓存结果,所以只需添加 django.core.cache 打电话 cache.get(key) 若结果不是None,则应用程序从缓存返回数据,若不是,则调用服务并使用将数据存储在缓存中 cache.set(key, data, time) 但是,如果我们有N个workers,并且第一个查询被发送到worker 0,应用程序会将长期运行服务的结果存储在worker 0的缓存(进程内存)中,但是当类似的情况下(请求包含分页选项,但我会将整个RawDataSet存储在内存中,所以每个页面都会快速返回),请求按预期发送到worker 1缓存将无法工作,因为这是一个不同的进程。所以很明显,我必须使用一些可以被所有工人使用的缓存。

什么方法(即使用内存数据库或其他方法)更好地解决这个问题?

1 回复 | 直到 4 年前

Pablo Santa Cruz 4 年前

我将使用REDIS(内存数据库)存储SQL结果,并在N个工作人员之间共享它们。

Michael Ushakov 4 年前

我使用django redis包解决了这个问题,这个解决方案的主要优点是您不需要更改代码,仍然可以使用 cache.get() 和 cache.set() 来自django的函数。果心缓存您只需将特定于redis的缓存设置添加到设置文件中,如下所示:

CACHES = {
    'default': {
        'BACKEND': 'django_redis.cache.RedisCache',
        'LOCATION': 'redis://127.0.0.1:6379/12',
        'OPTIONS': {
            'CLIENT_CLASS': 'django_redis.client.DefaultClient'
        },
        'KEY_PREFIX': 'text_analyzer'
    }
}

推荐文章

jonnybolton16 · 当参数的顺序无关紧要时,我如何部署缓存?

1 年前

greenlagoon · 使用new创建的对象是否保证保留在相同的内存位置?如果是这样,新的放置方式是否可以最大限度地减少缓存丢失和碎片?

1 年前

GG33 · 在docker中缓存npm包

1 年前

Pomelooo · 注释@CachePut不起作用,但方法.put起作用

2 年前

Jackson Bakari · 使用Django中的密钥前缀从缓存中删除数据

2 年前

J W · 本地数据库加载图像,但内存无限增长,内存溢出-SwiftUI

2 年前

blonded04 · 读-修改-写操作是否保证在弱内存模型上读取(并返回)正确的旧值?

2 年前

A-ar · 为什么添加decorator@lru_cache(来自functools)会破坏这个函数?

2 年前

Yehuda · 用sha1[:10]或MD5进行哈希缓存,MD5更好吗?

2 年前

Cavalier Horsemanship · 正在获取crbug/1173575,不赞成使用非JS模块文件。脱机时尝试调用页面时

2 年前