Esiste una libreria di cache Python?

Sto cercando una libreria di memorizzazione nella cache Python ma non riesco a trovare nulla finora. Ho bisogno di un'interfaccia semplice in dictcui posso impostare le chiavi e la loro scadenza e ripristinarle nella cache. Una specie di qualcosa come:

cache.get(myfunction, duration=300)

che mi darà l'elemento dalla cache se esiste o chiamerà la funzione e lo memorizzerà se non lo è o è scaduto. Qualcuno sa qualcosa di simile?

Dai un'occhiata a Beaker:

• Home Page
• Documentazione sulla memorizzazione nella cache
• Buon articolo di avvio rapido sull'utilizzo di Beaker con Django (ma utile anche in qualsiasi altra app)

Da Python 3.2 puoi usare decorator @lru_cache dalla libreria functools. È una cache utilizzata per ultimo di recente, quindi non c'è tempo di scadenza per gli elementi in essa contenuti, ma come hack veloce è molto utile.

from functools import lru_cache

@lru_cache(maxsize=256)
def f(x):
  return x*x

for x in range(20):
  print f(x)
for x in range(20):
  print f(x)

Potresti anche dare un'occhiata al decoratore Memoize . Probabilmente potresti farlo fare quello che vuoi senza troppe modifiche.

Joblib https://joblib.readthedocs.io supporta le funzioni di caching nel pattern Memoize. L'idea è principalmente quella di memorizzare nella cache funzioni costose dal punto di vista computazionale.

>>> from joblib import Memory
>>> mem = Memory(cachedir='/tmp/joblib')
>>> import numpy as np
>>> square = mem.cache(np.square)
>>> 
>>> a = np.vander(np.arange(3)).astype(np.float)
>>> b = square(a)                                   
________________________________________________________________________________
[Memory] Calling square...
square(array([[ 0.,  0.,  1.],
       [ 1.,  1.,  1.],
       [ 4.,  2.,  1.]]))
___________________________________________________________square - 0...s, 0.0min

>>> c = square(a)

Puoi anche fare cose fantasiose come usare il decoratore @ memory.cache sulle funzioni. La documentazione è qui: https://joblib.readthedocs.io/en/latest/generated/joblib.Memory.html

Nessuno ha ancora menzionato lo scaffale. https://docs.python.org/2/library/shelve.html

Non è memorizzato nella cache, ma sembra molto più semplice e potrebbe soddisfare le tue esigenze.

Penso che l'API memcached di python sia lo strumento prevalente, ma non l'ho usato da solo e non sono sicuro che supporti le funzionalità di cui hai bisogno.

import time

class CachedItem(object):
    def __init__(self, key, value, duration=60):
        self.key = key
        self.value = value
        self.duration = duration
        self.timeStamp = time.time()

    def __repr__(self):
        return '<CachedItem {%s:%s} expires at: %s>' % (self.key, self.value, time.time() + self.duration)

class CachedDict(dict):

    def get(self, key, fn, duration):
        if key not in self \
            or self[key].timeStamp + self[key].duration < time.time():
                print 'adding new value'
                o = fn(key)
                self[key] = CachedItem(key, o, duration)
        else:
            print 'loading from cache'

        return self[key].value



if __name__ == '__main__':

    fn = lambda key: 'value of %s  is None' % key

    ci = CachedItem('a', 12)
    print ci 
    cd = CachedDict()
    print cd.get('a', fn, 5)
    time.sleep(2)
    print cd.get('a', fn, 6)
    print cd.get('b', fn, 6)
    time.sleep(2)
    print cd.get('a', fn, 7)
    print cd.get('b', fn, 7)

Puoi usare la mia semplice soluzione al problema. È davvero semplice, niente di speciale:

class MemCache(dict):
    def __init__(self, fn):
        dict.__init__(self)
        self.__fn = fn

    def __getitem__(self, item):
        if item not in self:
            dict.__setitem__(self, item, self.__fn(item))
        return dict.__getitem__(self, item)

mc = MemCache(lambda x: x*x)

for x in xrange(10):
    print mc[x]

for x in xrange(10):
    print mc[x]

In effetti manca la funzionalità di scadenza, ma puoi facilmente estenderla specificando una regola particolare in MemCache c-tor.

Il codice Hope è abbastanza autoesplicativo, ma in caso contrario, solo per menzionare, che alla cache viene passata una funzione di traduzione come uno dei suoi parametri c-tor. Viene utilizzato a sua volta per generare l'output memorizzato nella cache relativo all'input.

Spero che sia d'aiuto

Prova redis, è una delle soluzioni più pulite e semplici per le applicazioni per condividere i dati in modo atomico o se hai qualche piattaforma di server web. È molto facile da configurare, avrai bisogno di un client Python Redis http://pypi.python.org/pypi/redis

Guarda gocept.cache su pypi, gestisci il timeout.

Questo progetto mira a fornire "Caching per gli esseri umani" (sembra che sia abbastanza sconosciuto però)

Alcune info dalla pagina del progetto:

Installazione

pip install cache

Uso:

import pylibmc
from cache import Cache

backend = pylibmc.Client(["127.0.0.1"])

cache = Cache(backend)

@cache("mykey")
def some_expensive_method():
    sleep(10)
    return 42

# writes 42 to the cache
some_expensive_method()

# reads 42 from the cache
some_expensive_method()

# re-calculates and writes 42 to the cache
some_expensive_method.refresh()

# get the cached value or throw an error
# (unless default= was passed to @cache(...))
some_expensive_method.cached()

Guarda bda.cache http://pypi.python.org/pypi/bda.cache - usa ZCA ed è testato con zope e bfg.

keyring è la migliore libreria di cache di Python. Puoi usare

keyring.set_password("service","jsonkey",json_res)

json_res= keyring.get_password("service","jsonkey")

json_res= keyring.core.delete_password("service","jsonkey")