Redis: mostra la dimensione / dimensione del database per le chiavi

La mia istanza di redis sembra diventare molto grande e mi piacerebbe scoprire quale dei molteplici database che ho al suo interno consuma quanta memoria. Il INFOcomando di Redis mi mostra solo la dimensione totale e il numero di chiavi per database, il che non mi dà molte informazioni ... Quindi qualsiasi strumento / idea che mi dia più informazioni durante il monitoraggio del server redis sarebbe apprezzato.

La documentazione di Redis non mi mostra alcun comando che possa restituire la memoria consumata di alcune chiavi, quindi immagino che se un codice difettoso scrivesse un sacco di "spazzatura" in redis, questo potrebbe essere davvero difficile da trovare ...

Quindi la mia soluzione al mio problema: dopo aver giocato redis-cliun po 'più a lungo ho scoperto che DEBUG OBJECT <key>rivela qualcosa come il serializedlengthtasto of, che in realtà era qualcosa che stavo cercando ...

Per un intero database è necessario aggregare tutti i valori per i KEYS *quali non dovrebbe essere troppo difficile con un linguaggio di scripting di propria scelta ...

La cosa brutta è che redis.io non ha davvero molte informazioni su DEBUG OBJECT.

La soluzione dai commenti merita la sua risposta:

redis-cli --bigkeys

MEMORY USAGE key comando fornisce il numero di byte che una chiave e il suo valore richiedono per essere memorizzati nella RAM.

L'utilizzo riportato è il totale delle allocazioni di memoria per i dati e i costi amministrativi richiesti da una chiave per il suo valore (documentazione redis sorgente)

Dai un'occhiata a questo progetto che fornisce alcune statistiche interessanti sugli spazi delle chiavi basate su regex e prefissi. Usa il DEBUG OBJECTcomando e scansiona il db, identificando gruppi di chiavi e stimando la percentuale di spazio che stanno occupando.

https://github.com/snmaynard/redis-audit

L'output è simile a questo:

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

O questo questo: https://github.com/sripathikrishnan/redis-rdb-tools che esegue un'analisi completa sull'intero keyspace analizzando un file dump.rdb offline. Anche questo funziona bene. Può darti la dimensione media / min / max per le voci nel tuo database e lo farà anche in base a un prefisso.

Potresti trovare molto utile campionare le chiavi Redis e raggrupparle per tipo. Salvatore ha scritto uno strumento chiamato redis-sampler che emette circa 10000 RANDOMKEYcomandi seguiti da una TYPEchiave richiamata. In pochi secondi o minuti, dovresti ottenere una visione abbastanza accurata della distribuzione dei tipi di chiavi.

Ho scritto un'estensione (sfortunatamente non da nessuna parte open source perché è correlata al lavoro), che aggiunge un po 'di introspezione dei nomi delle chiavi tramite regex che ti danno un'idea di quali tipi di chiavi dell'applicazione (in base alla struttura dei nomi che stai using), vengono archiviati in Redis. Combinato con l'output più generale di redis-sampler, questo dovrebbe darti un'idea estremamente buona di cosa sta succedendo.

Forse puoi fare qualche introspezione sul file db. Il protocollo è relativamente semplice (ma non ben documentato), quindi potresti scrivere un parser per determinare quali singole chiavi occupano molto spazio.

Nuovi suggerimenti:

Hai provato a usare MONITORper vedere cosa viene scritto, dal vivo? Forse puoi trovare il problema con i dati in movimento.

È possibile utilizzare l'applicazione .net https://github.com/abhiyx/RedisSizeCalculator per calcolare la dimensione della chiave redis,

Non esitare a fornire il tuo feedback per lo stesso

Di solito preferisco il metodo di campionamento chiave per risolvere tali scenari.

redis-cli -p 6379 -n numero_db --bigkeys

Per esempio:-

redis-cli -p 6370 -n 0 --bigkeys

Che ne dici di redis-cli get KEYNAME | wc -c