giorni di calcolo fino a quando il disco è pieno

Usiamo la grafite per tenere traccia della cronologia dell'utilizzo del disco nel tempo. Il nostro sistema di allerta esamina i dati dalla grafite per avvisarci quando lo spazio libero scende al di sotto di un certo numero di blocchi.

Vorrei ricevere avvisi più intelligenti: quello che mi interessa davvero è "quanto tempo devo prima di dover fare qualcosa per lo spazio libero?", Ad esempio se la tendenza mostra che tra 7 giorni finirò il disco spazio quindi genera un avviso, se è inferiore a 2 giorni, genera un errore.

L'interfaccia del dashboard standard di Graphite può essere piuttosto intelligente con i derivati ​​e le bande di Holt Winters Confidence, ma finora non ho trovato il modo di convertirlo in metriche utilizzabili. Sto anche bene a sgranocchiare i numeri in altri modi (basta estrarre i numeri grezzi dalla grafite ed eseguire uno script per farlo).

Una complicazione è che il grafico non è fluido: i file vengono aggiunti e rimossi, ma la tendenza generale nel tempo è quella di aumentare l'utilizzo dello spazio su disco, quindi forse è necessario esaminare i minimi locali (se si guarda alla metrica "disco libero" ) e tracciare una tendenza tra i trogoli.

Qualcuno l'ha fatto?

Sinceramente "Days Until Full" è comunque una metrica pessima: i filesystem diventano davvero stupidi quando si avvicinano al 100% di utilizzo.
Consiglio vivamente di usare le soglie tradizionali dell'85%, 90%, 95% (avvertenza, allarme e critiche-che-hai-bisogno-di-riparare-questo-ORA, rispettivamente) - questo dovrebbe darti un sacco di tempo di avviso sui dischi moderni (diciamo un'unità da 1 TB: l'85% di un terabyte ti lascia ancora molto spazio ma sei consapevole di un potenziale problema, del 90% dovresti pianificare un'espansione del disco o qualche altra mitigazione e al 95% di un terabyte hai ancora 50 GB e dovresti avere una soluzione in movimento).

Questo assicura anche che il tuo filesystem funzioni più o meno in modo ottimale: ha un sacco di spazio libero per gestire la creazione / modifica / spostamento di file di grandi dimensioni.

Se i tuoi dischi non sono moderni (o se il tuo modello di utilizzo prevede che una quantità maggiore di dati venga lanciata sul disco) puoi facilmente regolare le soglie.

Se sei ancora impostato sull'uso di una metrica "giorni fino al completo", puoi estrarre i dati dalla grafite e fare dei calcoli su di essa. Gli strumenti di monitoraggio di IBM implementano metriche di alcuni giorni fino al completo che possono darti un'idea di come implementarlo, ma fondamentalmente stai prendendo il tasso di cambiamento tra due punti della storia.

Per motivi di sanità mentale potresti usare la derivata dalla grafite (che ti darà il tasso di variazione nel tempo) e proiettarla usando quella, ma se vuoi VERAMENTE avvisi "più intelligenti" ti suggerisco di usare la velocità di variazione giornaliera e settimanale (calcolata in base al picco di utilizzo per il giorno / settimana).

La proiezione specifica che si utilizza (il più piccolo tasso di variazione, il più grande tasso di variazione, il tasso medio di variazione, la media ponderata, ecc.) Dipende dal proprio ambiente. Gli strumenti di IBM offrono così tanti punti di vista diversi, perché è davvero difficile definire un modello di taglia unica.

Alla fine nessun algoritmo sarà molto bravo a fare il tipo di calcolo che desideri. L'utilizzo del disco è guidato dagli utenti e gli utenti sono l'antitesi del modello di Rational Actor: tutte le tue previsioni possono uscire dalla finestra con una persona pazza che decide che oggi è il giorno in cui eseguiranno un dump della memoria di sistema completo per il loro home directory. Solo perché.

Di recente abbiamo implementato una soluzione personalizzata per questo usando la regressione lineare.

Nel nostro sistema la fonte principale di esaurimento del disco sono i file di registro vaganti che non vengono ruotati.

Poiché questi crescono in modo molto prevedibile, possiamo eseguire una regressione lineare sull'utilizzo del disco (ad es. z = numpy.polyfit(times, utilization, 1)) , Quindi calcolare il segno del 100% dato il modello lineare (ad es. (100 - z[1]) / z[0])

Gli sguardi di implementazione distribuiti come questo con il rubino e GSL, ThoughtWorks NumPy abbastanza bene troppo.

Fornendo questo valore di una settimana di dati di utilizzo medio a intervalli di 90 minuti (112 punti) è stato in grado di individuare i probabili candidati all'esaurimento del disco senza troppo rumore finora.

La classe in sintesi è racchiusa in una classe che estrae i dati dallo scout, avvisa per allentarsi e invia alcuni dati di telemetria di runtime a statsd. Lascio fuori quel pezzo dato che è specifico per la nostra infrastruttura.