Ho un host di produzione, di seguito:

Il sistema utilizza 1 GB di swap, pur mantenendo quasi 40 GB di spazio di memoria libero e inutilizzato. Dovrei essere preoccupato per questo, o è per lo più normale?

Questo non è un problema ed è probabilmente normale. Un sacco di codice (e possibilmente dati) viene utilizzato molto raramente, quindi il sistema lo scambia per liberare memoria.

Lo scambio è principalmente un problema solo se la memoria viene scambiata continuamente dentro e fuori. È quel tipo di attività che uccide le prestazioni e suggerisce un problema altrove nel sistema.

Se vuoi monitorare la tua attività di swap puoi farlo con diverse utility ma di vmstatsolito è abbastanza utile, ad es

$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 348256  73540 274600    0    0     1     9    9    6  2  0 98  0  0
 0  0      0 348240  73544 274620    0    0     0    16   28   26  0  0 100  0  0
 0  0      0 348240  73544 274620    0    0     0     0   29   33  0  0 100  0  0
 0  0      0 348240  73544 274620    0    0     0     0   21   23  0  0 100  0  0
 0  0      0 348240  73544 274620    0    0     0     0   24   26  0  0 100  0  0
 0  0      0 348240  73544 274620    0    0     0     0   23   23  0  0 100  0  0

Ignora la prima riga in quanto attività dall'avvio del sistema. Nota le colonne sie sosotto ---swap--; dovrebbero generalmente essere cifre abbastanza piccole se non 0 per la maggior parte del tempo.

Vale anche la pena ricordare che questo scambio preventivo può essere controllato con un'impostazione del kernel. Il file in /proc/sys/vm/swappinesscontiene un numero compreso tra 0 e 100 che indica al kernel quanto è aggressivo lo scambio di memoria. Controlla il file per vedere a cosa è impostato. Per impostazione predefinita, la maggior parte delle distribuzioni Linux impostano questo valore su 60, ma se non si desidera vedere alcuno scambio prima che la memoria sia esaurita, inserire uno 0 nel file in questo modo:

echo 0 >/proc/sys/vm/swappiness

Questo può essere reso permanente aggiungendo

vm.swappiness = 0

a /etc/sysctl.conf.

Linux scriverà preventivamente le pagine sul disco se non ha niente di meglio da fare. Ciò non significa che sfratterà quelle pagine dalla memoria, però. È solo che nel caso in cui debba sfrattare quelle pagine in futuro, non ha bisogno di aspettare che vengano scritte su disco, perché sono già lì.

Dopotutto, il motivo per cui stai esaurendo la memoria, è probabilmente perché la tua macchina sta già lavorando sodo, non vuoi caricarla ulteriormente con lo scambio. Meglio fare lo scambio quando la macchina non sta facendo nulla.

Per un motivo simile, la tua memoria dovrebbe essere sempre piena. Pagine di memoria, cache del filesystem tmpfs, ci sono così tante cose che potrebbero essere conservate in memoria. Davvero, dovresti preoccuparti se la tua memoria è vuota; dopotutto, hai pagato un sacco di soldi (almeno rispetto alla stessa quantità di spazio su disco), quindi è meglio usarlo!

Lo swap utilizzato non è male, ma molta attività di swap lo è

  vmstat 1
  procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
  6  0 521040 114564   6688 377308    8   13   639   173    0 1100  5  4 90  0
  1  0 521040 114964   6688 377448    0    0   256     0    0 1826  3  4 94  0
  0  0 521040 115956   6688 377448    0    0     0     0    0 1182  7  3 90  0
  0  0 521036 115992   6688 377448    4    0    16     0    0 1154 10  2 88  0
  3  0 521036 114628   6696 377640    0    0   928   224    0 1503 15 17 67  1

La colonna di swapd non è affatto un problema. Valori diversi da zero sulle colonne si e quindi sono mortali per le prestazioni del server. Soprattutto quelli con molta RAM.

È meglio disabilitare lo swapinness su macchine con diversi GB di RAM:

sysctl -w vm.swappiness=0

Ciò non disabiliterà lo scambio. Indica a Linux solo di utilizzare lo swap come ultima risorsa. Ciò sprecherà alcuni MB di programmi che non devono essere nella RAM ... Ma è preferibile scambiare il gonfiore delle code di accesso al disco.

Modifica 1: perché il valore predefinito di swapiness non è ottimale

Dobbiamo ricordare due decenni fa che un grande 486 aveva solo 32 Mb di RAM. Gli algoritmi di swap sono stati sviluppati quando l'intera RAM poteva essere spostata sul disco in una piccola frazione di secondo. Anche con i dischi più lenti di quel tempo. Questo è il motivo per cui i criteri di scambio predefiniti sono così aggressivi. La RAM era il collo di bottiglia in quei giorni. Da allora la dimensione della RAM è aumentata di oltre 10.000 volte e la velocità del disco è inferiore a 10 volte. Ciò ha spostato il collo di bottiglia sulla larghezza di banda del disco.

Modifica 2: perché l'attività è così letale per i server?

Si e così l' attività su macchine con tonnellate di RAM è mortale perché significa che il sistema sta combattendo con se stesso per la RAM. Quello che succede è che i dischi, anche i grandi archivi sono troppo lenti rispetto alle RAM. Lo scambio aggressivo favorisce la cache del disco del kernel rispetto ai dati dell'applicazione ed è la fonte più comune di lotta per la RAM. Poiché il sistema operativo dovrà liberare la cache del disco su ogni si , il tempo necessario per vivere la cache aggiuntiva fornita dallo swap è troppo basso per essere comunque utile. Il risultato è che stai prendendo la larghezza di banda del disco per memorizzare la cache che probabilmente non verrà utilizzata e mettere in pausa i tuoi programmi in attesa delle pagine si . Ciò significa che consuma molte risorse critiche con scarsi o nulli vantaggi per le applicazioni.

Nota il titolo della risposta "molta attività di scambio su server con molta RAM". Questo non si applica alle macchine con si occasionale e quindi attività. Ciò potrebbe non applicarsi in futuro se nei sistemi operativi vengono sviluppati algoritmi di scambio più intelligenti.

Modifica 3: pagine "fredde"

Le persone romanticizzano l'algoritmo di scambio. Alcuni dicono "richiede meno pagine della RAM utilizzate", ma questo non è affatto ciò che fa il kernel. La cosa che è difficile da capire su swap è che il kernel non sa cosa sia una "pagina fredda". Il kernel non ha una buona metrica per determinare se la pagina viene utilizzata o probabilmente verrà utilizzata nel prossimo futuro. Per evitare che il kernel inserisca le pagine nello scambio più o meno in modo casuale e le pagine non necessarie restano lì. Il problema di quell'algoritmo è che le pagine devono andare allo scambio per sapere se sono necessarie per le applicazioni. E questo significa che molte pagine "calde" andranno allo scambio. Il problema è che i dischi sono troppo dannatamente lenti rispetto alla RAM.

Ho costruito il mio benchmark che è uno scenario realistico molto comune a molte applicazioni con un volume decente. Dai miei test, non ho riscontrato alcun vantaggio sulla velocità effettiva o sulla latenza quando sono in uso gli swap. Lontano da esso. Quando si avvia lo scambio, questo rallenta la velocità effettiva e la latenza di almeno un ordine di grandezza.

Vado un po 'oltre a questo: capisco che lo swap non è per l'elaborazione. Gli swap sono solo per le emergenze. Quei momenti in cui troppe applicazioni sono in esecuzione contemporaneamente e si ottiene un picco di memoria. Senza scambio ciò causerebbe errori di memoria insufficiente. Considero l'utilizzo dello swap un fallimento dei team di sviluppo e produzione. Questa è solo un'opinione che va ben oltre ciò di cui abbiamo discusso qui, ma è quello che penso. Naturalmente le mie applicazioni hanno un'eccellente gestione della memoria da sole.

Questa non è una risposta alla tua domanda; ma piuttosto, solo informazioni extra per aiutarti a prendere una decisione informata.

Se desideri sapere quali processi utilizzano specificamente la quantità di scambio, ecco un piccolo script di shell:

#!/bin/bash

set -o posix
set -u

OVERALL=0
for DIR in `find /proc/ -maxdepth 1 -type d -regex "^/proc/[0-9]+"` ; do
  PID=`echo $DIR | cut -d / -f 3`
  PROGNAME=`ps -p $PID -o comm --no-headers`

  SUM=0
  for SWAP in `grep Swap $DIR/smaps 2>/dev/null| awk '{ print $2 }'` ; do
    let SUM=$SUM+$SWAP
  done
  echo "PID=$PID - Swap used: $SUM - ($PROGNAME )"

  let OVERALL=$OVERALL+$SUM
done
echo "Overall swap used: $OVERALL"

Vorrei anche aggiungere che anche tmpfs cambierà. Questo è più comune sui moderni sistemi Linux che usano systemd che creano sovrapposizioni di spazio utente / tmp usando tmpfs.

Ho notato che la replica di MySQL Cluster rallenta o fallisce quando gli agenti si scambiano pesantemente. Forse ad alcune applicazioni non importa o magari beneficiano di alcuni scambi, ma i database sembrano davvero soffrirne. Tuttavia, molte discussioni che ho visto nei forum parlano di swap decontestualizzati dalla specifica discussione sul carico di lavoro.

Nel mondo DBA il consenso sembra essere che "È logico che quando si esegue MySQL (o realmente qualsiasi altro DBMS) non si desidera vedere alcun I / O nel proprio spazio di swap. Ridimensionamento della dimensione della cache (usando innodb_buffer_pool_size nel caso di MySQL) è una pratica standard per assicurarsi che ci sia abbastanza memoria libera, quindi non è necessario lo scambio.

Ma cosa succede se si commette un errore o un errore di calcolo e lo scambio avviene? Quanto influisce davvero sulle prestazioni? Questo è esattamente ciò che ho deciso di indagare. "

Spero che i lettori troveranno i seguenti collegamenti a proposito.

https://www.percona.com/blog/2017/01/13/impact-of-swapping-on-mysql-performance/

https://www.percona.com/blog/2010/01/18/why-swapping-is-bad-for-mysql-performance/