Scarse prestazioni IO - PCIe NVMe Samsung 950 pro

Ho appena finito una build hardware in attesa di un grande guadagno dal nuovo drive NVMe. Le mie prestazioni precedenti erano inferiori al previsto (~ 3 GB trasferiti), quindi ho sostituito la scheda madre / CPU / memoria / HDD. Mentre le prestazioni sono il doppio di quello che era , è ancora la metà di quello che ottengo sul mio macbook pro di 3 anni con un'unità SATA6.

• CPU: i7-5820k 6 core
• Mobo: MSI X99A MPOWER
• Memoria: 32 GB
• Unità: Samsung 950 pro NVMe PCIe

Ubuntu (confermato anche con 16.04.1 LTS):

Release:    15.10
Codename:   wily

4.2.0-16-generic

$ sudo blkid
[sudo] password for kross: 
/dev/nvme0n1p4: UUID="2997749f-1895-4581-abd3-6ccac79d4575" TYPE="swap"
/dev/nvme0n1p1: LABEL="SYSTEM" UUID="C221-7CA5" TYPE="vfat"
/dev/nvme0n1p3: UUID="c7dc0813-3d18-421c-9c91-25ce21892b9d" TYPE="ext4"

Ecco i miei risultati del test:

sysbench --test=fileio --file-total-size=128G prepare
sysbench --test=fileio --file-total-size=128G --file-test-mode=rndrw --max-time=300 --max-requests=0 run
sysbench --test=fileio --file-total-size=128G cleanup


Operations performed:  228000 Read, 152000 Write, 486274 Other = 866274 Total
Read 3.479Gb  Written 2.3193Gb  Total transferred 5.7983Gb  (19.791Mb/sec)
 1266.65 Requests/sec executed

Test execution summary:
    total time:                          300.0037s
    total number of events:              380000
    total time taken by event execution: 23.6549
    per-request statistics:
         min:                                  0.01ms
         avg:                                  0.06ms
         max:                                  4.29ms
         approx.  95 percentile:               0.13ms

Threads fairness:
    events (avg/stddev):           380000.0000/0.00
    execution time (avg/stddev):   23.6549/0.00

Lo scheduler è impostato su none:

# cat /sys/block/nvme0n1/queue/scheduler
none

Ecco le lspciinformazioni:

# lspci -vv -s 02:00.0
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd Device a802 (rev 01) (prog-if 02 [NVM Express])
    Subsystem: Samsung Electronics Co Ltd Device a801
    Physical Slot: 2-1
    Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0, Cache Line Size: 32 bytes
    Interrupt: pin A routed to IRQ 45
    Region 0: Memory at fb610000 (64-bit, non-prefetchable) [size=16K]
    Region 2: I/O ports at e000 [size=256]
    Expansion ROM at fb600000 [disabled] [size=64K]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
    Capabilities: [50] MSI: Enable- Count=1/8 Maskable- 64bit+
        Address: 0000000000000000  Data: 0000
    Capabilities: [70] Express (v2) Endpoint, MSI 00
        DevCap: MaxPayload 128 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
            ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
        DevCtl: Report errors: Correctable- Non-Fatal- Fatal- Unsupported-
            RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
            MaxPayload 128 bytes, MaxReadReq 512 bytes
        DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr+ TransPend-
        LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L0s <4us, L1 <64us
            ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk+
            ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
        LnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
        DevCap2: Completion Timeout: Not Supported, TimeoutDis+, LTR+, OBFF Not Supported
        DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-, LTR-, OBFF Disabled
        LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
             Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
             Compliance De-emphasis: -6dB
        LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+, EqualizationPhase1+
             EqualizationPhase2+, EqualizationPhase3+, LinkEqualizationRequest-
    Capabilities: [b0] MSI-X: Enable+ Count=9 Masked-
        Vector table: BAR=0 offset=00003000
        PBA: BAR=0 offset=00002000
    Capabilities: [100 v2] Advanced Error Reporting
        UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
        CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        AERCap: First Error Pointer: 00, GenCap+ CGenEn- ChkCap+ ChkEn-
    Capabilities: [148 v1] Device Serial Number 00-00-00-00-00-00-00-00
    Capabilities: [158 v1] Power Budgeting <?>
    Capabilities: [168 v1] #19
    Capabilities: [188 v1] Latency Tolerance Reporting
        Max snoop latency: 0ns
        Max no snoop latency: 0ns
    Capabilities: [190 v1] L1 PM Substates
        L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
              PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
    Kernel driver in use: nvme

hdparm:

$ sudo hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
 Timing O_DIRECT cached reads:   2328 MB in  2.00 seconds = 1163.98 MB/sec
 Timing O_DIRECT disk reads: 5250 MB in  3.00 seconds = 1749.28 MB/sec

hdparm -v:

 sudo hdparm -v /dev/nvme0n1

/dev/nvme0n1:
SG_IO: questionable sense data, results may be incorrect
 multcount     =  0 (off)
 readonly      =  0 (off)
 readahead     = 256 (on)
 geometry      = 488386/64/32, sectors = 1000215216, start = 0

fstab

UUID=453cf71b-38ca-49a7-90ba-1aaa858f4806 /               ext4    noatime,nodiratime,errors=remount-ro 0       1
# /boot/efi was on /dev/sda1 during installation
#UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1
# swap was on /dev/sda4 during installation
UUID=8f716653-e696-44b1-8510-28a1c53f0e8d none            swap    sw              0       0
UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1

fio

Questo ha alcuni parametri comparabili che è molto lontano. Quando ho provato con fio e disabilitato sync, è una storia diversa:

sync=1
1 job  - write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
7 jobs - write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec

sync=0
1 job  - write: io=8157.9MB, bw=139225KB/s, iops=34806, runt= 60001msec
7 jobs - write: io=32668MB, bw=557496KB/s, iops=139373, runt= 60004msec

Ecco i syncrisultati completi per un lavoro e 7 lavori:

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=1 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
fio-2.1.11
Starting 1 process
Jobs: 1 (f=1): [W(1)] [100.0% done] [0KB/2368KB/0KB /s] [0/592/0 iops] [eta 00m:00s]
journal-test: (groupid=0, jobs=1): err= 0: pid=18009: Wed Nov 18 18:14:03 2015
  write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
    clat (usec): min=1442, max=12836, avg=1643.09, stdev=546.22
     lat (usec): min=1442, max=12836, avg=1643.67, stdev=546.23
    clat percentiles (usec):
     |  1.00th=[ 1480],  5.00th=[ 1496], 10.00th=[ 1512], 20.00th=[ 1528],
     | 30.00th=[ 1576], 40.00th=[ 1592], 50.00th=[ 1608], 60.00th=[ 1608],
     | 70.00th=[ 1608], 80.00th=[ 1624], 90.00th=[ 1640], 95.00th=[ 1672],
     | 99.00th=[ 2192], 99.50th=[ 6944], 99.90th=[ 7328], 99.95th=[ 7328],
     | 99.99th=[ 7520]
    bw (KB  /s): min= 2272, max= 2528, per=100.00%, avg=2430.76, stdev=61.45
    lat (msec) : 2=98.44%, 4=0.58%, 10=0.98%, 20=0.01%
  cpu          : usr=0.39%, sys=3.11%, ctx=109285, majf=0, minf=8
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=36428/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=145712KB, aggrb=2428KB/s, minb=2428KB/s, maxb=2428KB/s, mint=60002msec, maxt=60002msec

Disk stats (read/write):
  nvme0n1: ios=69/72775, merge=0/0, ticks=0/57772, in_queue=57744, util=96.25%

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=7 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
...
fio-2.1.11
Starting 7 processes
Jobs: 6 (f=6): [W(2),_(1),W(4)] [50.4% done] [0KB/4164KB/0KB /s] [0/1041/0 iops] [eta 01m:00s]
journal-test: (groupid=0, jobs=7): err= 0: pid=18025: Wed Nov 18 18:15:10 2015
  write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec
    clat (usec): min=0, max=107499, avg=6828.48, stdev=3056.21
     lat (usec): min=0, max=107499, avg=6829.10, stdev=3056.16
    clat percentiles (usec):
     |  1.00th=[    0],  5.00th=[ 2992], 10.00th=[ 4512], 20.00th=[ 4704],
     | 30.00th=[ 5088], 40.00th=[ 6176], 50.00th=[ 6304], 60.00th=[ 7520],
     | 70.00th=[ 7776], 80.00th=[ 9024], 90.00th=[10048], 95.00th=[12480],
     | 99.00th=[15936], 99.50th=[18048], 99.90th=[22400], 99.95th=[23936],
     | 99.99th=[27008]
    bw (KB  /s): min=  495, max=  675, per=14.29%, avg=585.60, stdev=28.07
    lat (usec) : 2=4.41%
    lat (msec) : 2=0.57%, 4=4.54%, 10=80.32%, 20=9.92%, 50=0.24%
    lat (msec) : 250=0.01%
  cpu          : usr=0.14%, sys=0.72%, ctx=173735, majf=0, minf=63
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=61472/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=245888KB, aggrb=4097KB/s, minb=4097KB/s, maxb=4097KB/s, mint=60005msec, maxt=60005msec

Disk stats (read/write):
  nvme0n1: ios=21/122801, merge=0/0, ticks=0/414660, in_queue=414736, util=99.90%

Allineamento

Ho verificato l'allineamento parted, così come la matematica basata su http://www.intel.com/content/dam/www/public/us/en/documents/technology-briefs/ssd-partition-alignment-tech -brief.pdf

kross@camacho:~$ sudo parted
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) unit s                                                           
(parted) print all                                                        
Model: Unknown (unknown)
Disk /dev/nvme0n1: 1000215216s
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start       End          Size        File system     Name                                 Flags
 1      2048s       206847s      204800s     fat32           EFI system partition                 boot, esp
 2      206848s     486957055s   486750208s  ntfs                                                 msftdata
 3      486957056s  487878655s   921600s     ntfs                                                 hidden, diag
 4      590608384s  966787071s   376178688s  ext4
 5      966787072s  1000214527s  33427456s   linux-swap(v1)

kross@camacho:~$ sudo parted /dev/nvme0n1
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) align-check opt 1                                                
1 aligned
(parted) align-check opt 2
2 aligned
(parted) align-check opt 3
3 aligned
(parted) align-check opt 4
4 aligned
(parted) align-check opt 5
5 aligned

TLDR;

Sento di avere qualcosa di fondamentalmente impostato in modo errato, anche se la mia ricerca non ha prodotto nulla. Mi aspetto un throughput di circa 4 volte il mio MacBook Pro 3 anni con SATA6 e ne ottengo 1/2 con NVMe. Ho aggiunto noatime,nodiratimeche mi ha dato un piccolo miglioramento, ma niente come il 4x che mi aspetto. Ho ripartizionato / reinstallato un nuovo server 15.10 solo per essere sicuro di non avere nulla di persistente e di avere gli stessi risultati.

I miei fiorisultati sopra la sincronizzazione / nessuna sincronizzazione sono indicativi di un problema?

Quindi ho una lavagna pulita e posso provare qualsiasi cosa. Cosa posso provare per portare le mie prestazioni alla pari? Eventuali riferimenti sono benvenuti.

Grazie per la tua domanda, è stato incredibilmente utile per me.

Ho un'esperienza molto simile, configurazione hardware diversa (sto usando un SSD Intel NVMe). Ma sto anche eseguendo Ubuntu 16.04. Date le tue prove e un risultato simile trovato in questo articolo, ero convinto che il problema fosse dovuto al modo in cui Ubuntu stava configurando le unità NVMe.

Ero determinato a risolvere il problema senza rinunciare completamente a Ubuntu. Ma non importa quello che ho fatto, non sono stato in grado di ottenere velocità superiori a 2000 MB / sec durante i test con hdparm esattamente come descritto.

Così, ho fatto qualche scavo e ho trovato una guida fornita da Intel. Ho provato tutto ciò che hanno suggerito in questa guida e ho scoperto che una parte era diversa. Nella parte inferiore discute l'allineamento corretto delle partizioni dell'unità. Questa è l'unica parte che non corrisponde alla mia installazione. Il mio blocco iniziale non era divisibile per 4096 byte. Stava utilizzando una dimensione del settore di 512 byte anziché una dimensione del settore di 4k.

Abbastanza sicuro, ho formattato il disco per avviare la partizione ad un valore divisibile per 4096 e FINALMENTE sono stato in grado di rompere la velocità di 2000 MB / s.

In questo momento è in media 2,3 GB / s quando mi aspetto che sia un po 'più alto. Lo biasimo per il fatto che quando sudo fdisk -leseguo l'unità NVMe viene ancora mostrato con una dimensione del settore fisico di 512 byte. Ho intenzione di continuare a indagare ma spero che questo ti aiuti!

Attenzione: questa risposta è vecchia. A partire da Linux 4.19 blk_mq è lo scheduler predefinito . È molto probabile che il problema per il tuo SSD PCIe NVMe che esegue lentamente provenga altrove.

Risposta originale:

Per favore Aggiungi

scsi_mod.use_blk_mq=1

ai parametri di avvio del kernel, altrimenti non credo che vedrai i vantaggi della maggiore coda di comandi e comando per coda di NVMe.

Nota: so che è per Arch, ma potresti anche voler dare un'occhiata al Wiki per maggiori informazioni sull'ottimizzazione dell'I / O.

Questa discussione ha un anno (ottobre 2016). Una delle risposte più votate raccomanda un driver Intel NVMe di due anni (2015).

Nel febbraio 2017 Samsung ha rilasciato un aggiornamento del firmware che utilizza un programma di installazione ISO di avvio basato su Linux. Sullo stesso link ci sono driver che puoi installare per Windows 7/8/10. Presto installerò sia sul mio nuovo Samsung 960 Pro che sul nuovissimo laptop i7-6700 basato su Dell. Insieme al BIOS flashing e all'aggiornamento di altri driver basati su Dell.

Penso che sia importante rivisitare questi vecchi thread e fornire ai nuovi utenti collegamenti attuali (almeno dall'11 ottobre 2017) in modo che abbiano tutte le opzioni aperte.

Ci sono molte ricerche su Google restituite per rallentare le prestazioni di Samsung 960 Pro sotto Linux essendo la metà della velocità di Windows, quindi incoraggio tutti a cercare quante più opzioni possibili.

Dopo aver implementato il scsi_mod.use_blk_mq=1parametro kernel:

$ systemd-analyze
Startup finished in 7.052s (firmware) + 6.644s (loader) + 2.427s (kernel) + 8.440s (userspace) = 24.565s

Rimozione del parametro del kernel e riavvio:

$ systemd-analyze
Startup finished in 7.060s (firmware) + 6.045s (loader) + 2.712s (kernel) + 8.168s (userspace) = 23.986s

Quindi sembrerebbe ora che scsi_mod.use_blk_mq=1rende il sistema più lento non più veloce. Un tempo potrebbe essere stato utile però.

Ecco alcune informazioni interessanti: su Windows, l'unità non funziona secondo i benchmark di revisione fino a quando la cancellazione della cache non è disabilitata. Di solito questo non viene fatto direttamente; invece, è installato il driver del fornitore (in questo caso, il driver Samsung NVMe).

Se esegui il benchmark con il driver del fornitore e quindi disabiliti lo svuotamento della cache in Windows, otterrai gli stessi numeri. Ciò sarebbe improbabile se il fornitore non ignorasse lo svuotamento della cache.

Tradotto in Linux-land, ciò significa che su Windows, per ottenere i grandi numeri di riferimento che vedi in tutte le recensioni, devi disabilitare fsync, con tutto ciò che significa affidabilità (nessuna fsync, o specificamente, nessuna barriera di scrittura, significa che il potere la perdita al momento sbagliato potrebbe interrompere l'intero FS, a seconda dell'implementazione - le scritture riordinate creano situazioni "impossibili").

Gli SSD "data center" di Samsung sono dotati di condensatori per garantire il corretto svuotamento dei dati memorizzati nella cache. Questo non è il caso delle loro unità consumer.

Ho appena capito dai primi principi, dopo aver aggiunto un NVMe da 1 TB alla mia nuova build ieri. Non sono particolarmente felice e ho avviato il contatto con il supporto Samsung per vedere cosa dicono - ma dubito che risponderò.

Non posso ancora commentare, quindi devo rispondere. :-(

Non ho un'unità comparabile, ma immagino che i valori di hdparm siano a posto. In tal caso, suppongo che tu usi sysbench in modo non ottimale. Prova a sperimentare il parametro --num-thread per generare più carico sull'unità. Almeno sul mio computer la differenza tra 1 thread (impostazione predefinita) e 16 thread era di circa 1: 4 su un SSD SATA standard. La mia comprensione è che le unità NVMe iniziano a brillare più attività parallele stanno caricando su di esse.

La maggior parte degli SSD cadono piatti in faccia se sync = 1 (D_SYNC) flag. Sfortunatamente, questo è un problema ben noto per le riviste Ceph. Consulta questa pagina per ulteriori informazioni e un elenco di unità che funzionano bene con la sincronizzazione abilitata:

http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/

Il mio slot M.2 era limitato a 10 Mbps. Ho usato un adattatore PCIe per aggirare questa limitazione: https://www.amazon.com/Lycom-DT-120-M-2-PCIe-to-PCIe-3-0-x4-Adapter-Support-M-2 -PCIe-2280-2260-2242 / dp / B00MYCQP38 /

La tua scheda madre dice che è piena a 32 Mbps in entrambi i modi e forse è vero, ma ho pensato di menzionare l'adattatore perché ha funzionato per me (ho circa il doppio della velocità di inserimento nello slot M.2 integrato). Penso che fosse $ 25 e se hai già passato abbastanza tempo a giocherellare, questo potrebbe valere la pena provare.

Ho scritto della mia esperienza con la mia recensione su Amazon: https://www.amazon.com/gp/customer-reviews/R21BXILGXW4D9C/ref=cm_cr_arp_d_rvw_ttl?ie=UTF8&ASIN=B01639694M