Sviluppo un nuovo sito Web e voglio utilizzare GridFS come archivio per tutti i caricamenti degli utenti, perché offre molti vantaggi rispetto a un normale archivio di file system.
I benchmark con GridFS servito da nginx indicano che non è veloce come un normale filesystem servito da nginx.
C'è qualcuno là fuori che utilizza GridFS già in un ambiente di produzione o lo userebbe per un nuovo progetto?
Risposte:
Uso gridfs al lavoro su uno dei nostri server che fa parte di un sito Web di confronto dei prezzi con statistiche di traffico onorevoli (circa 25k visitatori al giorno). Il server non ha molta RAM, 2gigs e persino la CPU non è molto veloce (Core 2 duo 1.8Ghz) ma il server ha molto spazio di archiviazione: 10Tb (sata) nella configurazione raid 0. Il lavoro che sta facendo il server è molto semplice:
Ogni prodotto sul nostro comparatore di prezzi ha un'immagine (ci sono circa 10 milioni di prodotti in base al db del nostro prodotto) e il compito dei server è scaricare l'immagine, ridimensionarla, memorizzarla su gridfs e consegnarla al browser dei visitatori. .. se non è presente nella griglia ... oppure ... consegnalo al browser dei visitatori se è già memorizzato nella griglia. Quindi, questo potrebbe essere definito come uno "schema cdn tradizionale".
Abbiamo archiviato ed elaborato 4 milioni di immagini su questo server da quando è attivo e funzionante. Il ridimensionamento e l'archiviazione delle cose vengono eseguiti da un semplice script php ... ma di sicuro, uno script python o qualcosa come java potrebbe essere più veloce.
Dimensione dati corrente: 11,23 g
Dimensioni di archiviazione attuali: 12,5 g
Indici: 5
Dimensione dell'indice: 849,65 m
Circa l'affidabilità: questo è molto affidabile. Il server non si carica, la dimensione dell'indice è ok, le query sono veloci
Circa la velocità: Di sicuro, non è veloce come l'archiviazione di file locali, forse il 10% più lento, ma abbastanza veloce da essere utilizzato in tempo reale anche quando l'immagine deve essere elaborata, che nel nostro caso dipende molto da php. Anche i tempi di manutenzione e sviluppo sono stati ridotti: è diventato così semplice cancellare una o più immagini: basta interrogare il db con un semplice comando di cancellazione. Un'altra cosa interessante: quando abbiamo riavviato il nostro vecchio server, con l'archiviazione di file locale (quindi milioni di file in migliaia di cartelle), a volte si blocca per ore perché il sistema stava eseguendo un controllo dell'integrità dei file (questo ha davvero richiesto ore ...). Non abbiamo più questo problema con gridfs, le nostre immagini sono ora memorizzate in grandi blocchi mongodb (file da 2 GB)
Quindi ... nella mia mente ... Sì, gridfs è abbastanza veloce e affidabile da essere utilizzato per la produzione.
Come accennato, potrebbe non essere veloce come un normale filesystem ma poi ti dà vantaggi rispetto ai normali filesystem per i quali penso valga la pena rinunciare un po 'alla velocità.
In definitiva, con lo sharding, potresti raggiungere un punto in cui lo storage GridFS diventa effettivamente l'opzione più veloce rispetto a un normale filesystem e un singolo nodo.
Attenzione però alle riparazioni per DB più grandi: un nuovo sistema che stiamo sviluppando, mongo non è uscito in modo pulito e la riparazione del GridFS da 7 TB sembra che ci vorranno 130 ore.
Per questo motivo, penso che cercherò di passare a OpenStack Swift o Ceph. Tuttavia, fino ad allora è stato un bene. E il modulo nginx-gridfs è carino.
Non consiglio di usare gridfs a meno che tu non sappia cosa stai facendo. GridFS è solo un livello di astrazione che divide i file per blocchi e memorizza i file in due raccolte. Più file, più overhead. Se ti aspetti che i file abbiano le stesse dimensioni, non superiori a 32M circa, sei nel modo giusto. Non provare a memorizzare file di grandi dimensioni su gridfs. Perché?
Se pensi di leggere il progetto caricato, considera di caricare i file direttamente nei documenti (se di dimensioni pari o inferiori a 16 M) o scegli un altro clusterfs e collega il nome del file / inode alla tua logica.
Spero che sia di aiuto.