Quanto è grande per una tabella PostgreSQL?

Sto lavorando alla progettazione di un progetto RoR per la mia azienda e il nostro team di sviluppo ha già avuto un piccolo dibattito sul design, in particolare sul database.

Abbiamo un modello chiamato Messageche deve essere mantenuto. È un modello molto, molto piccolo con solo tre colonne db oltre all'id, tuttavia probabilmente ci saranno MOLTI di questi modelli quando andremo in produzione. Stiamo osservando fino a 1.000.000 di inserimenti al giorno. I modelli verranno ricercati solo da due chiavi esterne che possono essere indicizzate. Inoltre, i modelli non devono mai essere eliminati, ma non dobbiamo nemmeno conservarli una volta che hanno circa tre mesi.

Quindi, quello che ci chiediamo è se l'implementazione di questa tabella in Postgres presenterà un problema di prestazioni significativo? Qualcuno ha esperienza con database SQL molto grandi per dirci se questo sarà o meno un problema? E se è così, con quale alternativa dovremmo andare?

Le righe per una tabella non saranno un problema di per sé.

Quindi, approssimativamente, 1 milione di righe al giorno per 90 giorni è 90 milioni di righe. Non vedo motivo per cui Postgres non possa occuparsene, senza conoscere tutti i dettagli di ciò che stai facendo.

A seconda della distribuzione dei dati, è possibile utilizzare una combinazione di indici, indici filtrati e partizionamento delle tabelle di qualche tipo per accelerare le cose una volta che si vedono quali problemi di prestazioni si possono avere o meno. Il tuo problema sarà lo stesso su qualsiasi altro RDMS che io conosca. Se hai solo bisogno di 3 mesi di progettazione dei dati in un processo per eliminare i dati, non ti servono più. In questo modo avrai un volume consistente di dati sulla tabella. Sei fortunato a sapere quanti dati esisteranno, provali per il tuo volume e vedi cosa ottieni. Testare una tabella con 90 milioni di righe può essere facile come:

select x,1 as c2,2 as c3
from generate_series(1,90000000) x;

https://wiki.postgresql.org/wiki/FAQ

Limit   Value
Maximum Database Size       Unlimited
Maximum Table Size          32 TB
Maximum Row Size            1.6 TB
Maximum Field Size          1 GB
Maximum Rows per Table      Unlimited
Maximum Columns per Table   250 - 1600 depending on column types
Maximum Indexes per Table   Unlimited

Un altro modo per velocizzare notevolmente le query su una tabella con> 100 milioni di righe è nel cluster fuori orario la tabella sull'indice che viene utilizzata più spesso nelle query. Abbiamo una tabella con> 218 milioni di righe e abbiamo trovato miglioramenti 30 volte superiori.

Inoltre, per una tabella molto grande, è una buona idea creare un indice sulle chiavi esterne.