Tavolo grande
Un sistema di archiviazione distribuito per dati strutturati
Bigtable è un sistema di archiviazione distribuito (creato da Google) per la gestione di dati strutturati progettato per adattarsi a dimensioni molto grandi: petabyte di dati su migliaia di server di prodotti.
Molti progetti presso Google archiviano i dati in Bigtable, tra cui l'indicizzazione web, Google Earth e Google Finance. Queste applicazioni impongono requisiti molto diversi su Bigtable, sia in termini di dimensioni dei dati (dagli URL alle pagine Web alle immagini satellitari) sia in termini di latenza (dall'elaborazione bulk back-end alla pubblicazione di dati in tempo reale).
Nonostante queste diverse esigenze, Bigtable ha fornito con successo una soluzione flessibile e ad alte prestazioni per tutti questi prodotti Google.
Alcune funzionalità
- DBMS veloce ed estremamente ampio
- una mappa ordinata multidimensionale sparsa e distribuita, che condivide le caratteristiche dei database orientati alle righe e alle colonne.
- progettato per adattarsi alla gamma dei petabyte
- funziona su centinaia o migliaia di macchine
- è facile aggiungere più macchine al sistema e iniziare automaticamente a sfruttare queste risorse senza alcuna riconfigurazione
- ogni tabella ha più dimensioni (una delle quali è un campo per il tempo, che consente il controllo delle versioni)
- le tabelle sono ottimizzate per GFS (Google File System) essendo suddivise in più tablet - segmenti della tabella suddivisi lungo una riga scelta in modo tale che il tablet abbia una dimensione di ~ 200 megabyte.
Architettura
BigTable non è un database relazionale. Non supporta join né supporta query simili a SQL. Ogni tabella è una mappa sparsa multidimensionale. Le tabelle sono costituite da righe e colonne e ogni cella ha un timestamp. Possono esistere più versioni di una cella con diversi timestamp. Il timestamp consente operazioni come "seleziona 'n' versioni di questa pagina Web" o "elimina celle che sono più vecchie di una data / ora specifica".
Per gestire le enormi tabelle, Bigtable divide le tabelle ai limiti delle righe e le salva come compresse. Un tablet è di circa 200 MB e ogni macchina risparmia circa 100 tablet. Questa configurazione consente ai tablet di una singola tabella di essere distribuiti su molti server. Consente inoltre un bilanciamento del carico a grana fine. Se una tabella riceve molte query, può eliminare altri tablet o spostare la tabella occupata su un altro computer che non è così occupato. Inoltre, se una macchina si arresta, un tablet può essere distribuito su molti altri server in modo tale che l'impatto sulle prestazioni di una determinata macchina sia minimo.
Le tabelle sono archiviate come SSTable immutabili e una coda di registri (un registro per macchina). Quando una macchina esaurisce la memoria di sistema, comprime alcuni tablet utilizzando tecniche di compressione proprietarie di Google (BMDiff e Zippy). Le compattazioni minori coinvolgono solo pochi tablet, mentre le compattazioni principali coinvolgono l'intero sistema di tabelle e recuperano spazio sul disco rigido.
Le posizioni dei tablet Bigtable sono memorizzate nelle celle. La ricerca di un determinato tablet è gestita da un sistema a tre livelli. I client ottengono un punto su una tabella META0, di cui ce n'è solo una. La tabella META0 tiene traccia di molti tablet META1 che contengono le posizioni dei tablet da cercare. Sia META0 che META1 fanno un uso pesante del prelievo e della memorizzazione nella cache per ridurre al minimo i colli di bottiglia nel sistema.
Implementazione
BigTable è basato su Google File System (GFS), che viene utilizzato come archivio di backup per file di registro e dati. GFS offre archiviazione affidabile per SSTables, un formato di file proprietario di Google utilizzato per conservare i dati della tabella.
Un altro servizio utilizzato da BigTable è Chubby , un servizio di blocco distribuito affidabile e altamente disponibile. Chubby consente ai client di bloccare, eventualmente associandolo ad alcuni metadati, che può essere rinnovato inviando messaggi di keep alive a Chubby. I blocchi sono memorizzati in una struttura di denominazione gerarchica simile a un filesystem.
Esistono tre tipi principali di server di interesse nel sistema Bigtable:
- Server master: assegna tablet ai server tablet, tiene traccia della posizione dei tablet e ridistribuisce le attività secondo necessità.
- Server tablet: gestiscono le richieste di lettura / scrittura per tablet e tablet divisi quando superano i limiti di dimensione (in genere 100 MB - 200 MB). Se un server tablet si guasta, quindi un server tablet 100 ogni pickup 1 nuovo tablet e il sistema ripristina.
- Server di blocco: istanze del servizio di blocco distribuito Chubby. Molte azioni all'interno di BigTable richiedono l'acquisizione di blocchi tra cui l'apertura di tablet per la scrittura, la garanzia che non ci sia più di un Master attivo alla volta e il controllo del controllo degli accessi.
Esempio dal documento di ricerca di Google:
Una porzione di una tabella di esempio che memorizza le pagine Web. Il nome della riga è un
URL invertito . La famiglia di colonne di contenuti contiene i contenuti della pagina e la famiglia di colonne di ancoraggio contiene il
testo di eventuali ancore che fanno riferimento alla pagina. La home page della CNN fa riferimento sia alle home page di Sports Illustrated sia a quelle MY-look, quindi la riga contiene colonne denominate
anchor:cnnsi.come
anchor:my.look.ca. Ogni cella di ancoraggio ha una versione ; la colonna contenuti ha tre versioni , a timestamp
t3, t5e t6.
API
Le operazioni tipiche su BigTable sono la creazione e l'eliminazione di tabelle e famiglie di colonne, la scrittura di dati e l'eliminazione di colonne da una riga. BigTable fornisce queste funzioni agli sviluppatori di applicazioni in un'API. Le transazioni sono supportate a livello di riga, ma non attraverso più chiavi di riga.
Ecco il link al PDF del documento di ricerca .
E qui puoi trovare un video che mostra Jeff Dean di Google in una conferenza all'Università di Washington , che discute del sistema di archiviazione dei contenuti Bigtable utilizzato nel back-end di Google.
