Perché Google è molto più veloce di una ricerca sul disco rigido?

Quando cerco un file sul mio HD in Windows 7 o Windows XP ci vogliono alcuni minuti per completare il processo. Se inserisco un termine di ricerca in Google, la risposta è sul mio schermo in millisecondi

In che modo è possibile per Google cercare su Internet, che è molte volte più grande del mio disco rigido, più velocemente di quanto il mio sistema operativo possa cercare sul mio computer? È solo una questione di potenza di calcolo e l'algoritmo giusto?

Google non sta cercando in Internet: sta cercando un indice. Google ha server farm enormi che eseguono costantemente la scansione e l'indicizzazione di Internet. Questo processo richiede molto tempo, proprio come la ricerca del tuo disco rigido non indicizzato. In Windows 7, c'è un'opzione per indicizzare i tuoi dischi rigidi. Inizialmente questo processo richiede un po 'di tempo, ma una volta avviato, i risultati di una ricerca saranno istantanei.

Se vuoi sapere di più su come funziona la ricerca di Google puoi leggere l'articolo di Google " Come funziona la ricerca " o leggere l'articolo " Come funzionano le cose: come funziona Google ".

Google è come cercare nelle pagine gialle un indirizzo (indicizzato). La ricerca di Windows è simile a quella di controllare i numeri sugli edifici (non indicizzati).

Un'altra analogia sarebbe guardare attraverso una biblioteca ben organizzata e un catalogo di carte, o semplicemente smistare una pila di libri non organizzata ogni volta.

Fondamentalmente è tutto il lavoro organizzativo svolto prima della ricerca che lo rende veloce.

A proposito: durante la ricerca di posizioni indicizzate, la ricerca di Windows può essere altrettanto reattiva.

L'attività di Google è la ricerca (e la pubblicazione di annunci) ed è molto focalizzata su questo. Ci sono molte cose che Google fa per garantire che i dati ti vengano restituiti molto velocemente:

• In primo luogo utilizza MapReduce e PageRank per generare un indice completo del World Wide Web. Lo aggiorna regolarmente in modo che i risultati siano aggiornati.
• Tale indice è distribuito e replicato sui numerosi server di Google
• La query è suddivisa su più server per creare i risultati restituiti. Ciò consente al processo di essere altamente parallelizzato.
• Le query e i risultati comuni vengono memorizzati nella cache, riducendo la necessità di eseguire la ricerca.

Vedi questo link per ulteriori informazioni su come funziona la ricerca

Comparativamente una ricerca del disco rigido senza un indice deve leggere tutti i file sul disco e questo può richiedere molto tempo.

Inoltre puoi pensare sia a un filesystem che a un indice come un albero. Nel filesystem la radice dell'albero è la cartella di livello superiore e può contenere rami (cartelle) o foglie (file) in quella cartella. Ogni ramo può avere rami secondari per più cartelle e foglie per più file. Per cercare questa struttura devi 'camminare' su tutti i rami (e sotto-rami) per trovare la foglia che stai cercando. Un indice inverte questa gerarchia. La base diventa l'alfabeto e tutti i sotto-rami perfezionano ulteriormente questo. Le foglie sono la posizione dell'oggetto che stai cercando. La ricerca in questa struttura consente di potare (escludere) grandi sezioni dell'albero (ad es. La prima lettera del termine di ricerca consente di tagliare altri 25 rami immediatamente).

Circa 4 anni fa mi sono anche posto la stessa domanda. Ma mentre cercavo su Internet di fare le mie ricerche, alla fine ho letto che oltre al fatto che assumono il meglio del meglio per trovare alcuni degli algoritmi di ricerca più sofisticati e tutto il resto.

Uno dei design chiave che hanno usato è simile all'idea di ridurre la mappa, credo. Hai molti computer economici nelle fattorie. Lascia che questi computer abbiano solo circa 80 gig di spazio sul disco rigido e spingi forte per avere circa 16 gig RAM o anche meglio 32 gig RAM su questi computer (il più possibile). Ricorda che sono collegati attraverso un sofisticato sistema che hanno progettato. Ma l'idea chiave qui è che quando una query viene inviata, viene passata al loro sistema dove proverà a cercare i nuovi dati nella RAM. Tieni presente che hanno molti di questi computer economici. E poiché i dati sono nella RAM, si trovano molto più velocemente di quanto non sarebbero su un disco rigido. Ma non dimenticare che hanno anche un sistema sofisticato (indicizzazione e tutti quegli algoritmi) che aiuta molto.

E questi dati non devono essere aggiornati, perché sappiamo tutti che Google memorizza tutto. Per quanto riguarda ciò che dovrebbe essere nella RAM, è possibile utilizzare lo stesso principio con gli alberi di visualizzazione, mantenere tutto ciò che la gente cerca di più nella RAM e scaricare le cose meno cercate sul disco rigido.

Questa piccola idea unita alla loro indicizzazione e tutte le altre cose che altri hanno menzionato nelle loro risposte, potrebbe essere uno dei motivi per cui è più veloce di una ricerca sul disco rigido.

• Il potere di prevedere in base ad altre ricerche.
• I dati sono molto probabilmente nella RAM che tutti sappiamo è più veloce.
• Usa più sistemi per dividere e conquistare
• La ricerca è la loro priorità principale.

Certo, potrei sbagliarmi, ma per me aveva senso. E sono stato contento di quello che ho imparato.

Google utilizza un sistema di indicizzazione estremamente sofisticato, operazioni parallele e una serie di tecniche di bilanciamento del carico non disponibili per un computer autonomo standard. c'è davvero poca somiglianza tra una ricerca web e una ricerca di file sul disco rigido e google ottimizza fortemente per i loro casi d'uso specifici.

Nel 2004, alcuni dipendenti di Google hanno pubblicato un articolo: MapReduce e da quel momento in poi lo hanno migliorato centinaia di volte.

Inoltre, usano Google File System (GFS) che è un file system distribuito come Hadoop Distribud File System (HDFS) ed estremamente ottimizzato per i loro scopi. Inoltre, per quanto ne so, GFS funziona forse mille volte più velocemente di HDFS .

Ho pensato di aggiungere a questo dato che anch'io ho fatto questa domanda qualche tempo fa e ho trovato questi fantastici video che descrivono ciò che Google fa in superficie. Interessante da guardare.

Google su Youtube 1
Google su Youtube 2

Va un po 'più in profondità ma non abbastanza in profondità da farti perdere nei tecnicismi.

Saluti.

Basta aggiungere qualcosa alle meravigliose risposte qui. Google utilizza la memorizzazione nella cache delle frasi di ricerca più diffuse. I risultati di queste ricerche risiedono in una memoria. Quindi, se cerchi qualcosa che viene cercato molto, i risultati appariranno quasi immediatamente.

Per rispondere alla domanda a un livello semplicistico: immagina di avere un libro di testo con un indice di parole chiave sul retro.

Cercare un disco rigido (almeno ingenuamente) è come sfogliare il libro, pagina per pagina, scansionando ogni riga alla ricerca di una parola chiave.

Usare un motore di ricerca su Internet è come cercare la parola chiave nell'indice e poi passare direttamente al numero di pagina che fornisce.

In realtà, ovviamente, è molto più complesso di così. Ad esempio, di solito dovresti cercare sul tuo disco rigido diversi tipi di informazioni rispetto a Internet. Ma la cosa fondamentale da portare via è che il motore di ricerca sta usando un indice. Ha già esaminato il "libro", parola per parola, e ha compilato un elenco di quelle parole insieme a dove trovarle, e ha organizzato l'elenco in modo tale che possa cercare le cose in esso molto rapidamente .

Ad esempio, pensa all'organizzazione di un indice in un libro. In primo luogo, di solito è in ordine alfabetico, e in secondo luogo può avere intestazioni di lettere. Quando cerchi una parola nell'indice puoi vedere immediatamente l'elenco delle parole che iniziano con la lettera che desideri. E poiché l'elenco è ordinato, è facile trovare la parola desiderata all'interno dell'elenco o dire rapidamente se manca.

Quindi per riassumere, è come se il tuo disco rigido avesse solo un libro, mentre il motore di ricerca ha l'indice. Sebbene, come alcuni altri hanno sottolineato, è possibile utilizzare il software per indicizzare il disco rigido e quindi è possibile utilizzare l'indice invece dell'intera cosa.

Immagino che uno dei motivi per cui Google sia emerso Auto Completee utilizzato sia AJAXstato il problema della velocità. Ora quando scrivi, le parole vengono inviate in background in modo che Google possa svolgere una parte del lavoro mentre non hai ancora finito. Inoltre gli indici si basano su più combinazioni di parole (che puoi trovare come suggerimenti in fondo alla pagina). Attualmente la velocità della rete è superiore rispetto ai dischi rigidi e probabilmente gran parte di quegli indici risiede nella RAM dei server nella loro farm.