In che modo Google trova un dominio senza link?

Di recente ho registrato un nuovo dominio, l'ho indirizzato al mio server esistente e ho impostato una pagina minima che diceva semplicemente "test" e nient'altro.

Stasera ho appena scoperto che la pagina è già indicizzata su Google! Non ci sono collegamenti al sito (non ho nemmeno parlato a nessuno del dominio poiché non ho ancora fatto nulla con esso).

Google sta effettuando il traino di documenti WHOIS o qualcosa del genere?

search-engine-indexing domain-registration web-crawlers

— DisgruntledGoat
fonte

Sei sicuro di non aver fatto qualcosa che potrebbe esporre automaticamente l'URL in qualche modo, come menzionarlo in un'e-mail a un elenco (che potrebbe essere ripubblicato), navigare direttamente da lì verso qualche altro sito che potrebbe avere registri pubblici o un widget referer, ecc.?

— Su '21

@Su per quanto ne so. Ho appena visitato il sito dopo aver lanciato la pagina di prova.

— Sconcertato Goat

@TRiG Ho già detto che esiste la stessa domanda ma non esiste una risposta perfetta, quindi ho chiesto.

— sheshadri,

Tuttavia, non hai fatto nulla per rendere diversa questa domanda. È esattamente la stessa domanda.

— TRiG

@TRiG Sì, la domanda è la stessa, ma in quella domanda nessuna risposta perfetta.

— sheshadri,

Risposte:

Sono un registrar . Non vedo perché non possano usarlo per trovare nuovi siti da indicizzare.

— John Conde
fonte

Ah, adoro il paragrafo in quell'articolo che dice che stanno creando un browser Web e un sistema operativo! Ad ogni modo, la tua risposta sembra logica: per essere un registrar devi avere pieno accesso a ogni dominio che è stato registrato.

— Sconcertato Goat

Ci sono almeno 3 modi:

Collegamenti al tuo sito.
Utilizzo degli Strumenti per i Webmaster di Google (ora chiamato Search Console)
Dump del registrar, trigger e altre opzioni.

Google troverà rapidamente molti nuovi siti da alcuni registrar. Ad esempio, Google ha trovato un nome di dominio che ho registrato utilizzando GoDaddy, lo ha indicizzato e ha iniziato a inviare i risultati della ricerca entro 20 minuti dalla registrazione del nome di dominio. Ma questo non accadrà per tutti i registrar.

Potrebbero esserci anche altri modi, ma questi sono i più comuni.

Se desideri che Google venga a conoscenza del tuo sito rapidamente, l'opzione migliore è inviarlo utilizzando Strumenti per i Webmaster di Google (ora chiamato Search Console).

@zigojacko ha sollevato un grande punto (!) nei commenti che dovrebbero davvero vivere all'interno della risposta. Se hai un account Google+, puoi semplicemente collegarti al tuo sito Web e Google lo onorerà immediatamente. È almeno veloce quanto creare un account WMT se non più veloce!

[Suggerimento]

Sitemap e file robots.txt non hanno nulla a che fare con l'individuazione del dominio. In effetti, le sitemap sono inutili per la maggior parte dei siti ad eccezione di siti estremamente grandi, siti che non possono essere sottoposti a scansione completa perché non tutte le pagine sono collegate, siti con un paywall o siti con un accesso. Le Sitemap non hanno nulla a che fare con le prestazioni di ricerca a parte i motivi sopra menzionati. Inoltre, è sempre consigliabile creare un file robots.txt anche se è vuoto.

— closetnoc
fonte

@sheshadri Anytime !! Siamo qui per te e abbiamo alcuni veri esperti qui. Questo è un sito a cui Google e altri siti autorevoli prestano attenzione e rispondono.

— closetnoc,

@sheshadri Molti registrar più grandi condividono le nuove informazioni di registrazione con Google quasi in tempo reale.

— closetnoc,

Per aggiungere un'altra idea nel mix oltre alla risposta corretta di @ closetnoc è quello di collegarsi al sito Web da Google+. Questo sembra innescare qualcosa su Google per inviare una visita da Googlebot molto rapidamente, a volte più veloce di un'ora, anche se alcuni sono più lunghi.

— Zigojacko,

Anche Google è un registrar di domini, quindi presumo che un registrar debba avere accesso a tutti i domini che sono stati registrati.

— Max

@zigojacko Ottimo punto !! Mi dimentico spesso di Google+ poiché non faccio la cosa sociale.

— closetnoc,

-1

Se utilizzi Google Toolbar e hai attivato le informazioni sul Page Rank, informerà Google dell'URL della pagina (al fine di ottenere il numero di Page Rank) e questo può portare alla tua pagina a essere indicizzata.

— mawtex
fonte

No, non usare questo o qualcosa di simile.

— Sconcertato Goat

Uno non ha nulla a che fare con l'altro. Il database della barra degli strumenti e il database di ricerca sono completamente e completamente separati l'uno dall'altro. Il database della barra degli strumenti viene aggiornato dagli agenti aggregati.

— closetnoc,

Per non parlare del fatto che il TBPR di Google è stato annullato da anni ormai, quindi probabilmente non fa più nulla.

— Zigojacko,