Quando sposti un sito tramite un reindirizzamento 301, dovresti configurare un robots.txt che impedisce ai robot di eseguire la scansione del vecchio indirizzo?


8

Un sito su cui sto lavorando ha spostato un sottodominio in un altro sottodominio tramite un reindirizzamento 301. Tuttavia, quando si controlla robots.txt del vecchio sottodominio, ha un robots.txt che non consente ai crawler web dei motori di ricerca di eseguirne la scansione.

È questa la mossa giusta? Credo di no perché i crawler non saranno in grado di eseguire la scansione del vecchio sito per vedere i 301 codici di stato.


3
Il rifiuto non era già in atto prima del trasloco? Alcuni siti Web non desiderano essere nei motori di ricerca. Non è chiaro in che modo si sia verificata la situazione.
user64742

Risposte:


11

I tuoi sospetti sono giusti, con il ragionamento esatto che hai menzionato. Se si impedisce ai robot di accedere al vecchio sito, non saranno in grado di vedere il reindirizzamento 301.


Significherebbe anche che il collegamento del link che puntava al vecchio dominio non verrà trasferito al nuovo dominio perché robots.txt non consente a Gbot di eseguire la scansione?
mat boy,

1
Sì, è esattamente ciò che accadrebbe se il file robots.txt sta bloccando l'accesso ai robot.
Theo van der Zee,

5

Credo di no perché i crawler non saranno in grado di eseguire la scansione del vecchio sito per vedere i 301 codici di stato.

Sì, esattamente - questa non è la "mossa giusta". Se si implementa un reindirizzamento 301, presumibilmente per preservare la SEO, il blocco degli URL reindirizzati impedirà ai motori di ricerca di vedere il reindirizzamento e indicizzare il nuovo contenuto.


Significherebbe anche che il collegamento del link che puntava al vecchio dominio non verrà trasferito al nuovo dominio perché robots.txt non consente a Gbot di eseguire la scansione?
mat boy,

@mat boy, "link juice" viene raramente aggiornato, se mai. È probabile che non venga mai aggiornato al nuovo dominio con o senza il file robots.txt, ma mantenendo il 301 in posizione indefinitamente, si assicura che i collegamenti finiranno nel posto giusto.
Polpo,

1
@Octopus Sembra che descrivi "PageRank", non "link juice"? "link juice" è solo un termine comune / gergale che descrive il vantaggio SEO del collegamento da una pagina all'altra.
DocRoot,

1
@matboy Sì, esatto, nessun "link juice" verrà trasferito al nuovo URL. Poiché al bot è impedito di vedere il reindirizzamento, il bot (motore di ricerca) non sa che la pagina si è spostata in una posizione diversa. I vecchi URL verranno inseriti nelle SERP e alla fine scompaiono, mentre i nuovi URL dovranno costruire il loro SEO da zero.
DocRoot,

0

Vorrei mantenere il file robots.txt così com'è, ma assicurarmi che le pagine vecchie e nuove abbiano la versione appropriata dei tag canonici. Questo aiuterà il motore di ricerca a capire cosa è successo.


2
In che modo i crawler possono leggere i tag canonici sulla pagina Web se gli stai dicendo di non eseguire la scansione della pagina Web?
mat boy,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.