Quando sposti un sito tramite un reindirizzamento 301, dovresti configurare un robots.txt che impedisce ai robot di eseguire la scansione del vecchio indirizzo?

8

Un sito su cui sto lavorando ha spostato un sottodominio in un altro sottodominio tramite un reindirizzamento 301. Tuttavia, quando si controlla robots.txt del vecchio sottodominio, ha un robots.txt che non consente ai crawler web dei motori di ricerca di eseguirne la scansione.

È questa la mossa giusta? Credo di no perché i crawler non saranno in grado di eseguire la scansione del vecchio sito per vedere i 301 codici di stato.

seo redirects robots.txt

— ragazzo mat
fonte

3

Il rifiuto non era già in atto prima del trasloco? Alcuni siti Web non desiderano essere nei motori di ricerca. Non è chiaro in che modo si sia verificata la situazione.

— user64742

11

I tuoi sospetti sono giusti, con il ragionamento esatto che hai menzionato. Se si impedisce ai robot di accedere al vecchio sito, non saranno in grado di vedere il reindirizzamento 301.

— Theo van der Zee
fonte

Significherebbe anche che il collegamento del link che puntava al vecchio dominio non verrà trasferito al nuovo dominio perché robots.txt non consente a Gbot di eseguire la scansione?

— mat boy,

1

Sì, è esattamente ciò che accadrebbe se il file robots.txt sta bloccando l'accesso ai robot.

— Theo van der Zee,

5

Credo di no perché i crawler non saranno in grado di eseguire la scansione del vecchio sito per vedere i 301 codici di stato.

Sì, esattamente - questa non è la "mossa giusta". Se si implementa un reindirizzamento 301, presumibilmente per preservare la SEO, il blocco degli URL reindirizzati impedirà ai motori di ricerca di vedere il reindirizzamento e indicizzare il nuovo contenuto.

— docroot
fonte

Significherebbe anche che il collegamento del link che puntava al vecchio dominio non verrà trasferito al nuovo dominio perché robots.txt non consente a Gbot di eseguire la scansione?

— mat boy,

@mat boy, "link juice" viene raramente aggiornato, se mai. È probabile che non venga mai aggiornato al nuovo dominio con o senza il file robots.txt, ma mantenendo il 301 in posizione indefinitamente, si assicura che i collegamenti finiranno nel posto giusto.

— Polpo,

1

@Octopus Sembra che descrivi "PageRank", non "link juice"? "link juice" è solo un termine comune / gergale che descrive il vantaggio SEO del collegamento da una pagina all'altra.

— DocRoot,

1

@matboy Sì, esatto, nessun "link juice" verrà trasferito al nuovo URL. Poiché al bot è impedito di vedere il reindirizzamento, il bot (motore di ricerca) non sa che la pagina si è spostata in una posizione diversa. I vecchi URL verranno inseriti nelle SERP e alla fine scompaiono, mentre i nuovi URL dovranno costruire il loro SEO da zero.

— DocRoot,

0

Vorrei mantenere il file robots.txt così com'è, ma assicurarmi che le pagine vecchie e nuove abbiano la versione appropriata dei tag canonici. Questo aiuterà il motore di ricerca a capire cosa è successo.

— Jason
fonte

2

In che modo i crawler possono leggere i tag canonici sulla pagina Web se gli stai dicendo di non eseguire la scansione della pagina Web?

— mat boy,