Devo bloccare i bot dal mio sito e perché?

I miei registri sono pieni di visitatori bot, spesso dell'Europa orientale e della Cina. I robot sono identificati come Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e così via. Devo bloccare questi robot dal mio sito e perché?

Quali hanno uno scopo legittimo nell'aumentare il traffico sul mio sito? Molti di loro sono SEO.

Devo dire che vedo meno traffico se non da quando i bot sono arrivati ​​in gran numero.

Non sarebbe troppo difficile bloccarli dal momento che tutti ammettono nel proprio User Agent di essere robot.

Puoi bloccare i robot ma dipende da cosa vuoi per il tuo sito web.

Puoi bloccare i robot dei motori di ricerca se non vuoi vedere il tuo sito Web indicizzato in un determinato motore di ricerca.
Esempio: Yandex è un motore di ricerca russo. Puoi bloccare il suo bot se la tua attività non sta prendendo di mira la Russia.

È possibile bloccare i robot SEO se non si desidera utilizzare la soluzione di analisi web.
Esempio: Ahrefs è la soluzione di analisi web. Puoi bloccare il suo bot se non usi questa soluzione di analisi web.

Motivo per bloccare i robot:

• meno robot vanno sul tuo sito web e più larghezza di banda è attribuita ai visitatori reali
• essere al sicuro dai bot di malware
• dimensione dei tronchi

Motivo per non bloccare i robot:

• bot come i motori di ricerca possono aumentare il tuo traffico indicizzando il tuo sito web.

Puoi saperne di più sui robot leggendo le FAQ di robotstxt.org .

Se vuoi determinare diversi robot da bloccare, puoi trarre ispirazione da questo sito Web robots.txt .

Fai attenzione, alcuni robot possono ignorare robots.txt , maggiori informazioni qui .

Conclusione : è possibile cercare sulla funzione di robot Internet per determinare se il loro blocco può essere utile.

Mentre tentare di bloccare i robot può aiutare a liberare risorse e ripulire i tuoi registri, è importante notare che robots.txt e persino usando il meta tag nelle pagine noindex non fermano effettivamente i bot che visitano il tuo sito. Possono ancora eseguire la scansione del tuo sito di tanto in tanto per vedere se il negato dai robot è stato rimosso. Molti robot non usano nemmeno un user agent e useranno un user agent standard. I robot a cui mi riferisco sono in genere bot di raccolta SEO che scansionano i backlink e non quelli generali che trovi dai motori di ricerca.

Piuttosto che bloccare i robot, dovresti solo tener conto di questi robot quando conti i tuoi visitatori, dopo un po 'di monitoraggio attivo del tuo sito stabilisci una cifra approssimativa che sono robot. Molte persone si preoccupano di visite uniche e questo esclude i robot poiché ritornano costantemente. Al giorno d'oggi ci sono molti server, hosting condiviso in grado di gestire questi robot in modo che a parte le pagine che non si desidera indicizzare, non vedo alcun motivo per bloccare questi tipi di bot. Naturalmente hai anche robot dannosi, ma questi certamente non useranno l'agente utente;).

Personalmente credo che il blocco dei robot sia una perdita di tempo in quanto non utilizzano affatto troppe risorse, i robot SEO possono aiutare mentre elencano il tuo sito su pagine PR0 che ovviamente aumenta il tuo PageRank e lì automatizzato in modo da non essere punito da loro.

Problema dei registri

È necessario utilizzare un visualizzatore di registri adeguato che consenta di filtrare determinate richieste, semplificando la revisione dei registri. I buoni spettatori possono filtrare molte cose come visite normali, 404 'e così via.