Domande taggate «web-crawlers»

Un programma per computer che accede alle pagine Web per vari scopi (per raschiare contenuti, fornire ai motori di ricerca informazioni sul tuo sito, ecc.)

1
Richiesta di Bingbot per trafficbasedsspsitemap.xml che non esiste
I registri di un sito Web che gestisco mostrano una richiesta di un file inesistente da Bingbot. I dettagli della richiesta sono Percorso: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (compatibile; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Indirizzo IP: 65.55.213.244 (la ricerca inversa si risolve in msnbot-65-55-213-244.search.msn.com ) Quale motivo sta cercando …
4
Yahoo Search è uguale a Bing Search ora?
Abbiamo avuto alcuni seri problemi con il ragno (incredibilmente) mal scritto di Yahoo in passato , e di conseguenza li abbiamo bloccati. Marco Arment di Tumblr ha anche condiviso le sue frustrazioni con noi l'31 / 31/2009, che è stato un fattore nel nostro blocco. [Il ragno di Yahoo] ci …
3
Quale agente utente devo impostare?
C'è il bot Ask, che imposta questa intestazione: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando questo, ho le seguenti domande: Se sto scrivendo un web crawler chiamato Pippo, quale user agent dovrei usare? Qual è la differenza se inserisco Mozilla/2.0o Mozilla/5.0? Qualsiasi altro suggerimento su come devo formattare il mio user agent …
3
SEO - Sito Web reattivo e menu duplicati
Ogni volta che creo un sito Web reattivo di solito creo 2 menu: 1 nascosto e utilizzato per dispositivi mobili e l'altro visualizzato come menu principale, quindi nascosto per mostrare il menu mobile. Ogni volta che si tratta di SEO e spider che navigano nel sito web mi viene offeso …
3
Robots.txt può trovarsi nella sottodirectory di un server?
Ho una sottodirectory che vorrei nascondere ai crawler web dei motori di ricerca. Un modo per farlo è utilizzare un robots.txtnella directory principale del server (il modo standard). Tuttavia, chiunque conosca l'URL del sito Web e abbia alcune conoscenze di base sul Web può accedere ai contenuti di robots.txt e …
7
Come bloccare i ragni baidu
La maggior parte delle mie visite proviene da ragni baidu. Non credo che aiuti affatto i motori di ricerca, quindi sto pensando a come bloccarli. Questo potrebbe essere fatto tramite iptables? Sto usando nginx come mio server web.
2
Devo bloccare i bot dal mio sito e perché?
I miei registri sono pieni di visitatori bot, spesso dell'Europa orientale e della Cina. I robot sono identificati come Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e così via. Devo bloccare questi robot dal mio sito e perché? Quali hanno uno scopo legittimo nell'aumentare il traffico sul mio sito? Molti di loro …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.