Domande taggate «web-crawlers»

Un programma per computer che accede alle pagine Web per vari scopi (per raschiare contenuti, fornire ai motori di ricerca informazioni sul tuo sito, ecc.)

2
Disqus migrazione thread. Trabocchetti?
Ho migrato un sito in un nuovo dominio. Il sito stesso è piuttosto semplice (usa Jekyll) e tutto è andato bene, tranne la migrazione dei thread di Disqus. Ho avuto un parziale successo - alcuni thread sono migrati correttamente, ma non tutti. Ho provato la procedura guidata per la migrazione …
2
Crawler sitemap di Ask.com down (per sempre)?
Ho usato Ask.comcome uno dei motori di ricerca per eseguire il ping della mia Sitemap. Quando sono andato a fare il ping della mia Sitemap oggi per reindicizzare la Sitemap, il sito Web ( http://submissions.ask.com/ping ) dice che non esiste più? Ho effettuato una ricerca DNS submissions.ask.come sembra che Ask.comabbia …
3
Tattica per affrontare robot che si comportano male
Ho un sito che, per ragioni normative, potrebbe non essere indicizzato o cercato automaticamente. Ciò significa che dobbiamo tenere lontani tutti i robot e impedire loro di spiderare il sito. Ovviamente abbiamo avuto un file robots.txt che non consente tutto dall'inizio. Tuttavia, osservare il file robots.txt è qualcosa che solo …
2
Quale tag meta "robot" ottiene la preferenza?
Mia moglie lavora in una scuola superiore in Germania. Di recente ho notato che è estremamente difficile trovare l'homepage di quella scuola usando Google. Ho guardato il codice sorgente della pagina e credo di aver trovato il motivo: ci sono due <meta name="robots">tag; uno è <meta name="robots" content="all"> e il …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.