Domande taggate «web-crawler»

Una società ha implicato il diritto di eseguire la scansione del mio sito Web?

Ho scoperto che McAfee SiteAdvisor ha segnalato il mio sito Web come "potrebbero avere problemi di sicurezza" . Mi importa poco di ciò che McAfee pensa del mio sito Web (posso proteggerlo da solo e, in caso contrario, McAfee sicuramente non è la società che chiederei aiuto, grazie mille). Ciò …

30 web-crawler

In che modo i siti rilevano i robot dietro proxy o reti aziendali

In che modo i siti di grandi dimensioni (ad esempio Wikipedia) gestiscono i robot che si trovano dietro un altro mascheratore IP? Ad esempio, nella mia università, tutti cercano Wikipedia, dandogli un carico significativo. Ma, per quanto ne so, Wikipedia può conoscere solo l'IP del router universitario, quindi se imposto …

12 web-crawler

Individuazione di tutti gli intervalli IP appartenenti a un ISP specifico

Sto avendo un problema con un determinato individuo che continua a grattare il mio sito in modo aggressivo; spreco di larghezza di banda e risorse della CPU. Ho già implementato un sistema che codifica i log di accesso al mio server Web, aggiunge ogni nuovo IP a un database, tiene …

10 ip isp whois web-crawler ip-blocking

In che modo questi "robot nocivi" trovano il mio server web chiuso?

Ho installato Apache qualche tempo fa e una rapida occhiata al mio access.log mostra che tutti i tipi di IP sconosciuti si stanno connettendo, principalmente con un codice di stato 403, 404, 400, 408. Non ho idea di come stiano trovando il mio IP, perché lo uso solo per uso …

8 apache-2.2 web-crawler

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.