L'agente utente in un normale browser contiene 'bot' o 'crawl'?

L'agente utente in un normale browser contiene 'bot' o 'crawl'?

Controllo l'agente utente sul mio sito per vedere se proviene da un bot o meno. Se lo è, posso fare alcune piccole ottimizzazioni poiché non effettuano il login. (Non cambio affatto il contenuto)

Dopo aver aggiunto i controlli per 30-40 + robot, mi sto stancando di aggiungerli. Quindi mi chiedevo se controllando se contenesse solo 'bot' o 'crawl'. So che non otterrà tutti i robot, ma ne otterrebbe molti. Ma se ciò potesse causare falsi positivi, rovinerebbe totalmente la possibilità di aggiungere al carrello, effettuare un ordine e accedere.

Secondo l'elenco su http://www.useragentstring.com/pages/useragentstring.php?typ=Browser con oltre 9000 stringhe di user agent da vari browser:

• 0 stringhe di browser degli user agent contiene la parola "bot"
• 2 stringhe di browser degli user agent contengono la parola "crawl"
• 0 stringhe di browser degli user agent contiene la parola "spider"

(Il 2 che contiene "crawl" è il seguente: "Mozilla / 4.0 (compatibile; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" e "Mozilla / 4.0 (compatibile; MSIE 5.01; Windows NT 5.0; MSIECrawler ) "Penso che sia sicuro non considerarli.)

Secondo l'elenco su http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler con 442 stringhe di user agent elencate come bot:

• 208 stringhe di bot di user agent contiene la parola "bot"
• 63 stringhe di robot di user agent contiene la parola "crawl"
• 37 stringhe di robot degli user agent contiene la parola "spider"
• 282 stringhe di robot degli user agent contiene "bot", "crawl" o "spider"

La mia conclusione: è sicuro filtrare i robot in base alle stringhe dell'agente utente con le parole "bot", "crawl" e "spider". Non è a prova di proiettile ma è sicuramente meglio di niente.

Nota: durante la ricerca delle parole chiave ho utilizzato la ricerca senza distinzione tra maiuscole e minuscole.

Una soluzione migliore sarebbe IMO per rilevare se l'utente ha effettuato l'accesso. In caso contrario, mostra la pagina standard (potrebbe essere memorizzata nella cache). Qualsiasi web spider non verrà mai effettuato l'accesso ma se stai ottimizzando per loro, perché non per i nuovi utenti del tuo sito?

Questa domanda di Stack Overflow dovrebbe aiutare: " Esiste un database di agenti utente online? "

È possibile eseguire rapidamente la scansione del db e scoprirlo (o importarlo).