Domande taggate «user-agent»

Un campo di intestazione http che identifica il browser e il sistema operativo.

4
Yahoo Search è uguale a Bing Search ora?
Abbiamo avuto alcuni seri problemi con il ragno (incredibilmente) mal scritto di Yahoo in passato , e di conseguenza li abbiamo bloccati. Marco Arment di Tumblr ha anche condiviso le sue frustrazioni con noi l'31 / 31/2009, che è stato un fattore nel nostro blocco. [Il ragno di Yahoo] ci …
3
Quale agente utente devo impostare?
C'è il bot Ask, che imposta questa intestazione: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando questo, ho le seguenti domande: Se sto scrivendo un web crawler chiamato Pippo, quale user agent dovrei usare? Qual è la differenza se inserisco Mozilla/2.0o Mozilla/5.0? Qualsiasi altro suggerimento su come devo formattare il mio user agent …
2
Devo bloccare i bot dal mio sito e perché?
I miei registri sono pieni di visitatori bot, spesso dell'Europa orientale e della Cina. I robot sono identificati come Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e così via. Devo bloccare questi robot dal mio sito e perché? Quali hanno uno scopo legittimo nell'aumentare il traffico sul mio sito? Molti di loro …
4
Interpretazione di User-agent vuoto
Come devo interpretare un User-agent vuoto? Ho un codice di analisi personalizzato e quel codice deve analizzare solo il traffico umano. Ho una lista di agenti utente che indica il traffico umano e il traffico bot, ma l'agente utente vuoto si sta rivelando problematico. E sto ricevendo molto traffico con …
3
L'agente utente in un normale browser contiene 'bot' o 'crawl'?
L'agente utente in un normale browser contiene 'bot' o 'crawl'? Controllo l'agente utente sul mio sito per vedere se proviene da un bot o meno. Se lo è, posso fare alcune piccole ottimizzazioni poiché non effettuano il login. (Non cambio affatto il contenuto) Dopo aver aggiunto i controlli per 30-40 …
11 user-agent 
1
Combina user-agent in robots.txt
Gli user-agent possono essere elencati insieme, seguiti dalle loro regole comuni come in un robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/
2
Inoltre, accedi agli URL negli interpreti
Ho eseguito un piccolo crawler Web e ho dovuto decidere quale agente utente utilizzare per esso. Gli elenchi degli agenti cingolati e Wikipedia suggeriscono il seguente formato: examplebot/1.2 (+http://www.example.com/bot.html) Tuttavia, alcuni robot omettono il segno più davanti all'URL. E mi chiedo cosa significhi in primo luogo, ma non sono riuscito …
3
Tattica per affrontare robot che si comportano male
Ho un sito che, per ragioni normative, potrebbe non essere indicizzato o cercato automaticamente. Ciò significa che dobbiamo tenere lontani tutti i robot e impedire loro di spiderare il sito. Ovviamente abbiamo avuto un file robots.txt che non consente tutto dall'inizio. Tuttavia, osservare il file robots.txt è qualcosa che solo …
4
User-Agent con componente con codifica base64?
(Domanda di bontà in fondo) Sto riscontrando un problema con un client che accede al nostro sito e la causa principale è che a WAF (Web Application Firewall) non piace la stringa User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101 Firefox/34.0 In questo caso, la stringa codificata in base64 …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.