Voglio ottenere il contenuto dal sito Web sottostante. Se utilizzo un browser come Firefox o Chrome potrei ottenere la pagina del sito web reale che desidero, ma se utilizzo il pacchetto di richieste Python (owget comando) di per ottenerlo, restituisce una pagina HTML completamente diversa. Pensavo che lo sviluppatore del sito web avesse creato alcuni blocchi per questo, quindi la domanda è:
Come posso simulare una visita al browser utilizzando richieste python o il comando wget?
Risposte:
Fornisci User-Agentun'intestazione :
import requests
url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content)Cordiali saluti, ecco un elenco di stringhe agente utente per diversi browser:
Come nota a margine , c'è un pacchetto di terze parti piuttosto utile chiamato fake-useragent che fornisce un bel livello di astrazione sugli interpreti :
fake-useragent
Aggiornato semplice falsario agente utente con database del mondo reale
demo:
>>> from fake_useragent import UserAgent
>>> ua = UserAgent()
>>> ua.chrome
u'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'
>>> ua.random
u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36'PhantomJSbrowser headless con selenio. Grazie. (non dimenticare di accettare la risposta se è stata utile)
UserAgent. Qualcuno sa perché? Qualcuno potrebbe fornire un elenco di accettabili UserAgent?
se questa domanda è ancora valida
Ho usato un falso UserAgent
Come usare:
from fake_useragent import UserAgent
import requests
ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)produzione:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>Prova a farlo, usando firefox come falso user agent (inoltre, è un buon script di avvio per il web scraping con l'utilizzo di cookie):
#!/usr/bin/env python2
# -*- coding: utf8 -*-
# vim:ts=4:sw=4
import cookielib, urllib2, sys
def doIt(uri):
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
page = opener.open(uri)
page.addheaders = [('User-agent', 'Mozilla/5.0')]
print page.read()
for i in sys.argv[1:]:
doIt(i)python script.py "http://www.ichangtou.com/#company:data_000008.html"La radice della risposta è che la persona che pone la domanda deve avere un interprete JavaScript per ottenere ciò che sta cercando. Quello che ho trovato è che sono in grado di ottenere tutte le informazioni che volevo su un sito Web in json prima che fosse interpretato da JavaScript. Questo mi ha fatto risparmiare un sacco di tempo in quello che sarebbe stato analizzare html sperando che ogni pagina web sia nello stesso formato.
Quindi, quando ricevi una risposta da un sito Web utilizzando le richieste, guarda davvero html / text perché potresti trovare il javascript JSON nel piè di pagina pronto per essere analizzato.