Domande taggate «web-scraping»

Il web scraping è il processo di estrazione di informazioni specifiche da siti Web che non forniscono prontamente un'API o altri metodi di recupero automatico dei dati. Le domande su "Come iniziare con lo scraping" (ad esempio con Excel VBA) dovrebbero essere * studiate a fondo * poiché sono disponibili numerosi esempi di codice funzionale. I metodi di web scraping includono applicazioni di terze parti, sviluppo di software personalizzato o anche raccolta manuale di dati in modo standardizzato.

16
Come trovare elementi per classe
Sto riscontrando problemi nell'analizzare gli elementi HTML con l'attributo "class" usando Beautifulsoup. Il codice è simile al seguente soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div Viene visualizzato un errore sulla stessa riga "dopo" lo script termina. File "./beautifulcoding.py", line 130, in …
3
Quale parser HTML è il migliore? [chiuso]
Allo stato attuale, questa domanda non è adatta al nostro formato di domande e risposte. Ci aspettiamo che le risposte siano supportate da fatti, riferimenti o competenze, ma questa domanda probabilmente solleciterà dibattiti, argomenti, sondaggi o discussioni estese. Se ritieni che questa domanda possa essere migliorata e possibilmente riaperta, visita …
13
Come selezionare un valore di menu a discesa con Selenium usando Python?
Devo selezionare un elemento da un menu a discesa. Per esempio: <select id="fruits01" class="select" name="fruits"> <option value="0">Choose your fruits:</option> <option value="1">Banana</option> <option value="2">Mango</option> </select> 1) Prima devo fare clic su di esso. Lo faccio: inputElementFruits = driver.find_element_by_xpath("//select[id='fruits']").click() 2) Dopodiché devo selezionare l'elemento buono, diciamo Mango. Ho provato a farlo con …
14
Pagina JavaScript di Web scraping con Python
Sto cercando di sviluppare un semplice raschietto web. Voglio estrarre il testo senza il codice HTML. In effetti, ho raggiunto questo obiettivo, ma ho visto che in alcune pagine in cui è caricato JavaScript non ho ottenuto buoni risultati. Ad esempio, se un codice JavaScript aggiunge del testo, non riesco …
7
Burattinaio: passa la variabile in .evaluate ()
Sto provando a passare una variabile in una page.evaluate()funzione in Puppeteer , ma quando utilizzo il seguente esempio molto semplificato, la variabile evalVarnon è definita. Sono nuovo in Puppeteer e non riesco a trovare alcun esempio su cui costruire, quindi ho bisogno di aiuto per passare quella variabile nella page.evaluate()funzione …
8
Come posso raschiare più velocemente
Il lavoro qui è quello di raschiare un'API un sito che inizia da https://xxx.xxx.xxx/xxx/1.jsona https://xxx.xxx.xxx/xxx/1417749.jsone scriverlo esattamente su mongodb. Per questo ho il seguente codice: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com = db["threadcol"] start_time = time.time() write_log = open("logging.log", "a") min = 1 max = 1417749 for n in …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.