Python Selenium che accede al sorgente HTML

Come posso ottenere l' HTML sorgente in una variabile utilizzando il modulo Selenium con Python?

Volevo fare qualcosa del genere:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")
if "whatever" in html_source:
    # Do something
else:
    # Do something else

Come posso fare questo? Non so come accedere al sorgente HTML.

Devi accedere alla page_sourceproprietà:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")

html_source = browser.page_source
if "whatever" in html_source:
    # do something
else:
    # do something else

Con Selenium2Library puoi usare get_source()

import Selenium2Library
s = Selenium2Library.Selenium2Library()
s.open_browser("localhost:7080", "firefox")
source = s.get_source()

driver.page_source ti aiuterà a ottenere il codice sorgente della pagina. Puoi controllare se il testo è presente o meno nel sorgente della pagina.

from selenium import webdriver
driver = webdriver.Firefox()
driver.get("some url")
if "your text here" in driver.page_source:
    print('Found it!')
else:
    print('Did not find it.')

Se desideri memorizzare il sorgente della pagina in una variabile, aggiungi sotto la riga dopo driver.get :

var_pgsource=driver.page_source

e modificare la condizione if in:

if "your text here" in var_pgsource:

Usando il sorgente della pagina otterrai l'intero codice HTML.
Quindi, prima decidi il blocco di codice o tag in cui desideri recuperare i dati o fare clic sull'elemento.

options = driver.find_elements_by_name_("XXX")
for option in options:
    if option.text == "XXXXXX":
        print(option.text)
        option.click()

Puoi trovare gli elementi per nome, XPath, id, link e percorso CSS.

Per rispondere alla tua domanda su come ottenere l' URL da utilizzare per urllib, esegui semplicemente questo codice JavaScript:

url = browser.execute_script("return window.location;")

Puoi semplicemente usare l' WebDriveroggetto e accedere al codice sorgente della pagina tramite il suo @propertycampo page_source...

Prova questo frammento di codice :-)

from selenium import webdriver
driver = webdriver.Firefox('path/to/executable')
driver.get('https://some-domain.com')
source = driver.page_source
if 'stuff' in source:
    print('found...')
else:
    print('not in source...')

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
html_source_code = driver.execute_script("return document.body.innerHTML;")
html_soup: BeautifulSoup = BeautifulSoup(html_source_code, 'html.parser')

Ora puoi applicare la funzione BeautifulSoup per estrarre i dati ...

Consiglierei di ottenere il sorgente con urllib e, se hai intenzione di analizzarlo, usa qualcosa come Beautiful Soup .

import urllib

url = urllib.urlopen("http://example.com") # Open the URL.
content = url.readlines() # Read the source and save it to a variable.