possiamo usare xpath con BeautifulSoup?

Sto usando BeautifulSoup per raschiare un URL e avevo il seguente codice

import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
req = urllib2.Request(url)
response = urllib2.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page)
soup.findAll('td',attrs={'class':'empformbody'})

Ora nel codice precedente possiamo usare findAllper ottenere tag e informazioni ad essi correlati, ma voglio usare xpath. È possibile usare xpath con BeautifulSoup? Se possibile, qualcuno può fornirmi un codice di esempio in modo che sia più utile?

No, BeautifulSoup, di per sé, non supporta le espressioni XPath.

Una libreria alternativa, lxml , fa il supporto XPath 1.0. Ha una modalità compatibile con BeautifulSoup in cui proverà ad analizzare l'HTML rotto come fa Soup. Tuttavia, il parser HTML lxml predefinito fa altrettanto bene l'analisi dell'HTML rotto e credo sia più veloce.

Dopo aver analizzato il documento in un albero lxml, puoi utilizzare il .xpath()metodo per cercare gli elementi.

try:
    # Python 2
    from urllib2 import urlopen
except ImportError:
    from urllib.request import urlopen
from lxml import etree

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)

C'è anche un modulo dedicatolxml.html() con funzionalità aggiuntive.

Si noti che nell'esempio sopra ho passato l' responseoggetto direttamente a lxml, poiché avere il parser letto direttamente dal flusso è più efficiente che leggere prima la risposta in una stringa grande. Per fare lo stesso con la requestslibreria, vuoi impostare stream=Truee passare l' response.rawoggetto dopo aver abilitato la decompressione del trasporto trasparente :

import lxml.html
import requests

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)

Di possibile interesse per te è il supporto del selettore CSS ; la CSSSelectorclasse traduce le istruzioni CSS in espressioni XPath, rendendo la tua ricerca td.empformbodymolto più semplice:

from lxml.cssselect import CSSSelector

td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
    # Do something with these table cells.

Venendo al punto di partenza: BeautifulSoup in sé non ha molto completo supporto selettore CSS :

for cell in soup.select('table#foobar td.empformbody'):
    # Do something with these table cells.

Posso confermare che non esiste il supporto XPath in Beautiful Soup.

Come altri hanno già detto, BeautifulSoup non supporta xpath. Probabilmente ci sono diversi modi per ottenere qualcosa da un xpath, incluso l'uso di Selenium. Tuttavia, ecco una soluzione che funziona in Python 2 o 3:

from lxml import html
import requests

page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.content)
#This will create a list of buyers:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#This will create a list of prices
prices = tree.xpath('//span[@class="item-price"]/text()')

print('Buyers: ', buyers)
print('Prices: ', prices)

Ho usato questo come riferimento.

BeautifulSoup ha una funzione chiamata findNext dall'elemento corrente diretta childern, quindi:

father.findNext('div',{'class':'class_value'}).findNext('div',{'id':'id_value'}).findAll('a') 

Il codice sopra può imitare il seguente xpath:

div[class=class_value]/div[id=id_value]

Ho cercato nei loro documenti e sembra che non ci sia l'opzione xpath. Inoltre, come puoi vedere qui su una domanda simile su SO, l'OP sta chiedendo una traduzione da xpath a BeautifulSoup, quindi la mia conclusione sarebbe: no, non è disponibile l'analisi di xpath.

quando usi lxml tutto semplice:

tree = lxml.html.fromstring(html)
i_need_element = tree.xpath('//a[@class="shared-components"]/@href')

ma quando usi BeautifulSoup BS4 anche tutto semplice:

• prima rimuovi "//" e "@"
• secondo - aggiungi una stella prima di "="

prova questa magia:

soup = BeautifulSoup(html, "lxml")
i_need_element = soup.select ('a[class*="shared-components"]')

come vedi, questo non supporta il sub-tag, quindi rimuovo la parte "/ @ href"

Forse puoi provare quanto segue senza XPath

from simplified_scrapy.simplified_doc import SimplifiedDoc 
html = '''
<html>
<body>
<div>
    <h1>Example Domain</h1>
    <p>This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.</p>
    <p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
# What XPath can do, so can it
doc = SimplifiedDoc(html)
# The result is the same as doc.getElementByTag('body').getElementByTag('div').getElementByTag('h1').text
print (doc.body.div.h1.text)
print (doc.div.h1.text)
print (doc.h1.text) # Shorter paths will be faster
print (doc.div.getChildren())
print (doc.div.getChildren('p'))

from lxml import etree
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('path of your localfile.html'),'html.parser')
dom = etree.HTML(str(soup))
print dom.xpath('//*[@id="BGINP01_S1"]/section/div/font/text()')

Sopra è stata utilizzata la combinazione dell'oggetto Soup con lxml e si può estrarre il valore usando xpath

Questo è un thread piuttosto vecchio, ma ora esiste una soluzione per aggirare il problema, che potrebbe non essere stata in BeautifulSoup in quel momento.

Ecco un esempio di quello che ho fatto. Uso il modulo "richieste" per leggere un feed RSS e ottenere il suo contenuto di testo in una variabile chiamata "rss_text". Detto questo, lo eseguo tramite BeautifulSoup, cerco xpath / rss / channel / title e ne recupero il contenuto. Non è esattamente XPath in tutta la sua gloria (caratteri jolly, percorsi multipli, ecc.), Ma se hai solo un percorso di base che vuoi individuare, funziona.

from bs4 import BeautifulSoup
rss_obj = BeautifulSoup(rss_text, 'xml')
cls.title = rss_obj.rss.channel.title.get_text()