TypeError: non è possibile utilizzare uno schema di stringa su un oggetto simile a byte in re.findall ()

108

Sto cercando di imparare a recuperare automaticamente gli URL da una pagina. Nel seguente codice sto cercando di ottenere il titolo della pagina web:

import urllib.request
import re

url = "http://www.google.com"
regex = r'<title>(,+?)</title>'
pattern  = re.compile(regex)

with urllib.request.urlopen(url) as response:
   html = response.read()

title = re.findall(pattern, html)
print(title)

E ottengo questo errore imprevisto:

Traceback (most recent call last):
  File "path\to\file\Crawler.py", line 11, in <module>
    title = re.findall(pattern, html)
  File "C:\Python33\lib\re.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

Che cosa sto facendo di sbagliato?

python python-3.x web-crawler

— Inspired_Blue
fonte

1

possibile duplicato di Converti byte in una stringa Python

— gnat

161

Vuoi convertire html (un oggetto simile a un byte) in una stringa usando .decode, ad es html = response.read().decode('utf-8').

Vedi Convertire byte in una stringa Python

— roccioso
fonte

Questo ha risolto l'errore TypeError: cannot use a string pattern on a bytes-like objectma poi ho ricevuto errori come UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb2 in position 1: invalid start byte. Ho riparato utilizzando .decode("utf-8", "ignore"): stackoverflow.com/questions/62170614/...

— baptx

"ignore" ignora. Se è quello che vuoi, allora va tutto bene. Tuttavia, a volte questo tipo di problema nasconde un problema più profondo, ad esempio che la cosa che si desidera decodificare non è realmente decodificabile o che dovrebbe essere, ad esempio testo compresso o criptato. Oppure potrebbe aver bisogno di un'altra codifica come utf-16. Avvertimento emptor.

— Rocky

28

Il problema è che la tua regex è una stringa, ma htmlè byte :

>>> type(html)
<class 'bytes'>

Poiché python non sa come vengono codificati quei byte, genera un'eccezione quando si tenta di utilizzare una stringa regex su di essi.

Puoi trasformare decodei byte in una stringa:

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

Oppure usa un'espressione regolare di byte:

regex = rb'<title>(,+?)</title>'
#        ^

In questo particolare contesto, puoi ottenere la codifica dalle intestazioni di risposta:

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

Consulta la urlopendocumentazione per maggiori dettagli.

— Aran-Fey
fonte