Consenti all'oggetto JSON di accettare byte o lasciare le stringhe di output urlopen

Con Python 3 sto richiedendo un documento JSON da un URL.

response = urllib.request.urlopen(request)

L' responseoggetto è un oggetto simile a un file con reade readlinemetodi. Normalmente un oggetto JSON può essere creato con un file aperto in modalità testo.

obj = json.load(fp)

Quello che vorrei fare è:

obj = json.load(response)

Ciò tuttavia non funziona poiché urlopen restituisce un oggetto file in modalità binaria.

Una soluzione è ovviamente:

str_response = response.read().decode('utf-8')
obj = json.loads(str_response)

ma questo sembra male ...

Esiste un modo migliore per trasformare un oggetto file byte in un oggetto file stringa? O mi manca qualche parametro per uno urlopeno json.loadper dare una codifica?

HTTP invia byte. Se la risorsa in questione è il testo, la codifica dei caratteri viene normalmente specificata, dall'intestazione HTTP Content-Type o da un altro meccanismo (RFC, HTML meta http-equiv, ...).

urllib dovrebbe sapere come codificare i byte in una stringa, ma è troppo ingenuo: è una libreria terribilmente sottodimensionata e non pitonica.

Dive Into Python 3 offre una panoramica della situazione.

Il tuo "aggirare" va bene, anche se sembra sbagliato, è il modo corretto di farlo.

La meravigliosa libreria standard di Python in soccorso ...

import codecs

reader = codecs.getreader("utf-8")
obj = json.load(reader(response))

Funziona con py2 e py3.

Documenti: Python 2 , Python3

Sono giunto a ritenere che la domanda sia la migliore risposta :)

import json
from urllib.request import urlopen

response = urlopen("site.com/api/foo/bar").read().decode('utf8')
obj = json.loads(response)

Per chiunque cerchi di risolverlo usando la requestslibreria:

import json
import requests

r = requests.get('http://localhost/index.json')
r.raise_for_status()
# works for Python2 and Python3
json.loads(r.content.decode('utf-8'))

Questo funziona per me, ho usato la libreria 'request' con json()check out the doc nelle richieste per umani

import requests

url = 'here goes your url'

obj = requests.get(url).json() 

Ho riscontrato problemi simili usando Python 3.4.3 e 3.5.2 e Django 1.11.3. Tuttavia, quando ho eseguito l'aggiornamento a Python 3.6.1 i problemi sono scomparsi.

Puoi leggere di più qui: https://docs.python.org/3/whatsnew/3.6.html#json

Se non sei legato a una versione specifica di Python, prendi in considerazione l'aggiornamento a 3.6 o versioni successive.

Se si riscontra questo problema durante l'uso del microframework della beuta, allora puoi semplicemente fare:

data = json.loads(response.get_data(as_text=True))

Dai documenti : "Se as_text è impostato su True, il valore restituito sarà una stringa unicode decodificata"

La tua soluzione alternativa mi ha appena salvato. Avevo molti problemi nell'elaborare la richiesta usando il framework Falcon. Questo ha funzionato per me. req è il modulo di richiesta curl pr httpie

json.loads(req.stream.read().decode('utf-8'))

In questo modo i dati byte verranno trasmessi in json.

import io

obj = json.load(io.TextIOWrapper(response))

io.TextIOWrapper è preferito al lettore di moduli del codec. https://www.python.org/dev/peps/pep-0400/

Ho appena trovato questo semplice metodo per rendere il contenuto HttpResponse come un json

import json

request = RequestFactory() # ignore this, this just like your request object

response = MyView.as_view()(request) # got response as HttpResponse object

response.render() # call this so we could call response.content after

json_response = json.loads(response.content.decode('utf-8'))

print(json_response) # {"your_json_key": "your json value"}

Spero che ti aiuti

A partire da Python 3.6, è possibile utilizzare json.loads()per deserializzare bytesdirettamente un oggetto (la codifica deve essere UTF-8, UTF-16 o UTF-32). Quindi, usando solo i moduli della libreria standard, puoi fare:

import json
from urllib import request

response = request.urlopen(url).read()
data = json.loads(response)

Ho usato sotto il programma per usare json.loads()

import urllib.request
import json
endpoint = 'https://maps.googleapis.com/maps/api/directions/json?'
api_key = 'AIzaSyABbKiwfzv9vLBR_kCuhO7w13Kseu68lr0'
origin = input('where are you ?').replace(' ','+')
destination = input('where do u want to go').replace(' ','+')
nav_request = 'origin={}&destination={}&key={}'.format(origin,destination,api_key)
request = endpoint + nav_request
response = urllib.request.urlopen(request).read().decode('utf-8')
directions = json.loads(response)
print(directions)