Perché Python non può analizzare questi dati JSON?

Ho questo JSON in un file:

{
    "maps": [
        {
            "id": "blabla",
            "iscategorical": "0"
        },
        {
            "id": "blabla",
            "iscategorical": "0"
        }
    ],
    "masks": [
        "id": "valore"
    ],
    "om_points": "value",
    "parameters": [
        "id": "valore"
    ]
}

Ho scritto questo script per stampare tutti i dati JSON:

import json
from pprint import pprint

with open('data.json') as f:
    data = json.load(f)

pprint(data)

Questo programma solleva un'eccezione, tuttavia:

Traceback (most recent call last):
  File "<pyshell#1>", line 5, in <module>
    data = json.load(f)
  File "/usr/lib/python3.5/json/__init__.py", line 319, in loads
    return _default_decoder.decode(s)
  File "/usr/lib/python3.5/json/decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "/usr/lib/python3.5/json/decoder.py", line 355, in raw_decode
    obj, end = self.scan_once(s, idx)
json.decoder.JSONDecodeError: Expecting ',' delimiter: line 13 column 13 (char 213)

Come posso analizzare JSON ed estrarne i valori?

I tuoi dati non sono in formato JSON valido . Hai []quando dovresti avere {}:

• []sono per array JSON, che sono chiamati listin Python
• {}sono per oggetti JSON, che sono chiamati dictin Python

Ecco come dovrebbe apparire il tuo file JSON:

{
    "maps": [
        {
            "id": "blabla",
            "iscategorical": "0"
        },
        {
            "id": "blabla",
            "iscategorical": "0"
        }
    ],
    "masks": {
        "id": "valore"
    },
    "om_points": "value",
    "parameters": {
        "id": "valore"
    }
}

Quindi puoi usare il tuo codice:

import json
from pprint import pprint

with open('data.json') as f:
    data = json.load(f)

pprint(data)

Con i dati ora puoi trovare anche valori come questi:

data["maps"][0]["id"]
data["masks"]["id"]
data["om_points"]

Prova quelli e vedi se inizia a dare un senso.

Il tuo data.jsondovrebbe assomigliare a questo:

{
 "maps":[
         {"id":"blabla","iscategorical":"0"},
         {"id":"blabla","iscategorical":"0"}
        ],
"masks":
         {"id":"valore"},
"om_points":"value",
"parameters":
         {"id":"valore"}
}

Il tuo codice dovrebbe essere:

import json
from pprint import pprint

with open('data.json') as data_file:    
    data = json.load(data_file)
pprint(data)

Nota che questo funziona solo in Python 2.6 e withversioni successive, in quanto dipende dallo stato . In Python 2.5 from __future__ import with_statement, in Python <= 2.4, vedi la risposta di Justin Peel , su cui si basa questa risposta.

Ora puoi anche accedere a singoli valori come questo:

data["maps"][0]["id"]  # will return 'blabla'
data["masks"]["id"]    # will return 'valore'
data["om_points"]      # will return 'value'

La risposta di Justin Peel è davvero utile, ma se stai usando Python 3 la lettura di JSON dovrebbe essere fatta così:

with open('data.json', encoding='utf-8') as data_file:
    data = json.loads(data_file.read())

Nota: utilizzare json.loadsinvece di json.load. In Python 3, json.loadsaccetta un parametro stringa. json.loadaccetta un parametro oggetto simile a un file. data_file.read()restituisce un oggetto stringa.

Ad essere sincero, non penso che sia un problema caricare tutti i dati json in memoria nella maggior parte dei casi.

data = []
with codecs.open('d:\output.txt','rU','utf-8') as f:
    for line in f:
       data.append(json.loads(line))

"Ultra JSON" o semplicemente "ujson" sono in grado di gestire []l'input del file JSON. Se stai leggendo un file di input JSON nel tuo programma come un elenco di elementi JSON; come [{[{}]}, {}, [], etc...]ujson può gestire qualsiasi ordine arbitrario di elenchi di dizionari, dizionari di elenchi.

Puoi trovare ujson nell'indice del pacchetto Python e l'API è quasi identica alla jsonlibreria integrata di Python .

ujson è anche molto più veloce se stai caricando file JSON più grandi. Puoi vedere i dettagli delle prestazioni rispetto ad altre librerie Python JSON nello stesso link fornito.

Se stai usando Python3, puoi provare a cambiare il tuo ( connection.jsonfile) JSON in:

{
  "connection1": {
    "DSN": "con1",
    "UID": "abc",
    "PWD": "1234",
    "connection_string_python":"test1"
  }
  ,
  "connection2": {
    "DSN": "con2",
    "UID": "def",
    "PWD": "1234"
  }
}

Quindi utilizzando il seguente codice:

connection_file = open('connection.json', 'r')
conn_string = json.load(connection_file)
conn_string['connection1']['connection_string_python'])
connection_file.close()
>>> test1

Qui vai con il data.jsonfile modificato :

{
    "maps": [
        {
            "id": "blabla",
            "iscategorical": "0"
        },
        {
            "id": "blabla",
            "iscategorical": "0"
        }
    ],
    "masks": [{
        "id": "valore"
    }],
    "om_points": "value",
    "parameters": [{
        "id": "valore"
    }]
}

È possibile chiamare o stampare i dati sulla console utilizzando le seguenti linee:

import json
from pprint import pprint
with open('data.json') as data_file:
    data_item = json.load(data_file)
pprint(data_item)

Uscita prevista per print(data_item['parameters'][0]['id']):

{'maps': [{'id': 'blabla', 'iscategorical': '0'},
          {'id': 'blabla', 'iscategorical': '0'}],
 'masks': [{'id': 'valore'}],
 'om_points': 'value',
 'parameters': [{'id': 'valore'}]}

Uscita prevista per print(data_item['parameters'][0]['id']):

valore

Esistono due tipi in questa analisi.

1. Analisi dei dati da un file da un percorso di sistema
2. Analisi di JSON dall'URL remoto.

Da un file, è possibile utilizzare quanto segue

import json
json = json.loads(open('/path/to/file.json').read())
value = json['key']
print json['value']

Questo articolo illustra l'analisi completa e l'acquisizione di valori utilizzando due scenari. Analisi di JSON utilizzando Python

Come utente python3 ,

La differenza tra loade loadsmetodi è importante soprattutto quando leggi i dati json dal file.

Come indicato nei documenti:

json.load:

Deserializza fp (un file .read () - che supporta file di testo o file binario contenente un documento JSON) su un oggetto Python usando questa tabella di conversione.

json.loads:

json.loads: Deserializza s (un'istanza str, byte o bytearray contenente un documento JSON) su un oggetto Python usando questa tabella di conversione.

Il metodo json.load può leggere direttamente il documento json aperto poiché è in grado di leggere il file binario.

with open('./recipes.json') as data:
  all_recipes = json.load(data)

Di conseguenza, i tuoi dati json sono disponibili come in un formato specificato in base a questa tabella di conversione:

https://docs.python.org/3.7/library/json.html#json-to-py-table