Caricamento e analisi di un file JSON con più oggetti JSON

Sto cercando di caricare e analizzare un file JSON in Python . Ma sono bloccato nel tentativo di caricare il file:

import json
json_data = open('file')
data = json.load(json_data)

I rendimenti:

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

Ho guardato 18.2. json- Codificatore e decodificatore JSON nella documentazione di Python, ma è piuttosto scoraggiante leggere questa documentazione dall'aspetto orribile.

Prime righe (rese anonime con voci casuali):

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

Hai un file di testo in formato JSON Lines . Devi analizzare il tuo file riga per riga:

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

Ogni riga contiene un JSON valido, ma nel suo insieme non è un valore JSON valido poiché non esiste un elenco di primo livello o una definizione di oggetto.

Si noti che poiché il file contiene JSON per riga, si risparmia il mal di testa di provare ad analizzarlo tutto in una volta sola o di capire un parser JSON in streaming. È ora possibile scegliere di elaborare ciascuna riga separatamente prima di passare alla successiva, risparmiando memoria nel processo. Probabilmente non vuoi aggiungere ogni risultato a un elenco e quindi elaborare tutto se il tuo file è davvero grande.

Se disponi di un file contenente singoli oggetti JSON con delimitatori intermedi, utilizza Come posso utilizzare il modulo "json" per leggere un oggetto JSON alla volta? per analizzare singoli oggetti utilizzando un metodo bufferizzato.

per coloro che si imbattono in questa domanda: la jsonlineslibreria python (molto più giovane di questa domanda) gestisce elegantemente i file con un documento json per riga. vedere https://jsonlines.readthedocs.io/

Questo è mal formattato. Hai un oggetto JSON per riga, ma non sono contenuti in una struttura di dati più grande (cioè un array). Dovrai riformattarlo in modo che inizi [e termini ]con una virgola alla fine di ogni riga, oppure analizzalo riga per riga come dizionari separati.