Python json.loads mostra ValueError: dati extra

151

Ricevo alcuni dati da un file JSON "new.json" e voglio filtrare alcuni dati e archiviarli in un nuovo file JSON. Ecco il mio codice:

import json
with open('new.json') as infile:
    data = json.load(infile)
for item in data:
    iden = item.get["id"]
    a = item.get["a"]
    b = item.get["b"]
    c = item.get["c"]
    if c == 'XYZ' or  "XYZ" in data["text"]:
        filename = 'abc.json'
    try:
        outfile = open(filename,'ab')
    except:
        outfile = open(filename,'wb')
    obj_json={}
    obj_json["ID"] = iden
    obj_json["VAL_A"] = a
    obj_json["VAL_B"] = b

e sto ricevendo un errore, il traceback è:

  File "rtfav.py", line 3, in <module>
    data = json.load(infile)
  File "/usr/lib64/python2.7/json/__init__.py", line 278, in load
    **kw)
  File "/usr/lib64/python2.7/json/__init__.py", line 326, in loads
    return _default_decoder.decode(s)
  File "/usr/lib64/python2.7/json/decoder.py", line 369, in decode
    raise ValueError(errmsg("Extra data", s, end, len(s)))
ValueError: Extra data: line 88 column 2 - line 50607 column 2 (char 3077 - 1868399)

Qualcuno può aiutarmi?

Ecco un esempio dei dati in new.json, ci sono circa 1500 altri dizionari del genere nel file

{
    "contributors": null, 
    "truncated": false, 
    "text": "@HomeShop18 #DreamJob to professional rafter", 
    "in_reply_to_status_id": null, 
    "id": 421584490452893696, 
    "favorite_count": 0, 
    "source": "<a href=\"https://mobile.twitter.com\" rel=\"nofollow\">Mobile Web (M2)</a>", 
    "retweeted": false, 
    "coordinates": null, 
    "entities": {
        "symbols": [], 
        "user_mentions": [
            {
                "id": 183093247, 
                "indices": [
                    0, 
                    11
                ], 
                "id_str": "183093247", 
                "screen_name": "HomeShop18", 
                "name": "HomeShop18"
            }
        ], 
        "hashtags": [
            {
                "indices": [
                    12, 
                    21
                ], 
                "text": "DreamJob"
            }
        ], 
        "urls": []
    }, 
    "in_reply_to_screen_name": "HomeShop18", 
    "id_str": "421584490452893696", 
    "retweet_count": 0, 
    "in_reply_to_user_id": 183093247, 
    "favorited": false, 
    "user": {
        "follow_request_sent": null, 
        "profile_use_background_image": true, 
        "default_profile_image": false, 
        "id": 2254546045, 
        "verified": false, 
        "profile_image_url_https": "https://pbs.twimg.com/profile_images/413952088880594944/rcdr59OY_normal.jpeg", 
        "profile_sidebar_fill_color": "171106", 
        "profile_text_color": "8A7302", 
        "followers_count": 87, 
        "profile_sidebar_border_color": "BCB302", 
        "id_str": "2254546045", 
        "profile_background_color": "0F0A02", 
        "listed_count": 1, 
        "profile_background_image_url_https": "https://abs.twimg.com/images/themes/theme1/bg.png", 
        "utc_offset": null, 
        "statuses_count": 9793, 
        "description": "Rafter. Rafting is what I do. Me aur mera Tablet.  Technocrat of Future", 
        "friends_count": 231, 
        "location": "", 
        "profile_link_color": "473623", 
        "profile_image_url": "http://pbs.twimg.com/profile_images/413952088880594944/rcdr59OY_normal.jpeg", 
        "following": null, 
        "geo_enabled": false, 
        "profile_banner_url": "https://pbs.twimg.com/profile_banners/2254546045/1388065343", 
        "profile_background_image_url": "http://abs.twimg.com/images/themes/theme1/bg.png", 
        "name": "Jayy", 
        "lang": "en", 
        "profile_background_tile": false, 
        "favourites_count": 41, 
        "screen_name": "JzayyPsingh", 
        "notifications": null, 
        "url": null, 
        "created_at": "Fri Dec 20 05:46:00 +0000 2013", 
        "contributors_enabled": false, 
        "time_zone": null, 
        "protected": false, 
        "default_profile": false, 
        "is_translator": false
    }, 
    "geo": null, 
    "in_reply_to_user_id_str": "183093247", 
    "lang": "en", 
    "created_at": "Fri Jan 10 10:09:09 +0000 2014", 
    "filter_level": "medium", 
    "in_reply_to_status_id_str": null, 
    "place": null
}
python  json 
— Apoorv Ashutosh
fonte
Questo è l'errore che si ottiene ogni volta che l'input JSON ha più di un oggetto per riga. Molte delle risposte qui presuppongono che ci sia un solo oggetto per riga o costruiscono esempi che obbediscono a questo, ma si spezzerebbero se non fosse così.
— smci
@smci: puoi spiegare la lineamore than one object per line
— aspiring1,

Risposte:

150

Come puoi vedere nell'esempio seguente, json.loads(e json.load) non decodifica più oggetti json.

>>> json.loads('{}')
{}
>>> json.loads('{}{}') # == json.loads(json.dumps({}) + json.dumps({}))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\json\__init__.py", line 338, in loads
    return _default_decoder.decode(s)
  File "C:\Python27\lib\json\decoder.py", line 368, in decode
    raise ValueError(errmsg("Extra data", s, end, len(s)))
ValueError: Extra data: line 1 column 3 - line 1 column 5 (char 2 - 4)

Se desideri scaricare più dizionari, includili in un elenco, scarica l'elenco (anziché scaricare più dizionari più volte)

>>> dict1 = {}
>>> dict2 = {}
>>> json.dumps([dict1, dict2])
'[{}, {}]'
>>> json.loads(json.dumps([dict1, dict2]))
[{}, {}]
— falsetru
fonte
7
Puoi per favore spiegare di nuovo con riferimento al codice che ho dato sopra? Sono un principiante, e a volte ci vuole molto per capire queste cose.
— Apoorv Ashutosh,
1
@ApoorvAshutosh, sembra che new.jsoncontenga un json e altri dati ridondanti. json.load, json.loadspuò solo decodificare un json. Solleva un ValueErrorquando incontra dati addizionali come vedi.
— falsetru,
Ho incollato un campione da new.json e sto filtrando alcuni dati da esso, quindi non riesco a ottenere da dove sto ricevendo dati extra
— Apoorv Ashutosh,
1
@ApoorvAshutosh, hai detto 1500 altri dizionari del genere nella domanda modificata. Questi sono i dati aggiuntivi. Se sei quello che ha creato un new.json, basta inserire un singolo json in un file.
— falsetru,
1
@ApoorvAshutosh, se è necessario scaricare più dizionari come json, racchiuderli in un elenco e scaricare l'elenco.
— falsetru,
100

Puoi semplicemente leggere da un file, jsonifyingogni riga mentre procedi:

tweets = []
for line in open('tweets.json', 'r'):
    tweets.append(json.loads(line))

Questo evita la memorizzazione di oggetti Python intermedi. Finché scrivi un tweet completo per append()chiamata, questo dovrebbe funzionare.

— Adam Hughes
fonte
7
La risposta accettata indica come risolvere l'origine del problema se controlli il processo di esportazione, ma se stai utilizzando i dati di qualcun altro e devi solo affrontarli, questo è un ottimo metodo a basso costo.
— charlesreid1,
3
Molti set di dati (ad esempio: set di dati di Yelp) al giorno d'oggi sono forniti come "set" di oggetti Json e il tuo approccio è conveniente caricarli.
— Gabrer,
36

Mi sono imbattuto in questo perché stavo cercando di caricare un file JSON scaricato da MongoDB. Mi stava dando un errore

JSONDecodeError: Extra data: line 2 column 1

Il dump JSON di MongoDB ha un oggetto per riga, quindi quello che ha funzionato per me è:

import json
data = [json.loads(line) for line in open('data.json', 'r')]
— Nic Scozzaro
fonte
13

Questo può accadere anche se il tuo file JSON non è solo 1 record JSON. Un record JSON è simile al seguente:

[{"some data": value, "next key": "another value"}]

Si apre e si chiude con una parentesi [], tra parentesi ci sono le parentesi graffe {}. Possono esserci molte coppie di parentesi graffe, ma tutto termina con una parentesi chiusa]. Se il tuo file json contiene più di uno di questi:

[{"some data": value, "next key": "another value"}]
[{"2nd record data": value, "2nd record key": "another value"}]

quindi load () fallirà.

Ho verificato questo con il mio file che non funzionava.

import json

guestFile = open("1_guests.json",'r')
guestData = guestFile.read()
guestFile.close()
gdfJson = json.loads(guestData)

Questo funziona perché 1_guests.json ha un record []. Il file originale che stavo usando all_guests.json aveva 6 record separati da newline. Ho eliminato 5 record (che ho già verificato per essere prenotato tra parentesi) e salvato il file con un nuovo nome. Quindi la dichiarazione dei carichi ha funzionato.

L'errore è stato

   raise ValueError(errmsg("Extra data", s, end, len(s)))
ValueError: Extra data: line 2 column 1 - line 10 column 1 (char 261900 - 6964758)

PS. Uso la parola record, ma non è il nome ufficiale. Inoltre, se il tuo file ha caratteri newline come il mio, puoi scorrere attraverso di esso per caricare () un record alla volta in una variabile json.

— VISQL
fonte
2
C'è un modo per json.loadsleggere pezzi di json delimitati da newline? Cioè, comportarsi come [json.loads(x) for x in text.split('\n')]? Correlati: esiste una garanzia che json.dumpsnon includerà nuove righe letterali nel suo output con rientro predefinito?
— Ben
1
@Ben, per impostazione predefinita json.dumpscambierà le nuove righe nel contenuto del testo in "\n", mantenendo il tuo json su una sola riga.
— jchook,
7

Bene, potrebbe aiutare qualcuno. ho appena ricevuto lo stesso errore mentre il mio file JSON è così

{"id":"1101010","city_id":"1101","name":"TEUPAH SELATAN"}
{"id":"1101020","city_id":"1101","name":"SIMEULUE TIMUR"}

e l'ho trovato malformato, quindi l'ho cambiato in qualche modo

{
  "datas":[
    {"id":"1101010","city_id":"1101","name":"TEUPAH SELATAN"},
    {"id":"1101020","city_id":"1101","name":"SIMEULUE TIMUR"}
  ]
}
— Akbar Noto
fonte
1
caricamento proprio come il tuo, json.load (infile)
— Akbar Noto,
6

One-liner per il tuo problema:

data = [json.loads(line) for line in open('tweets.json', 'r')]
— Nihal
fonte
1
Questa non è una soluzione generale, presuppone che l'input abbia un oggetto JSON per riga e non lo interrompe.
— smci
3

Se vuoi risolverlo in un due-liner puoi farlo in questo modo: 

with open('data.json') as f:
    data = [json.loads(line) for line in f]
— coreehi
fonte
1

Penso che salvare i dadi in un elenco non sia la soluzione ideale qui proposta da @falsetru.

Il modo migliore è, iterando attraverso dicts e salvandoli in .json aggiungendo una nuova linea.

i nostri 2 dizionari sono

d1 = {'a':1}

d2 = {'b':2}

puoi scriverli su .json

import json
with open('sample.json','a') as sample:
    for dict in [d1,d2]:
        sample.write('{}\n'.format(json.dumps(dict)))

e puoi leggere il file json senza problemi

with open('sample.json','r') as sample:
    for line in sample:
        line = json.loads(line.strip())

semplice ed efficiente

— Murat Yalçın
fonte
Questa non è una soluzione generale, presuppone che l'input abbia un oggetto JSON per riga e non lo interrompe.
— smci
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.