Scrivi nel file UTF-8 in Python

Sono davvero confuso con il codecs.open function. Quando io faccio:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

Mi dà l'errore

UnicodeDecodeError: il codec 'ascii' non può decodificare il byte 0xef in posizione 0: ordinale non compreso nell'intervallo (128)

Se lo faccio:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

Funziona bene

La domanda è: perché il primo metodo fallisce? E come inserisco la bom?

Se il secondo metodo è il modo corretto di farlo, che senso ha usare codecs.open(filename, "w", "utf-8")?

Credo che il problema sia che si codecs.BOM_UTF8tratta di una stringa di byte, non di una stringa Unicode. Ho il sospetto che il gestore di file stia cercando di indovinare cosa intendi veramente basandomi su "Sono destinato a scrivere Unicode come testo con codifica UTF-8, ma mi hai dato una stringa di byte!"

Prova a scrivere direttamente la stringa Unicode per il segno dell'ordine dei byte (cioè Unicode U + FEFF), in modo che il file lo codifichi come UTF-8:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(Sembra dare la risposta giusta: un file con byte EF BB BF.)

EDIT: il suggerimento di S. Lott di usare "utf-8-sig" come codifica è migliore che scrivere esplicitamente la DBA, ma lascio qui questa risposta perché spiega cosa non andava.

Leggi quanto segue: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Fai questo

with codecs.open("test_output", "w", "utf-8-sig") as temp:
    temp.write("hi mom\n")
    temp.write(u"This has ♭")

Il file risultante è UTF-8 con la distinta base prevista.

@ S-Lott fornisce la procedura corretta, ma espandendo i problemi Unicode , l' interprete Python può fornire ulteriori approfondimenti.

Jon Skeet ha ragione (inusuale) riguardo al codecsmodulo - contiene stringhe di byte:

>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>> 

Scegliendo un altro nit, BOMha un nome Unicode standard e può essere inserito come:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'

È inoltre accessibile tramite unicodedata:

>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>> 

Uso il comando file * nix per convertire un file charset sconosciuto in un file utf-8

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()