ruby 1.9: sequenza di byte non valida in UTF-8

Sto scrivendo un crawler in Ruby (1.9) che utilizza molto HTML da molti siti casuali.
Quando ho provato a estrarre i collegamenti, ho deciso di usare solo al .scan(/href="(.*?)"/i)posto di nokogiri / hpricot (maggiore velocità). Il problema è che ora ricevo molti " invalid byte sequence in UTF-8" errori.
Da quello che ho capito, la net/httplibreria non ha opzioni specifiche di codifica e il materiale che arriva non è fondamentalmente etichettato correttamente.
Quale sarebbe il modo migliore per lavorare effettivamente con i dati in arrivo? Ho provato .encodecon le opzioni di sostituzione e non valide impostate, ma finora nessun successo ...

In Ruby 1.9.3 è possibile utilizzare String.encode per "ignorare" le sequenze UTF-8 non valide. Ecco uno snippet che funzionerà sia in 1.8 ( iconv ) che 1.9 ( String # encode ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

o se hai un input davvero fastidioso puoi fare una doppia conversione da UTF-8 a UTF-16 e di nuovo a UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

La risposta accettata né l'altra risposta funzionano per me. Ho trovato questo post che ha suggerito

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Questo ha risolto il problema per me.

La mia soluzione attuale è eseguire:

my_string.unpack("C*").pack("U*")

Questo almeno eliminerà le eccezioni che erano il mio problema principale

Prova questo:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Ti consiglio di utilizzare un parser HTML. Trova quello più veloce.

L'analisi dell'HTML non è così facile come potrebbe sembrare.

I browser analizzano le sequenze UTF-8 non valide, nei documenti HTML UTF-8, inserendo semplicemente il simbolo " ". Quindi, una volta che la sequenza UTF-8 non valida nell'HTML viene analizzata, il testo risultante è una stringa valida.

Anche all'interno dei valori degli attributi devi decodificare entità HTML come amp

Ecco una grande domanda che riassume il motivo per cui non è possibile analizzare in modo affidabile l'HTML con un'espressione regolare: RegEx corrisponde ai tag aperti tranne ai tag XHTML autonomi

Questo sembra funzionare:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Ho riscontrato una stringa, che aveva mescolanze di inglese, russo e altri alfabeti, che hanno causato un'eccezione. Ho bisogno solo del russo e dell'inglese, e questo attualmente funziona per me:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Mentre la soluzione di Nakilon funziona, almeno per quanto riguarda il superamento dell'errore, nel mio caso, ho avuto questo strano carattere f-ed up originato da Microsoft Excel convertito in CSV che si stava registrando in ruby ​​come (prendilo) cirillico K che in ruby era un K in grassetto. Per risolvere questo problema ho usato "iso-8859-1", vale a dire. CSV.parse(f, :encoding => "iso-8859-1"), che ha trasformato le mie bizzarre K in cirillico in un molto più maneggevole /\xCA/, che ho potuto rimuovere constring.gsub!(/\xCA/, '')

Prima dell'uso scan, assicurati che l' Content-Typeintestazione della pagina richiesta sia text/html, poiché possono esserci collegamenti a cose come immagini che non sono codificate in UTF-8. La pagina potrebbe anche essere non html se hai preso hrefun <link>elemento in qualcosa di simile . La modalità di verifica varia a seconda della libreria HTTP che stai utilizzando. Quindi, assicurati che il risultato sia solo ascii con String#ascii_only?(non UTF-8 perché HTML dovrebbe usare solo ascii, le entità possono essere usate altrimenti). Se entrambi i test vengono superati, è sicuro da usare scan.

Se non ti "interessano" i dati puoi semplicemente fare qualcosa come:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

L'ho appena valid_encoding?passato. Il mio è un campo di ricerca, quindi trovavo la stessa stranezza più e più volte, quindi ho usato qualcosa del tipo: solo per evitare che il sistema si rompa. Dal momento che non controllo l'esperienza dell'utente per l'autovalidazione prima di inviare queste informazioni (come il feedback automatico per dire "finto!") Posso semplicemente prenderlo, rimuoverlo e restituire risultati vuoti.