Il metodo migliore per leggere i file delimitati da newline e scartare i newline?

Sto cercando di determinare il modo migliore per gestire l'eliminazione dei newline durante la lettura di file delimitati da newline in Python.

Quello che ho trovato è il seguente codice, includi codice usa e getta da testare.

import os

def getfile(filename,results):
   f = open(filename)
   filecontents = f.readlines()
   for line in filecontents:
     foo = line.strip('\n')
     results.append(foo)
   return results

blahblah = []

getfile('/tmp/foo',blahblah)

for x in blahblah:
    print x

Suggerimenti?

lines = open(filename).read().splitlines()

Ecco un generatore che fa quello che hai richiesto. In questo caso, l'uso di rstrip è sufficiente e leggermente più veloce di strip.

lines = (line.rstrip('\n') for line in open(filename))

Tuttavia, molto probabilmente vorrai usarlo per sbarazzarti anche degli spazi vuoti finali.

lines = (line.rstrip() for line in open(filename))

Cosa ne pensate di questo approccio?

with open(filename) as data:
    datalines = (line.rstrip('\r\n') for line in data)
    for line in datalines:
        ...do something awesome...

L'espressione del generatore evita di caricare l'intero file in memoria e withgarantisce la chiusura del file

for line in file('/tmp/foo'):
    print line.strip('\n')

Usa semplicemente le espressioni del generatore:

blahblah = (l.rstrip() for l in open(filename))
for x in blahblah:
    print x

Inoltre, voglio consigliarti di non leggere l'intero file in memoria: il loop sui generatori è molto più efficiente su grandi set di dati.

Io uso questo

def cleaned( aFile ):
    for line in aFile:
        yield line.strip()

Allora posso fare cose come questa.

lines = list( cleaned( open("file","r") ) )

Oppure, posso estendere la pulizia con funzioni extra, ad esempio, eliminare righe vuote o saltare righe di commento o altro.

Lo farei così:

f = open('test.txt')
l = [l for l in f.readlines() if l.strip()]
f.close()
print l