Cerca e sostituisci una riga in un file in Python

Voglio passare in rassegna il contenuto di un file di testo e fare una ricerca e sostituire su alcune righe e riscrivere il risultato nel file. Potrei prima caricare l'intero file in memoria e poi riscriverlo, ma probabilmente non è il modo migliore per farlo.

Qual è il modo migliore per farlo, nel seguente codice?

f = open(file)
for line in f:
    if line.contains('foo'):
        newline = line.replace('foo', 'bar')
        # how to write this newline back to the file

Immagino che qualcosa del genere dovrebbe farlo. Fondamentalmente scrive il contenuto in un nuovo file e sostituisce il vecchio file con il nuovo file:

from tempfile import mkstemp
from shutil import move, copymode
from os import fdopen, remove

def replace(file_path, pattern, subst):
    #Create temp file
    fh, abs_path = mkstemp()
    with fdopen(fh,'w') as new_file:
        with open(file_path) as old_file:
            for line in old_file:
                new_file.write(line.replace(pattern, subst))
    #Copy the file permissions from the old file to the new file
    copymode(file_path, abs_path)
    #Remove original file
    remove(file_path)
    #Move new file
    move(abs_path, file_path)

Il modo più breve sarebbe probabilmente quello di utilizzare il modulo fileinput . Ad esempio, quanto segue aggiunge numeri di riga a un file, sul posto:

import fileinput

for line in fileinput.input("test.txt", inplace=True):
    print('{} {}'.format(fileinput.filelineno(), line), end='') # for Python 3
    # print "%d: %s" % (fileinput.filelineno(), line), # for Python 2

Quello che succede qui è:

1. Il file originale viene spostato in un file di backup
2. L'output standard viene reindirizzato al file originale all'interno del ciclo
3. Pertanto, qualsiasi printistruzione riscrive nel file originale

fileinputha più campane e fischietti. Ad esempio, può essere utilizzato per operare automaticamente su tutti i file in sys.args[1:], senza che tu debba iterarli esplicitamente. A partire da Python 3.2 fornisce anche un comodo gestore di contesto da utilizzare in withun'istruzione.

Anche se fileinputè ottimo per gli script usa e getta, sarei diffidente nell'usarlo nel vero codice perché è vero che non è molto leggibile o familiare. Nel codice reale (di produzione) vale la pena spendere solo poche righe di codice per rendere esplicito il processo e rendere quindi leggibile il codice.

Esistono due opzioni:

1. Il file non è eccessivamente grande e puoi semplicemente leggerlo interamente in memoria. Quindi chiudere il file, riaprirlo in modalità di scrittura e riscrivere il contenuto modificato.
2. Il file è troppo grande per essere archiviato in memoria; puoi spostarlo su un file temporaneo e aprirlo, leggendolo riga per riga, riscrivendolo nel file originale. Si noti che ciò richiede il doppio della memoria.

Ecco un altro esempio che è stato testato e corrisponderà ai modelli di ricerca e sostituzione:

import fileinput
import sys

def replaceAll(file,searchExp,replaceExp):
    for line in fileinput.input(file, inplace=1):
        if searchExp in line:
            line = line.replace(searchExp,replaceExp)
        sys.stdout.write(line)

Esempio di utilizzo:

replaceAll("/fooBar.txt","Hello\sWorld!$","Goodbye\sWorld.")

Questo dovrebbe funzionare: (modifica sul posto)

import fileinput

# Does a list of files, and
# redirects STDOUT to the file in question
for line in fileinput.input(files, inplace = 1): 
      print line.replace("foo", "bar"),

Basato sulla risposta di Thomas Watnedal. Tuttavia, ciò non risponde esattamente alla parte line-to-line della domanda originale. La funzione può comunque essere sostituita da riga a riga

Questa implementazione sostituisce il contenuto del file senza utilizzare file temporanei, di conseguenza le autorizzazioni dei file rimangono invariate.

Inoltre re.sub invece di sostituire, consente la sostituzione regex anziché solo la sostituzione in testo normale.

La lettura del file come stringa singola anziché riga per riga consente la corrispondenza e la sostituzione su più righe.

import re

def replace(file, pattern, subst):
    # Read contents from file as a single string
    file_handle = open(file, 'r')
    file_string = file_handle.read()
    file_handle.close()

    # Use RE package to allow for replacement (also allowing for (multiline) REGEX)
    file_string = (re.sub(pattern, subst, file_string))

    # Write contents to file.
    # Using mode 'w' truncates the file.
    file_handle = open(file, 'w')
    file_handle.write(file_string)
    file_handle.close()

Come suggerisce lassevk, scrivi il nuovo file mentre procedi, ecco un esempio di codice:

fin = open("a.txt")
fout = open("b.txt", "wt")
for line in fin:
    fout.write( line.replace('foo', 'bar') )
fin.close()
fout.close()

Se vuoi una funzione generica che sostituisca qualsiasi testo con qualche altro testo, questo è probabilmente il modo migliore per andare, in particolare se sei un fan di regex:

import re
def replace( filePath, text, subs, flags=0 ):
    with open( filePath, "r+" ) as file:
        fileContents = file.read()
        textPattern = re.compile( re.escape( text ), flags )
        fileContents = textPattern.sub( subs, fileContents )
        file.seek( 0 )
        file.truncate()
        file.write( fileContents )

Un modo più pitonico sarebbe usare i gestori di contesto come il codice seguente:

from tempfile import mkstemp
from shutil import move
from os import remove

def replace(source_file_path, pattern, substring):
    fh, target_file_path = mkstemp()
    with open(target_file_path, 'w') as target_file:
        with open(source_file_path, 'r') as source_file:
            for line in source_file:
                target_file.write(line.replace(pattern, substring))
    remove(source_file_path)
    move(target_file_path, source_file_path)

Puoi trovare lo snippet completo qui .

Crea un nuovo file, copia le righe dal vecchio al nuovo ed esegui la sostituzione prima di scrivere le righe nel nuovo file.

Espandendo la risposta di @ Kiran, che concordo è più succinta e Pythonic, questo aggiunge codec per supportare la lettura e la scrittura di UTF-8:

import codecs 

from tempfile import mkstemp
from shutil import move
from os import remove


def replace(source_file_path, pattern, substring):
    fh, target_file_path = mkstemp()

    with codecs.open(target_file_path, 'w', 'utf-8') as target_file:
        with codecs.open(source_file_path, 'r', 'utf-8') as source_file:
            for line in source_file:
                target_file.write(line.replace(pattern, substring))
    remove(source_file_path)
    move(target_file_path, source_file_path)

Usando la risposta di hamishmcn come modello sono stato in grado di cercare una riga in un file che corrispondesse al mio regex e di sostituirlo con una stringa vuota.

import re 

fin = open("in.txt", 'r') # in file
fout = open("out.txt", 'w') # out file
for line in fin:
    p = re.compile('[-][0-9]*[.][0-9]*[,]|[-][0-9]*[,]') # pattern
    newline = p.sub('',line) # replace matching strings with empty string
    print newline
    fout.write(newline)
fin.close()
fout.close()

fileinput è abbastanza semplice come menzionato nelle risposte precedenti:

import fileinput

def replace_in_file(file_path, search_text, new_text):
    with fileinput.input(file_path, inplace=True) as f:
        for line in f:
            new_line = line.replace(search_text, new_text)
            print(new_line, end='')

Spiegazione:

• fileinputposso accettare più file, ma preferisco chiudere ogni singolo file non appena viene elaborato. Quindi messo single file_pathin withdichiarazione.
• printL'istruzione non stampa nulla quando inplace=True, poiché STDOUTviene inoltrata al file originale.
• end=''nel printcomunicato è quello di eliminare intermedi nuove righe vuote.

Può essere usato come segue:

file_path = '/path/to/my/file'
replace_in_file(file_path, 'old-text', 'new-text')

se rimuovi il rientro nel modo seguente, cercherà e sostituirà su più righe. Vedi sotto per esempio.

def replace(file, pattern, subst):
    #Create temp file
    fh, abs_path = mkstemp()
    print fh, abs_path
    new_file = open(abs_path,'w')
    old_file = open(file)
    for line in old_file:
        new_file.write(line.replace(pattern, subst))
    #close temp file
    new_file.close()
    close(fh)
    old_file.close()
    #Remove original file
    remove(file)
    #Move new file
    move(abs_path, file)