Come faccio a passare una stringa in subprocess.Popen (usando l'argomento stdin)?


280

Se faccio quanto segue:

import subprocess
from cStringIO import StringIO
subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=StringIO('one\ntwo\nthree\nfour\nfive\nsix\n')).communicate()[0]

Ottengo:

Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 533, in __init__
    (p2cread, p2cwrite,
  File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 830, in _get_handles
    p2cread = stdin.fileno()
AttributeError: 'cStringIO.StringI' object has no attribute 'fileno'

Apparentemente un oggetto cStringIO.StringIO non si culla abbastanza vicino a un file duck per adattarsi al sottoprocesso.Popen. Come posso aggirare questo?


3
Invece di contestare la mia risposta con questa eliminazione, la sto aggiungendo come commento ... Lettura consigliata: post sul blog del modulo Python della settimana di Doug Hellmann su sottoprocesso .
Daryl Spitzer,

3
il post sul blog contiene più errori, ad esempio il primo esempio di codice:call(['ls', '-1'], shell=True) non è corretto. Consiglio invece di leggere le domande più comuni dalla descrizione del tag del sottoprocesso . In particolare, perché subprocess.Popen non funziona quando args è sequenza? spiega perché call(['ls', '-1'], shell=True)è sbagliato. Ricordo di aver lasciato commenti sotto il post del blog, ma non li vedo ora per qualche motivo.
jfs

Per i più recenti, subprocess.runconsultare stackoverflow.com/questions/48752152/…
Boris,

Risposte:


326

Popen.communicate() documentazione:

Si noti che se si desidera inviare dati allo stdin del processo, è necessario creare l'oggetto Popen con stdin = PIPE. Allo stesso modo, per ottenere qualcosa di diverso da Nessuno nella tupla del risultato, è necessario fornire anche stdout = PIPE e / o stderr = PIPE.

Sostituzione di os.popen *

    pipe = os.popen(cmd, 'w', bufsize)
    # ==>
    pipe = Popen(cmd, shell=True, bufsize=bufsize, stdin=PIPE).stdin

Avviso Utilizzare communic () anziché stdin.write (), stdout.read () o stderr.read () per evitare deadlock dovuti a uno qualsiasi degli altri buffer della pipe del sistema operativo che riempie e blocca il processo figlio.

Quindi il tuo esempio potrebbe essere scritto come segue:

from subprocess import Popen, PIPE, STDOUT

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())
# -> four
# -> five
# ->

Nell'attuale versione di Python 3, è possibile utilizzare subprocess.run, per passare l'input come stringa a un comando esterno e ottenere il suo stato di uscita e il suo output come stringa in una sola chiamata:

#!/usr/bin/env python3
from subprocess import run, PIPE

p = run(['grep', 'f'], stdout=PIPE,
        input='one\ntwo\nthree\nfour\nfive\nsix\n', encoding='ascii')
print(p.returncode)
# -> 0
print(p.stdout)
# -> four
# -> five
# -> 

3
Ho perso quell'avvertimento. Sono contento di averlo chiesto (anche se pensavo di avere la risposta).
Daryl Spitzer,

11
Questa NON è una buona soluzione. In particolare, non è possibile elaborare in modo asincrono l'output p.stdout.readline se lo si fa poiché si dovrebbe attendere l'arrivo dell'intero stdout. È anche inefficiente dalla memoria.
OTZ,

7
@OTZ Qual è la soluzione migliore?
Nick T,

11
@ Nick T: " meglio " dipende dal contesto. Le leggi di Newton sono valide per il dominio in cui sono applicabili, ma per progettare il GPS è necessaria una relatività speciale. Vedi Lettura non bloccante su un subprocess.PIPE in python .
jfs,

9
Ma nota la NOTA per comunicare : "non utilizzare questo metodo se la dimensione dei dati è grande o illimitata"
Owen

44

Ho capito questa soluzione alternativa:

>>> p = subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=subprocess.PIPE)
>>> p.stdin.write(b'one\ntwo\nthree\nfour\nfive\nsix\n') #expects a bytes type object
>>> p.communicate()[0]
'four\nfive\n'
>>> p.stdin.close()

Ce n'è uno migliore?


25
@Moe: l' stdin.write()uso è sconsigliato, p.communicate()dovrebbe essere usato. Vedi la mia risposta
jfs,

11
Per la documentazione del sottoprocesso: Avviso: utilizzare communic () anziché .stdin.write, .stdout.read o .stderr.read per evitare deadlock dovuti a uno qualsiasi degli altri buffer della pipe del sistema operativo che riempie e blocca il processo figlio.
Jason Mock,

1
Penso che questo sia un buon modo per farlo se sei sicuro che il tuo stdout / err non si riempirà mai (per esempio, sta andando in un file o un altro thread lo sta mangiando) e hai una quantità illimitata di dati da inviare a stdin.
Lucretiel

1
In particolare, farlo in questo modo garantisce comunque che lo stdin sia chiuso, in modo che se i sottoprocessi consumano input per sempre, communicatechiuderanno il tubo e consentiranno al processo di terminare con grazia.
Lucretiel

@Lucretiel, se il processo consuma stdin per sempre, quindi presumibilmente può ancora scrivere stdout per sempre, quindi avremmo bisogno di tecniche completamente diverse a tutto tondo (non read()è possibile, come communicate()fa anche senza argomenti).
Charles Duffy,

25

Sono un po 'sorpreso che nessuno abbia suggerito di creare una pipe, che secondo me è il modo più semplice per passare una stringa allo stdin di un sottoprocesso:

read, write = os.pipe()
os.write(write, "stdin input here")
os.close(write)

subprocess.check_call(['your-command'], stdin=read)

2
La ose la subprocessdocumentazione concordano sul fatto che dovresti preferire la seconda alla prima. Questa è una soluzione legacy che ha una sostituzione standard (leggermente meno concisa); la risposta accettata cita la documentazione pertinente.
tripleee,

1
Non sono sicuro che sia corretto, triplo. La documentazione citata spiega perché è difficile utilizzare i tubi creati dal processo, ma in questa soluzione crea un tubo e lo passa. Credo che eviti i potenziali problemi di deadlock della gestione dei tubi dopo che il processo è già stato avviato.
Graham Christensen

os.popen è deprecato a favore del sottoprocesso
hd1

2
-1: porta al deadlock, può perdere dati. Questa funzionalità è già fornita dal modulo di sottoprocesso. Usalo invece di reimplementarlo male (prova a scrivere un valore più grande di un buffer di pipe del sistema operativo)
jfs

Ti meriti il ​​miglior uomo buono, grazie per la soluzione più semplice e intelligente
Felipe Buccioni,

21

C'è una bella soluzione se stai usando Python 3.4 o superiore. Utilizzare l' inputargomento anziché l' stdinargomento, che accetta un argomento byte:

output = subprocess.check_output(
    ["sed", "s/foo/bar/"],
    input=b"foo",
)

Questo funziona per check_outputerun , ma non callo check_callper qualche motivo.


5
@vidstige Hai ragione, è strano. Vorrei considerare di archiviare questo come un bug di Python, non vedo alcuna buona ragione per cui check_outputdovrebbe avere un inputargomento, ma no call.
Flimm,

2
Questa è la risposta migliore per Python 3.4+ (usandola in Python 3.6). In effetti non funziona check_callma funziona per run. Funziona anche con input = string purché passi anche un argomento di codifica secondo la documentazione.
Nikolaos Georgiou,

13

Sto usando python3 e ho scoperto che è necessario codificare la stringa prima di poterla passare in stdin:

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=PIPE)
out, err = p.communicate(input='one\ntwo\nthree\nfour\nfive\nsix\n'.encode())
print(out)

5
Non è necessario codificare specificamente l'input, ma solo un oggetto simile a byte (ad es b'something'.). Restituirà err e uscirà anche come byte. Se vuoi evitare questo, puoi passare universal_newlines=Truea Popen. Quindi accetterà input come str e restituirà err / out come str.
Sei

2
Ma attenzione, universal_newlines=Trueconvertirai anche le tue nuove linee per adattarle al tuo sistema
Nacht,

1
Se stai usando Python 3, vedi la mia risposta per una soluzione ancora più conveniente.
Flimm,

12

Apparentemente un oggetto cStringIO.StringIO non si culla abbastanza vicino a un file duck per adattarsi al sottoprocesso.

Temo di no. La pipe è un concetto di sistema operativo di basso livello, quindi richiede assolutamente un oggetto file che è rappresentato da un descrittore di file a livello di sistema operativo. La soluzione alternativa è quella giusta.


7
from subprocess import Popen, PIPE
from tempfile import SpooledTemporaryFile as tempfile
f = tempfile()
f.write('one\ntwo\nthree\nfour\nfive\nsix\n')
f.seek(0)
print Popen(['/bin/grep','f'],stdout=PIPE,stdin=f).stdout.read()
f.close()

3
fyi, tempfile.SpooledTemporaryFile .__ doc__ dice: wrapper di file temporaneo, specializzato per passare da StringIO a un file reale quando supera una certa dimensione o quando è necessario un fileno.
Doug F,

5

Attenzione che Popen.communicate(input=s)potrebbe causare problemi se sè troppo grande, perché apparentemente il processo genitore lo bufferizzerà prima di biforcare il sottoprocesso figlio, il che significa che a quel punto ha bisogno di "memoria doppia" in uso (almeno in base alla spiegazione "sottostante" e documentazione collegata trovata qui ). Nel mio caso particolare, sera un generatore che era stato inizialmente completamente espanso e solo allora scritto in stdinmodo che il processo genitore fosse enorme proprio prima che il bambino fosse generato, e non era rimasta memoria per biforlo:

File "/opt/local/stow/python-2.7.2/lib/python2.7/subprocess.py", line 1130, in _execute_child self.pid = os.fork() OSError: [Errno 12] Cannot allocate memory


5
"""
Ex: Dialog (2-way) with a Popen()
"""

p = subprocess.Popen('Your Command Here',
                 stdout=subprocess.PIPE,
                 stderr=subprocess.STDOUT,
                 stdin=PIPE,
                 shell=True,
                 bufsize=0)
p.stdin.write('START\n')
out = p.stdout.readline()
while out:
  line = out
  line = line.rstrip("\n")

  if "WHATEVER1" in line:
      pr = 1
      p.stdin.write('DO 1\n')
      out = p.stdout.readline()
      continue

  if "WHATEVER2" in line:
      pr = 2
      p.stdin.write('DO 2\n')
      out = p.stdout.readline()
      continue
"""
..........
"""

out = p.stdout.readline()

p.wait()

4
Perché shell=Trueè così comunemente usato senza una buona ragione, e questa è una domanda popolare, vorrei sottolineare che ci sono molte situazioni in cui Popen(['cmd', 'with', 'args'])è decisamente meglio di Popen('cmd with args', shell=True)e avere la shell spezzare il comando e gli argomenti in token, ma altrimenti non fornire nulla utile, aggiungendo una notevole quantità di complessità e quindi attaccando anche la superficie.
triplo

2
p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
p.stdin.write('one\n')
time.sleep(0.5)
p.stdin.write('two\n')
time.sleep(0.5)
p.stdin.write('three\n')
time.sleep(0.5)
testresult = p.communicate()[0]
time.sleep(0.5)
print(testresult)

1

Su Python 3.7+ fai questo:

my_data = "whatever you want\nshould match this f"
subprocess.run(["grep", "f"], text=True, input=my_data)

e probabilmente vorrai aggiungerlo capture_output=Trueper ottenere l'output dell'esecuzione del comando come stringa.

Nelle versioni precedenti di Python, sostituisci text=True con universal_newlines=True:

subprocess.run(["grep", "f"], universal_newlines=True, input=my_data)
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.