Come posso scp l'output (enorme) di un comando direttamente su una macchina remota?

Nota che non posso prima archiviare il file localmente - è troppo grande.

Questa (odiosa) pagina (scorrere fino in fondo) sembra dare una risposta, ma ho problemi a districare la parte specifica delle unità a nastro:

http://webcache.googleusercontent.com/search?q=cache:lhmh960w2KQJ:www.experts-exchange.com/OS/Unix/SCO_Unix/Q_24249634.html+scp+redirect&cd=3&hl=en&ct=clnk&gl=us

Per rendere questo più concreto, ecco come pensi che potrebbe funzionare:

Sulla macchina locale:

% echo "pretend this string is a huge amt of data" | scp - remote.com:big.txt

(Sta usando la convenzione - che scp in realtà non supporta - di sostituire un trattino con il file sorgente per dirgli di prenderlo invece da stdin.)

È possibile reindirizzare in ssh ed eseguire un comando remoto. In questo caso, è il comando remoto cat > big.txtche copia lo stdin nel big.txtfile.

echo "Lots of data" | ssh user@example.com 'cat > big.txt'

È semplice e intuitivo, purché sia ​​possibile utilizzare ssh per connettersi all'estremità remota.

È inoltre possibile utilizzare nc(NetCat) per trasferire i dati. Sulla macchina ricevente (ad es. Host.example.com):

nc -l 1234 > big.txt

Questo verrà impostato ncper ascoltare la porta 1234 e copiare tutto il big.txtfile inviato a quella porta nel file. Quindi, sul mittente:

echo "Lots of data" | nc host.example.com 1234

Questo comando dirà ncsul lato di invio di connettersi alla porta 1234 sul ricevitore e copiare i dati dallo stdin attraverso la rete.

Tuttavia, la ncsoluzione presenta alcuni aspetti negativi:

• Non c'è autenticazione; chiunque potrebbe connettersi alla porta 1234 e inviare dati al file.
• I dati non sono crittografati, come sarebbero ssh.
• Se una delle macchine si trova dietro un firewall, la porta scelta dovrebbe essere aperta per consentire la connessione e instradata correttamente, in particolare sul lato ricevente.
• Entrambe le estremità devono essere impostate in modo indipendente e simultaneo. Con la sshsoluzione, è possibile avviare il trasferimento da uno solo degli endpoint.

Usando ssh:

echo "pretend this is a huge amt of data" | ssh user@remote.com 'cat > big.txt'

Utilizzare nc (Net Cat), che non deve salvare il file localmente.

Utilizzare una pipa FIFO:

mknod mypipe p
scp mypipe destination &
ls > mypipe

Grazie Denis Scherbakov!

Quando ho provato la tua sceneggiatura sul cloud di Hetzner ho capito

debug1: Sending command: scp -v -t backup-20180420120524.tar.xz.enc
debug1: client_input_channel_req: channel 0 rtype exit-status reply 0
debug1: channel 0: free: client-session, nchannels 1
debug1: fd 0 clearing O_NONBLOCK
Transferred: sent 4168, received 2968 bytes, in 0.0 seconds
Bytes per second: sent 346786.6, received 246944.0

Ma è stato creato solo un file senza contenuto. Dato che il contenuto effettivo è già crittografato con openssl, in realtà non abbiamo bisogno di scp. Il built-in di Linux ftpha anche grandi capacità di piping. Quindi ecco la mia soluzione (ancora abbastanza manuale):

#!/bin/bash

function join_e
{
  for word in $*; do
    echo -n "--exclude=$word "
  done
}


# Directory and file inclusion list
ILIST=(
  /home
)

# Directory and file exclusion list
ELIST=(
  var/lib/postgresql
)



export OPASS=fileencryptionpassword

nice -n 19 bash -c \
   "\
   tar $(join_e ${ELIST[@]}) -cpvf - -C / ${ILIST[*]} \
   | xz -c9e -T8 \
   | openssl enc -aes-256-cbc -pass env:OPASS \
   "

# decrypt with:
# cat backup.tar.xz.enc | openssl  aes-256-cbc -d  -pass env:OPASS | xz -dc | tar xv

# invocation procedure for ftp:
# $ ftp -np
# ftp> open storage.com
# ftp> user  storageuser storagepass
# ftp> put "| bash ~/backup.sh" backup.tar.xz.enc

Ecco una soluzione alternativa:

Tutti gli esempi precedenti che suggeriscono che ssh + cat presuppongono che "cat" sia disponibile sul sistema di destinazione.

Nel mio caso il sistema (backup di Hetzner) aveva un set di strumenti molto restrittivo che offre sftp, ma non una shell completa. Quindi usare ssh + cat non era possibile. Ho trovato una soluzione che utilizza flag "scp -t" non documentati. Lo script completo può essere trovato sotto.

#!/bin/bash

function join_e
{
  for word in $*; do
    echo -n "--exclude=$word "
  done
}

CDATE=`date +%Y%m%d%H%M%S`

# Make password available to all programs that are started by this shell.
export OPASS=YourSecretPasswrodForOpenSslEncryption

#-----------------------------------------------

# Directory and file inclusion list
ILIST=(
  var/lib
)

# Directory and file exclusion list
ELIST=(
  var/lib/postgresql
)

# 1. tar: combine all files into a single tar archive
#      a. Store files and directories in ILIST only.
#      b. Exclude files and directories from ELIST.
# 2. xz: compress as much as you can utilizing 8 threads (-T8)
# 3. openssl: encrypt contents using a password stored in OPASS local environment variable
# 4. cat: concatenate stream with SCP control message, which has to be sent before data
#      a. C0600 - create a file with 600 permissions
#      b. 107374182400 - maximum file size
#         Must be higher or equal to the actual file size.
#         Since we are dealing with STDIN, we have to make an educated guess.
#         I've set this value to 100x times my backups are.
#      c. stdin - dummy filename (unused)
# 5. ssh: connect to the server
#      a. call SCP in stdin (-t) mode.
#      b. specify destination filename

nice -n 19 bash -c \
   "\
   tar $(join_e ${ELIST[@]}) -cpf - -C / ${ILIST[*]} \
   | xz -c9e -T8 \
   | openssl enc -aes-256-cbc -pass env:OPASS \
   | cat <(echo 'C0600 107374182400 stdin') - \
   | ssh username@server.your-backup.de "\'"scp -t backup-${CDATE}.tar.xz.enc"\'"\
   "

Aggiornamento 2019.05.08:

Come da richiesta, di seguito è una versione molto più semplice e più breve.

#!/bin/sh

# WORKS ON LARGE FILES ONLY

cat filename.ext \
| cat <(echo 'C0600 107374182400 stdin') - \
| ssh user@host.dom 'scp -t filename.ext'