Come caricare il bilanciamento delle istanze sftp su AWS


10

Mi piace sapere se è possibile caricare i sftpserver di bilanciamento AWS. Ho 2 server e ognuno dei miei server sta usando s3fs-fuseper montare lo stesso S3 bucketsu un mount point. Entrambe le mie ec2istanze sono in grado di leggere / scrivere nei loro punti di montaggio e S3, da , posso vedere i file da entrambi i server.

Quello che sto cercando è di dover SFTPtrasferire file e utilizzare Amazon S3per archiviare i miei file. I file sarebbero caricati e scaricati ogni giorno.

https://github.com/s3fs-fuse/s3fs-fuse

Per quanto riguarda il mio prossimo passo, mi piace sapere come posso bilanciare il carico dei miei sftpserver, in modo che quando un utente si connette a un indirizzo IP specifico, li reindirizzerà a uno dei miei sftpserver. Ho dato un'occhiata elastic load balancers, ma sembrano consentire solo porte specifiche. Ho anche studiato HAProxy, ma non sono sicuro di quanto sarà sicura quella soluzione. Devo prendere HIPAAin considerazione la conformità. Il bilanciamento del carico deve essere un indirizzo IP statico poiché i nostri fornitori non supportano DNS hostnames.


7
Non ho mai voluto incendiarmi così come faccio ora.
Wesley il

3
TBH, usando s3fs-fuse per PHI sembra abbastanza sciocco.
EEAA,

Per la cronaca, oggi gli ELB supportano tutte le porte (1-65535): aws.amazon.com/blogs/aws/… . Tuttavia, gli ELB richiedono anche ai client di utilizzare il nome DNS generato da AWS (che indica anche due indirizzi IP pubblici, che possono cambiare).
Jukka,

La domanda più grande è però: perché vuoi caricare il bilanciamento? Se è per HA, avrai ancora uno SPoF nel tuo haproxy. Se è per i requisiti della CPU di SSH, sarebbe difficile da credere, ma un motivo valido.
w00t,

Inoltre, hai preso in considerazione la possibilità di chiedere al tuo fornitore di supportare caricamenti S3 crittografati? Per niente difficile ...
w00t,

Risposte:


22

Il mio commento potrebbe probabilmente usare alcuni chiarimenti. Ho vomitato con l'eloquenza di uno yak inebriato:

Non ho mai voluto incendiarmi così come faccio ora.

Perché? Perché dovrei dire una cosa del genere? Principalmente perché sono una persona orribile. Tuttavia, a parte questo, posso spiegare il mio sfogo esaminando il post originale frammentario:

Mi piace sapere se è possibile caricare i server sftp in AWS.

Sì. Impossibile è niente . Ma sappi che se non ottieni uno speciale pacchetto SFTP, il bilanciamento del carico dipenderà interamente da te. Il servizio essendo SFTP e ospitato in AWS è irrilevante.

Ho 2 server e ognuno dei miei server sta usando s3fs-fuse per montare lo stesso bucket S3 su un mount point. Entrambe le mie istanze ec2 sono in grado di leggere / scrivere nei loro punti di montaggio e da S3, posso vedere i file da entrambi i server.

Sei partito alla grande con un file system condiviso, nonostante le prestazioni e l'affidabilità dell'installazione.

Per quanto riguarda il mio prossimo passo, mi piace sapere come posso bilanciare il carico dei miei server SFTP, in modo che quando un utente si connette a un indirizzo IP specifico, li reindirizzerà a uno dei miei server SFTP.

La domanda ora è: perché vuoi caricare il bilanciamento. Esiste una quantità fantastica di throughput e potenza di elaborazione offerta dal catalogo delle istanze di Amazon e la necessità di bilanciare il carico SFTP significherebbe che ti stai avvicinando ai livelli porno di attività di rete. Mantenerlo semplice, ripetibile e resiliente ove possibile. Ottieni un i2.xlarge con un demone SFTP in esecuzione su di esso e dovresti andare bene, qualunque cosa accada. Costruiscilo con Puppet / Chef / $trendy-config-management-toole sei in affari. Andando avanti comunque ...

Ho dato un'occhiata ai bilanciatori di carico elastici, ma sembrano consentire solo porte specifiche. Ho anche studiato HAProxy, ma non sono sicuro di quanto sarà sicura quella soluzione.

HAproxy è esattamente il tipo di strumento di cui hai bisogno. La tua incertezza sulla sicurezza viene facilmente dissipata con solo poche ore di lettura. Il mio desiderio di autoimmolazione sta sorgendo da questo punto in poi. Se non sei sicuro di qualcosa, vai sicuro. HAProxy è la scelta per molti istituti finanziari, ospedali e governi.

Devo prendere in considerazione la conformità HIPAA.

Totalmente compreso, ma la conformità non è principalmente il ruolo degli strumenti. Dovrai comprendere i concetti alla base dei requisiti di conformità HIPAA e vedere come HAproxy può soddisfarli. HAProxy non è né conforme a HIPAA né non conforme a HIPAA. Indipendentemente dallo strumento che utilizzi, dovrai verificare in modo indipendente i presupposti e i requisiti sottostanti delle tue esigenze di conformità e normative. Infatti, semmai, S3 e l'uso delle istanze di Amazon dovrebbero essere controllati più attentamente rispetto all'uso di HAproxy.

Il bilanciamento del carico deve essere un indirizzo IP statico poiché i nostri fornitori non supportano i nomi host DNS

Questo. Questo l'ha fatto. Il tuo fornitore è cattivo e dovrebbe sentirsi male. Ora voglio saltare nella lava. Non supportare qualcosa di base come la risoluzione DNS non è del tutto correlato, ma è anche come dire "Un'auto deve avere un motore per usarla". Beh, certo. Naturalmente un bilanciamento del carico avrà la possibilità di utilizzare un indirizzo IP statico. Ci sono molte altre considerazioni che devi considerare sopra semplici indirizzi IP statici.

TL; DR

Sì, puoi caricare il bilanciamento SFTP con HAproxy. La conformità HIPAA spetta a te discernere e la scelta dello strumento non selezionerà le caselle. Hai qualche googling da fare e documentazione da leggere.

Ho delle fiamme da spegnere.


Grazie per il feedback e i suggerimenti onesti. Li guarderò, ma questo mi darà un inizio.
Popopanda,

7
Questa è la mia risposta preferita su SF da un po 'di tempo. <3
Ceejayoz,

Netscaler ha anche una modalità SFTP per server virtuali, che potrebbe essere utile considerare anche questo. Un'appliance Netscaler supportata da istanze EC2 (con diverse opzioni di larghezza di banda) è disponibile sul mercato AWS. Costa soldi però.
Jukka,

Dopo aver lavorato nell'IT sanitario per quasi un decennio, i fornitori di terze parti non sono in grado di supportare le ricerche DNS, utilizzando domini non accessibili tra sistemi e altri livelli dispari che sorvolano gli standard accettati non sono particolarmente sorprendenti e si verificano molto più spesso di quanto chiunque vorrebbe. Ad esempio, diversi anni fa, un fornitore mi ha detto che non poteva supportare l'autenticazione con chiave pubblica ssh perché non utilizzava password che potevano essere ruotate ogni 30 giorni. L'HIPAA sembra causare una certa quantità di iperparanoia e confusione. Sono sorpreso che AWS sia disposto a diventare un BA.
Andrew Domaszek,

0

Sì. È possibile utilizzando AWS Load Balancer.

  1. Creare un bilanciamento del carico con listener sulla porta 22.
  2. Crea un gruppo target con 2 istanze SFTP.
  3. Allineare correttamente i tuoi SG sia sull'istanza che sul bilanciamento del carico.
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.