Aggiornare
S3 ora offre un servizio gateway SFTP completamente gestito per S3 che si integra con IAM e può essere amministrato usando aws-cli.
Ci sono ragioni teoriche e pratiche per cui questa non è una soluzione perfetta, ma funziona ...
È possibile installare un servizio FTP / SFTP (come proftpd) su un server Linux, in EC2 o nel proprio data center ... quindi montare un bucket nel filesystem in cui il server ftp è configurato per chroot, usando s3fs .
Ho un client che serve contenuto da S3 e il contenuto è fornito da una terza parte che supporta solo push ftp ... quindi, con qualche esitazione (a causa della mancata corrispondenza dell'impedenza tra S3 e un vero filesystem) ma mancante il tempo di scrivere un pacchetto software server gateway FTP / S3 adeguato (che intendo ancora fare uno di questi giorni), ho proposto e distribuito questa soluzione per loro diversi mesi fa e non hanno segnalato alcun problema con il sistema.
Come bonus, dal momento che proftpd può chroot ogni utente nella propria directory home e "fingere" (per quanto l'utente può dire) che i file di proprietà dell'utente proftpd sono effettivamente di proprietà dell'utente che ha effettuato l'accesso, questo segrega ogni utente ftp in una "sottodirectory" del bucket e rende inaccessibili i file degli altri utenti.
Si è verificato un problema con la configurazione predefinita.
Una volta che inizi a ottenere alcune decine o centinaia di file, il problema si manifesterà quando si estrae un elenco di directory, poiché ProFTPd tenterà di leggere i .ftpaccessfile più e più volte e ancora e per ogni file nella directory, .ftpaccessviene controllato per vedere se l'utente dovrebbe essere autorizzato a visualizzarlo.
È possibile disabilitare questo comportamento in ProFTPd, ma suggerirei che la configurazione più corretta è quella di configurare opzioni aggiuntive -o enable_noobj_cache -o stat_cache_expire=30in s3fs:
-o stat_cache_expire (il valore predefinito non scade)
specifica il tempo di scadenza (secondi) per le voci nella cache delle statistiche
Senza questa opzione, effettuerai meno richieste a S3, ma non scoprirai sempre in modo affidabile le modifiche apportate agli oggetti se processi esterni o altre istanze di s3fs stanno modificando anche gli oggetti nel bucket. Il valore "30" nel mio sistema è stato selezionato in qualche modo arbitrariamente.
-o enable_noobj_cache (il valore predefinito è disabilitato)
abilitare le voci della cache per l'oggetto che non esiste. s3fs deve sempre verificare se il file (o la sottodirectory) esiste sotto l'oggetto (percorso) quando s3fs esegue alcuni comandi, poiché s3fs ha riconosciuto una directory che non esiste e ha sottodirectory file o sotto. Aumenta la richiesta di ListBucket e peggiora le prestazioni. È possibile specificare questa opzione per le prestazioni, s3fs memorizza nella cache delle statistiche che l'oggetto (file o directory) non esiste.
Questa opzione consente a s3fs di ricordare che .ftpaccessnon c'era.
Non correlato ai problemi di prestazioni che possono sorgere con ProFTPd, che sono stati risolti dalle modifiche precedenti, è necessario abilitare anche -o enable_content_md5in s3fs.
-o enable_content_md5 (il valore predefinito è disabilitato)
verifica dei dati caricati senza multipart dall'intestazione content-md5. Abilita l'invio dell'intestazione "Content-MD5" durante il caricamento di un oggetto senza registrazione multipart. Se questa opzione è abilitata, ha alcune influenze sulle prestazioni di s3fs durante il caricamento di piccoli oggetti. Poiché s3fs controlla sempre MD5 durante il caricamento di oggetti di grandi dimensioni, questa opzione non ha effetto su oggetti di grandi dimensioni.
Questa è un'opzione che non avrebbe mai dovuto essere un'opzione: dovrebbe essere sempre abilitata, perché non farlo ignora un controllo critico di integrità per solo un vantaggio trascurabile in termini di prestazioni. Quando un oggetto viene caricato su S3 con Content-MD5:un'intestazione, S3 convalida il checksum e rifiuta l'oggetto se è corrotto durante il trasporto. Per quanto improbabile possa essere, sembra miope disabilitare questo controllo di sicurezza.
Le citazioni sono dalla pagina man di s3fs. Gli errori grammaticali si trovano nel testo originale.