Come posso scaricare in modo efficiente un file di grandi dimensioni utilizzando Go?

Esiste un modo per scaricare un file di grandi dimensioni utilizzando Go che memorizzerà il contenuto direttamente in un file invece di archiviarlo tutto in memoria prima di scriverlo su un file? Poiché il file è così grande, archiviarlo tutto in memoria prima di scriverlo su un file userà tutta la memoria.

Suppongo che tu intenda scaricare tramite http (controlli di errore omessi per brevità):

import ("net/http"; "io"; "os")
...
out, err := os.Create("output.txt")
defer out.Close()
...
resp, err := http.Get("http://example.com/")
defer resp.Body.Close()
...
n, err := io.Copy(out, resp.Body)

Il corpo di http.Response è un Reader, quindi puoi utilizzare qualsiasi funzione che richieda un Reader, ad esempio, per leggere un pezzo alla volta piuttosto che tutto in una volta. In questo caso specifico, io.Copy()fa il grugnito per te.

Una versione più descrittiva della risposta di Steve M.

import (
    "os"
    "net/http"
    "io"
)

func downloadFile(filepath string, url string) (err error) {

  // Create the file
  out, err := os.Create(filepath)
  if err != nil  {
    return err
  }
  defer out.Close()

  // Get the data
  resp, err := http.Get(url)
  if err != nil {
    return err
  }
  defer resp.Body.Close()

  // Check server response
  if resp.StatusCode != http.StatusOK {
    return fmt.Errorf("bad status: %s", resp.Status)
  }

  // Writer the body to file
  _, err = io.Copy(out, resp.Body)
  if err != nil  {
    return err
  }

  return nil
}

La risposta selezionata sopra utilizzando io.Copyè esattamente ciò di cui hai bisogno, ma se sei interessato a funzionalità aggiuntive come la ripresa di download interrotti, la denominazione automatica dei file, la convalida del checksum o il monitoraggio dell'avanzamento di più download, controlla il pacchetto grab .

1. Ecco un esempio. https://github.com/thbar/golang-playground/blob/master/download-files.go

2. Inoltre ti do alcuni codici che potrebbero aiutarti.

codice:

func HTTPDownload(uri string) ([]byte, error) {
    fmt.Printf("HTTPDownload From: %s.\n", uri)
    res, err := http.Get(uri)
    if err != nil {
        log.Fatal(err)
    }
    defer res.Body.Close()
    d, err := ioutil.ReadAll(res.Body)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("ReadFile: Size of download: %d\n", len(d))
    return d, err
}

func WriteFile(dst string, d []byte) error {
    fmt.Printf("WriteFile: Size of download: %d\n", len(d))
    err := ioutil.WriteFile(dst, d, 0444)
    if err != nil {
        log.Fatal(err)
    }
    return err
}

func DownloadToFile(uri string, dst string) {
    fmt.Printf("DownloadToFile From: %s.\n", uri)
    if d, err := HTTPDownload(uri); err == nil {
        fmt.Printf("downloaded %s.\n", uri)
        if WriteFile(dst, d) == nil {
            fmt.Printf("saved %s as %s\n", uri, dst)
        }
    }
}