Sto cercando di trovare l'equivalente di Java con Groovy:

String content = "http://www.google.com".toURL().getText();

Voglio leggere il contenuto di un URL in stringa. Non voglio inquinare il mio codice con flussi e loop bufferizzati per un compito così semplice. Ho esaminato HttpClient di apache ma non vedo l'implementazione a una o due righe.

Ora che è passato del tempo dall'accettazione della risposta originale, esiste un approccio migliore:

String out = new Scanner(new URL("http://www.google.com").openStream(), "UTF-8").useDelimiter("\\A").next();

Se si desidera un'implementazione leggermente più completa, che non è una riga singola, procedere come segue:

public static String readStringFromURL(String requestURL) throws IOException
{
    try (Scanner scanner = new Scanner(new URL(requestURL).openStream(),
            StandardCharsets.UTF_8.toString()))
    {
        scanner.useDelimiter("\\A");
        return scanner.hasNext() ? scanner.next() : "";
    }
}

Questa risposta si riferisce a una versione precedente di Java. Potresti voler guardare la risposta di ccleve.

Ecco il modo tradizionale per farlo:

import java.net.*;
import java.io.*;

public class URLConnectionReader {
    public static String getText(String url) throws Exception {
        URL website = new URL(url);
        URLConnection connection = website.openConnection();
        BufferedReader in = new BufferedReader(
                                new InputStreamReader(
                                    connection.getInputStream()));

        StringBuilder response = new StringBuilder();
        String inputLine;

        while ((inputLine = in.readLine()) != null) 
            response.append(inputLine);

        in.close();

        return response.toString();
    }

    public static void main(String[] args) throws Exception {
        String content = URLConnectionReader.getText(args[0]);
        System.out.println(content);
    }
}

Come ha suggerito @extraneon , ioutils ti consente di farlo in un modo molto eloquente che è ancora nello spirito di Java:

 InputStream in = new URL( "http://jakarta.apache.org" ).openStream();

 try {
   System.out.println( IOUtils.toString( in ) );
 } finally {
   IOUtils.closeQuietly(in);
 }

Oppure usa semplicemente Apache Commons IOUtils.toString(URL url)o la variante che accetta anche un parametro di codifica.

Ora che è trascorso più tempo, ecco un modo per farlo in Java 8:

URLConnection conn = url.openConnection();
try (BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), StandardCharsets.UTF_8))) {
    pageText = reader.lines().collect(Collectors.joining("\n"));
}

C'è un modo ancora migliore di Java 9:

URL u = new URL("http://www.example.com/");
try (InputStream in = u.openStream()) {
    return new String(in.readAllBytes(), StandardCharsets.UTF_8);
}

Come nell'esempio originale, questo presuppone che il contenuto sia codificato UTF-8. (Se hai bisogno di qualcosa di più intelligente di quello, devi creare un URLConnection e usarlo per capire la codifica.)

Esempio aggiuntivo usando Guava:

URL xmlData = ...
String data = Resources.toString(xmlData, Charsets.UTF_8);

Se hai il flusso di input (vedi la risposta di Joe) considera anche ioutils.toString (inputstream).

http://commons.apache.org/io/api-1.4/org/apache/commons/io/IOUtils.html#toString(java.io.InputStream )

Quanto segue funziona con Java 7/8, URL sicuri e mostra come aggiungere un cookie anche alla tua richiesta. Nota che questa è principalmente una copia diretta di quest'altra ottima risposta in questa pagina , ma ha aggiunto l'esempio di cookie e chiarimenti in quanto funziona anche con URL sicuri ;-)

Se è necessario connettersi a un server con un certificato non valido o un certificato autofirmato, ciò genererà errori di sicurezza a meno che non si importi il ​​certificato. Se è necessaria questa funzionalità, è possibile prendere in considerazione l'approccio dettagliato in questa risposta a questa domanda correlata su StackOverflow.

Esempio

String result = getUrlAsString("https://www.google.com");
System.out.println(result);

uscite

<!doctype html><html itemscope="" .... etc

Codice

import java.net.URL;
import java.net.URLConnection;
import java.io.BufferedReader;
import java.io.InputStreamReader;

public static String getUrlAsString(String url)
{
    try
    {
        URL urlObj = new URL(url);
        URLConnection con = urlObj.openConnection();

        con.setDoOutput(true); // we want the response 
        con.setRequestProperty("Cookie", "myCookie=test123");
        con.connect();

        BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));

        StringBuilder response = new StringBuilder();
        String inputLine;

        String newLine = System.getProperty("line.separator");
        while ((inputLine = in.readLine()) != null)
        {
            response.append(inputLine + newLine);
        }

        in.close();

        return response.toString();
    }
    catch (Exception e)
    {
        throw new RuntimeException(e);
    }
}

Ecco la bella risposta di Jeanne, ma racchiusa in una funzione ordinata per i muppet come me:

private static String getUrl(String aUrl) throws MalformedURLException, IOException
{
    String urlData = "";
    URL urlObj = new URL(aUrl);
    URLConnection conn = urlObj.openConnection();
    try (BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream(), StandardCharsets.UTF_8))) 
    {
        urlData = reader.lines().collect(Collectors.joining("\n"));
    }
    return urlData;
}

URL a String in Java puro

Chiamata di esempio

 String str = getStringFromUrl("YourUrl");

Implementazione

È possibile utilizzare il metodo descritto in questa risposta, su Come leggere l'URL su un InputStream e combinarlo con questa risposta su Come leggere InputStream su String .

Il risultato sarà qualcosa di simile

public String getStringFromUrl(URL url) throws IOException {
        return inputStreamToString(urlToInputStream(url,null));
}

public String inputStreamToString(InputStream inputStream) throws IOException {
    try(ByteArrayOutputStream result = new ByteArrayOutputStream()) {
        byte[] buffer = new byte[1024];
        int length;
        while ((length = inputStream.read(buffer)) != -1) {
            result.write(buffer, 0, length);
        }

        return result.toString(UTF_8);
    }
}

private InputStream urlToInputStream(URL url, Map<String, String> args) {
    HttpURLConnection con = null;
    InputStream inputStream = null;
    try {
        con = (HttpURLConnection) url.openConnection();
        con.setConnectTimeout(15000);
        con.setReadTimeout(15000);
        if (args != null) {
            for (Entry<String, String> e : args.entrySet()) {
                con.setRequestProperty(e.getKey(), e.getValue());
            }
        }
        con.connect();
        int responseCode = con.getResponseCode();
        /* By default the connection will follow redirects. The following
         * block is only entered if the implementation of HttpURLConnection
         * does not perform the redirect. The exact behavior depends to 
         * the actual implementation (e.g. sun.net).
         * !!! Attention: This block allows the connection to 
         * switch protocols (e.g. HTTP to HTTPS), which is <b>not</b> 
         * default behavior. See: /programming/1884230 
         * for more info!!!
         */
        if (responseCode < 400 && responseCode > 299) {
            String redirectUrl = con.getHeaderField("Location");
            try {
                URL newUrl = new URL(redirectUrl);
                return urlToInputStream(newUrl, args);
            } catch (MalformedURLException e) {
                URL newUrl = new URL(url.getProtocol() + "://" + url.getHost() + redirectUrl);
                return urlToInputStream(newUrl, args);
            }
        }
        /*!!!!!*/

        inputStream = con.getInputStream();
        return inputStream;
    } catch (Exception e) {
        throw new RuntimeException(e);
    }
}

Professionisti

• È pura java

• Può essere facilmente migliorato aggiungendo diverse intestazioni (invece di passare un oggetto null, come nell'esempio sopra), autenticazione, ecc.

• È supportata la gestione di switch di protocollo