Come stampare il contenuto di RDD?

Sto tentando di stampare il contenuto di una raccolta sulla console Spark.

Ho un tipo:

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

E io uso il comando:

scala> linesWithSessionId.map(line => println(line))

Ma questo è stampato:

res1: org.apache.spark.rdd.RDD [Unit] = MappedRDD [4] alla mappa a: 19

Come posso scrivere l'RDD sulla console o salvarlo su disco in modo da poter visualizzare il suo contenuto?

Se vuoi visualizzare il contenuto di un RDD, un modo è usare collect():

myRDD.collect().foreach(println)

Non è una buona idea, però, quando l'RDD ha miliardi di linee. Utilizzare take()per prendere solo alcuni per la stampa:

myRDD.take(n).foreach(println)

La mapfunzione è una trasformazione , il che significa che Spark non valuterà effettivamente il tuo RDD fino a quando non esegui un'azione su di esso.

Per stamparlo, puoi usare foreach(che è un'azione):

linesWithSessionId.foreach(println)

Per scriverlo su disco è possibile utilizzare una delle saveAs...funzioni (ancora azioni) dall'API RDD

Se lo stai eseguendo su un cluster println, non verrà stampato nel tuo contesto. Devi portare i RDDdati alla tua sessione. Per fare ciò puoi forzarlo sull'array locale e quindi stamparlo:

linesWithSessionId.toArray().foreach(line => println(line))

Puoi convertire il tuo RDDin un DataFramepoi show()esso.

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

Questo mostrerà le prime 20 righe dei tuoi dati, quindi la dimensione dei tuoi dati non dovrebbe essere un problema.

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

Ci sono probabilmente molte differenze architettoniche tra myRDD.foreach(println)e myRDD.collect().foreach(println)(non solo "collect", ma anche altre azioni). Una delle differenze che ho visto è che quando lo faccio myRDD.foreach(println), l'output sarà in ordine casuale. Ad esempio: se il mio rdd proviene da un file di testo in cui ogni riga ha un numero, l'output avrà un ordine diverso. Ma quando l'ho fatto myRDD.collect().foreach(println), l'ordine rimane esattamente come il file di testo.

In pitone

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

Questo stamperà tutti i contenuti dell'RDD

c.take(10)

e la versione più recente di Spark mostrerà bene la tabella.

Invece di digitare ogni volta, puoi;

[1] Crea un metodo di stampa generico all'interno di Spark Shell.

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2] O ancora meglio, usando gli impliciti, puoi aggiungere la funzione alla classe RDD per stamparne il contenuto.

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

Utilizzo di esempio:

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

Produzione:

2
6
4
8

Importante

Ciò ha senso solo se si lavora in modalità locale e con una piccola quantità di set di dati. In caso contrario, non sarai in grado di vedere i risultati sul client o esaurirai la memoria a causa del grande risultato del set di dati.

Puoi anche salvare come file: rdd.saveAsTextFile("alicia.txt")

Nella sintassi java:

rdd.collect().forEach(line -> System.out.println(line));