Domande taggate «bigdata»

Scrivere più di 50 milioni da Pyspark df a PostgresSQL, il miglior approccio efficiente

Quale sarebbe il modo più efficiente per inserire milioni di record dire 50 milioni da un frame di dati Spark a Tabelle Postgres. In passato l' ho fatto da Spark a MSSQL facendo uso dell'opzione di copia bulk e dimensione batch che ha avuto successo. C'è qualcosa di simile che …

16 postgresql apache-spark pyspark apache-spark-sql bigdata

Usare R per risolvere il gioco Lucky 26

Sto cercando di mostrare a mio figlio come la codifica può essere utilizzata per risolvere un problema posto da un gioco e di vedere come R gestisce i big data. Il gioco in questione si chiama "Lucky 26". In questo gioco i numeri (1-12 senza duplicati) sono posizionati su 12 …

15 r bigdata permutation

Apache Spark: impatto di ripartizionamento, ordinamento e memorizzazione nella cache su un join

Sto esplorando il comportamento di Spark quando mi unisco a un tavolo. Sto usando Databricks. Il mio scenario fittizio è: Leggi una tabella esterna come dataframe A (i file sottostanti sono in formato delta) Definire il frame di dati B come frame di dati A con solo determinate colonne selezionate …

10 apache-spark pyspark bigdata azure-databricks delta-lake

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.