Domande taggate «pyspark»

Ho installato OpenJDK 13.0.1 e python 3.8 e spark 2.4.4. Le istruzioni per testare l'installazione devono essere eseguite. \ Bin \ pyspark dalla radice dell'installazione spark. Non sono sicuro di aver perso un passaggio nell'installazione di Spark, come l'impostazione di alcune variabili di ambiente, ma non riesco a trovare ulteriori …

16 apache-spark  pyspark 

Di recente ho iniziato a ricevere un sacco di errori su una serie di pysparklavori in esecuzione su cluster EMR. Gli errori sono java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) …

12 pandas  apache-spark  pyspark  pyarrow 

Sto esplorando il comportamento di Spark quando mi unisco a un tavolo. Sto usando Databricks. Il mio scenario fittizio è: Leggi una tabella esterna come dataframe A (i file sottostanti sono in formato delta) Definire il frame di dati B come frame di dati A con solo determinate colonne selezionate …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake