Domande taggate «yarn»

Apache Spark: il numero di core rispetto al numero di esecutori

Sto cercando di capire la relazione tra il numero di core e il numero di esecutori durante l'esecuzione di un processo Spark su YARN. L'ambiente di test è il seguente: Numero di nodi di dati: 3 Specifiche della macchina del nodo dati: CPU: Core i7-4790 (N. di core: 4, N. …

195 hadoop apache-spark yarn

Spark Kill Running Application

Ho un'applicazione Spark in esecuzione in cui occupa tutti i core in cui le mie altre applicazioni non verranno assegnate alcuna risorsa. Ho fatto alcune ricerche veloci e le persone hanno suggerito di usare YARN kill o / bin / spark-class per uccidere il comando. Tuttavia, sto usando la versione …

101 apache-spark yarn pyspark

Il contenitore è in esecuzione oltre i limiti di memoria

In Hadoop v1, ho assegnato a ciascuno 7 slot di mappatura e riduttore con dimensioni di 1 GB, i miei mappatori e riduttori funzionano bene. La mia macchina ha una memoria 8G, 8 processori. Ora con YARN, quando si esegue la stessa applicazione sulla stessa macchina, ho ricevuto un errore …

85 hadoop mapreduce yarn mrv2

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.