Programmazione mapreduce

9

Java8: HashMap <X, Y> su HashMap <X, Z> utilizzando Stream / Map-Reduce / Collector

So come "trasformare" un semplice Java Listda Y-> Z, ovvero: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Ora vorrei fare sostanzialmente lo stesso con una mappa, vale a dire: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } OUTPUT: { …

210 java mapreduce java-8 java-stream collectors

4

Buoni esempi MapReduce [chiuso]

Allo stato attuale, questa domanda non è adatta al nostro formato di domande e risposte. Ci aspettiamo che le risposte siano supportate da fatti, riferimenti o competenze, ma questa domanda probabilmente solleciterà dibattiti, argomenti, sondaggi o discussioni estese. Se ritieni che questa domanda possa essere migliorata e possibilmente riaperta, visita …

202 mapreduce

8

Semplice spiegazione di MapReduce?

Relativo alla mia domanda CouchDB . Qualcuno può spiegare MapReduce in termini comprensibili a numbnuts?

166 frameworks mapreduce glossary

3

Mappa e riduci in .NET

Quali scenari giustificherebbe l'uso dell'algoritmo " Mappa e riduci "? Esiste un'implementazione .NET di questo algoritmo?

152 c# mapreduce

13

Concatenamento di più lavori MapReduce in Hadoop

In molte situazioni di vita reale in cui si applica MapReduce, gli algoritmi finali finiscono per essere diversi passaggi di MapReduce. cioè Map1, Reduce1, Map2, Reduce2 e così via. Quindi hai l'output dell'ultima riduzione necessaria come input per la mappa successiva. I dati intermedi sono qualcosa che (in generale) non …

124 hadoop mapreduce

6

In che modo Hadoop elabora i record suddivisi tra i confini dei blocchi?

Secondo il Hadoop - The Definitive Guide I record logici definiti da FileInputFormats di solito non si adattano perfettamente ai blocchi HDFS. Ad esempio, i record logici di un TextInputFormat sono linee, che superano i confini di HDFS il più delle volte. Ciò non ha alcuna relazione con il funzionamento …

119 hadoop split mapreduce block hdfs

9

Qual è lo scopo della fase di mescolamento e ordinamento nel riduttore nella programmazione di Map Reduce?

Nella programmazione Map Reduce la fase di riduzione ha come sottoparti mescolamento, ordinamento e riduzione. Lo smistamento è un affare costoso. Qual è lo scopo della fase di mescolamento e ordinamento nel riduttore nella programmazione di Map Reduce?

113 sorting hadoop mapreduce hdfs shuffle

4

Come funziona l'algoritmo di ordinamento MapReduce?

Uno dei principali esempi che viene utilizzato per dimostrare la potenza di MapReduce è il benchmark Terasort . Ho problemi a comprendere le basi dell'algoritmo di ordinamento utilizzato nell'ambiente MapReduce. Per me l'ordinamento implica semplicemente la determinazione della posizione relativa di un elemento in relazione a tutti gli altri elementi. …

110 algorithm sorting parallel-processing hadoop mapreduce

15

Esiste un .NET equivalente ad Apache Hadoop? [chiuso]

Chiuso. Questa domanda non soddisfa le linee guida di Stack Overflow . Attualmente non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Stack Overflow. Chiuso 4 anni fa . Migliora questa domanda Quindi, ho guardato Hadoop con vivo interesse e, ad essere …

98 c# .net hadoop mapreduce

10

Apache Spark può funzionare senza hadoop?

Esistono dipendenze tra Spark e Hadoop ? In caso contrario, ci sono funzionalità che mi mancheranno quando eseguo Spark senza Hadoop ?

91 hadoop amazon-s3 apache-spark mapreduce mesos

10

La clausola $ in di MongoDB garantisce l'ordine

Quando si utilizza la $inclausola di MongoDB , l'ordine dei documenti restituiti corrisponde sempre all'ordine dell'argomento dell'array?

90 mongodb mongoose mapreduce mongodb-query aggregation-framework

8

Il contenitore è in esecuzione oltre i limiti di memoria

In Hadoop v1, ho assegnato a ciascuno 7 slot di mappatura e riduttore con dimensioni di 1 GB, i miei mappatori e riduttori funzionano bene. La mia macchina ha una memoria 8G, 8 processori. Ora con YARN, quando si esegue la stessa applicazione sulla stessa macchina, ho ricevuto un errore …

85 hadoop mapreduce yarn mrv2

7

Cos'è Map / Reduce?

Ho sentito parlare molto di map / reduce, specialmente nel contesto del sistema di elaborazione massicciamente parallelo di Google. Cos'è esattamente?

84 language-agnostic mapreduce

Domande taggate «mapreduce»