Domande taggate «hadoop»

Hadoop è un progetto open source Apache che fornisce software per l'elaborazione distribuita affidabile e scalabile. Il nucleo è costituito da un file system distribuito (HDFS) e da un gestore di risorse (YARN). Vari altri progetti open source, come Apache Hive, utilizzano Apache Hadoop come livello di persistenza.

6
qual è la differenza tra i comandi della shell "hadoop fs" e i comandi della shell "hdfs dfs"?
Dovrebbero essere uguali? ma perché i hadoop fscomandi " " mostrano hdfs filesmentre i hdfs dfscomandi " " mostrano i file locali? ecco le informazioni sulla versione di hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilato da jenkins il lunedì 22 aprile 10:48:26 PDT 2013
109 hadoop  hdfs 
15
Impossibile individuare il file binario winutils nel percorso binario hadoop
Ricevo il seguente errore durante l'avvio di namenode per l'ultima versione di hadoop-2.2. Non ho trovato il file exe di winutils nella cartella bin hadoop. Ho provato sotto i comandi $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in …
108 hadoop 
15
Esiste un .NET equivalente ad Apache Hadoop? [chiuso]
Chiuso. Questa domanda non soddisfa le linee guida di Stack Overflow . Attualmente non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Stack Overflow. Chiuso 4 anni fa . Migliora questa domanda Quindi, ho guardato Hadoop con vivo interesse e, ad essere …
98 c#  .net  hadoop  mapreduce 
18
hadoop Nessun FileSystem per schema: file
Sto cercando di eseguire un semplice NaiveBayesClassiferutilizzo di hadoop, ottenendo questo errore Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Codice : Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), …
96 java  hadoop  io 
7
Avro vs. Parquet
Ho intenzione di utilizzare uno dei formati di file hadoop per il mio progetto relativo a hadoop. Ho capito parquet è efficace per la query colonna based e Avro per scansione completa o quando abbiamo bisogno di tutti i dati colonne! Prima di procedere e scegliere uno dei formati di …
92 hadoop  avro  parquet 
28
connettersi alla porta host localhost 22: connessione rifiutata
Durante l'installazione di hadoop nella mia macchina locale, ho ricevuto il seguente errore ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: …
90 linux  hadoop  ssh 
5
Parquet vs ORC vs ORC con Snappy
Sto eseguendo alcuni test sui formati di archiviazione disponibili con Hive e sto utilizzando Parquet e ORC come opzioni principali. Ho incluso ORC una volta con la compressione predefinita e una volta con Snappy. Ho letto molti documenti che affermano che Parquet è migliore in termini di complessità tempo / …
88 hadoop  hive  parquet  snappy  orc 
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.