Programmazione hdfs

14

Spark: carica il file CSV come DataFrame?

Vorrei leggere un CSV in Spark e convertirlo come DataFrame e memorizzarlo in HDFS con df.registerTempTable("table_name") Ho provato: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Errore che ho ricevuto: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at …

142 scala apache-spark hadoop apache-spark-sql hdfs

3

Quali sono i vantaggi e gli svantaggi del formato del parquet rispetto ad altri formati?

Le caratteristiche di Apache Parquet sono: Autodescrittivi Formato colonnare Indipendente dalla lingua Rispetto ad Avro, Sequence Files, RC File ecc. Voglio una panoramica dei formati. Ho già letto: Come Impala funziona con i formati di file Hadoop , fornisce alcune informazioni sui formati, ma vorrei sapere come viene eseguito l'accesso …

137 file hadoop hdfs avro parquet

8

Come copiare file da HDFS nel file system locale

Come copiare file da HDFS nel file system locale. Non esiste una posizione fisica di un file sotto il file, nemmeno la directory. come posso spostarli nel mio locale per ulteriori convalide. Sono stato provato tramite winscp.

135 hadoop copy hdfs

6

Differenza tra HBase e Hadoop / HDFS

Questa è una specie di domanda ingenua, ma sono nuovo nel paradigma NoSQL e non ne so molto. Quindi, se qualcuno può aiutarmi a capire chiaramente la differenza tra HBase e Hadoop o se dare alcuni suggerimenti che potrebbero aiutarmi a capire la differenza. Fino ad ora, ho fatto qualche …

130 hadoop nosql hbase hdfs difference

9

Il nodo del nome è in modalità provvisoria. Non posso andarmene

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. non in grado di creare nulla in hdfs L'ho fatto root# bin/hadoop fs -safemode leave Ma mostrando safemode: Unknown command qual è il problema? Soluzione

122 hadoop hdfs

6

In che modo Hadoop elabora i record suddivisi tra i confini dei blocchi?

Secondo il Hadoop - The Definitive Guide I record logici definiti da FileInputFormats di solito non si adattano perfettamente ai blocchi HDFS. Ad esempio, i record logici di un TextInputFormat sono linee, che superano i confini di HDFS il più delle volte. Ciò non ha alcuna relazione con il funzionamento …

119 hadoop split mapreduce block hdfs

9

Qual è lo scopo della fase di mescolamento e ordinamento nel riduttore nella programmazione di Map Reduce?

Nella programmazione Map Reduce la fase di riduzione ha come sottoparti mescolamento, ordinamento e riduzione. Lo smistamento è un affare costoso. Qual è lo scopo della fase di mescolamento e ordinamento nel riduttore nella programmazione di Map Reduce?

113 sorting hadoop mapreduce hdfs shuffle

6

qual è la differenza tra i comandi della shell "hadoop fs" e i comandi della shell "hdfs dfs"?

Dovrebbero essere uguali? ma perché i hadoop fscomandi " " mostrano hdfs filesmentre i hdfs dfscomandi " " mostrano i file locali? ecco le informazioni sulla versione di hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilato da jenkins il lunedì 22 aprile 10:48:26 PDT 2013

109 hadoop hdfs

10

Il modo per controllare le dimensioni di una directory HDFS?

Conosco du -shi filesystem Linux comuni. Ma come farlo con HDFS?

97 hadoop command-line directory hdfs

Domande taggate «hdfs»