Come spostare i file in hdf in hadoop usando il comando unix

0

Ho 2 directory "dft" e "hdfs" nella cartella Hadoop decompressa. Sto cercando di copiare il file (StartUnit.txt) in dft in hdfs. Il comando e l'eccezione corrispondenti sono indicati di seguito

313159@PC213710 ~/hadoop-0.19.1
$ bin/hadoop dfs -copyFromLocal D:/eclipse/cygwin/home/313159/hadoop-0.19.1/hdfs              
D:/eclipse/cygwin/home/313159/hadoop-0.19.1/dft/StartUnit.txt

HADOOP_NAMENODE_OPTS=-Dcom.sun.management.jmxremote
HADOOP_SECONDARYNAMENODE_OPTS=-Dcom.sun.management.jmxremote
HADOOP_DATANODE_OPTS=-Dcom.sun.management.jmxremote
HADOOP_BALANCER_OPTS=-Dcom.sun.management.jmxremote
HADOOP_JOBTRACKER_OPTS=-Dcom.sun.management.jmxremote
HADOOP_PID_DIR=-Dcom.sun.management.jmxremote
copyFromLocal: Pathname /D:/eclipse/cygwin/home/313159/hadoop-0.19.1/dft/StartUnit.txt 
    from D:/eclipse/cygwin/home/313159/hadoop-0.19.1/dft/StartUnit.txt is not a  
valid DFS filename.
Usage: java FsShell [-copyFromLocal <localsrc> ... <dst>]

qualcuno può suggerirmi ...

unix hadoop cygwin

— Shreyuth
fonte

0

Innanzitutto è necessario specificare l'origine (file system locale) e quindi la destinazione (HDFS). Esegui il comando come di seguito e dovrebbe funzionare.

bin/hadoop dfs -mkdir /hdfs
bin/hadoop dfs -copyFromLocal D:/eclipse/cygwin/home/313159/hadoop-0.19.1/dft/StartUnit.txt /hdfs/StartUnit.txt

— Praveen Sripati
fonte

hadoop fs -moveFromLocal /home/Desktop/project/data/access-0.log hdfs://localhost:54310 project/data/access-0.lognon succede niente?

— NIMISHAN,

0

Il problema è ora risolto. Ecco la soluzione

313159@PC213710 ~/hadoop-0.19.1

$ bin/hadoop  fs  –copyFromLocal  testdriver/sample.txt  /user/cts/313159/In

Questo comando copia il sample.txtfile nella directory testdriver nella directory hdfs In.

Se il percorso /user/cts/313159/In, questo comando crea il percorso e copia il file al suo interno.

— Shreyuth
fonte

Se questa è la soluzione al tuo problema, dovresti contrassegnare la risposta come accettata.

— simlev