====== Hadoop HDFS 2.0 File System (FS) Shell ======



Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an.


Die Befehle können über drei Wege aufgrufen werden:

  * hadoop fs {args}
  * hadoop dfs {args} => "DEPRECATED: Use of this script to execute hdfs command is deprecated"
  * hdfs dfs {args}



^Kommando^Beispiel^Erläuterung^
| -help|hdfs dfs -help|Hife über alle möglichen Befehle|
| -ls <pfad> |hdfs dfs -ls /usr | Inhalt eines Verzeichnisses anzeigen lassen - mit Schalter -h Größe formatiert|
| -count <pfad> |hdfs dfs -count  /    | Zähle alle Elemente unter einen Pfad
| -mkdir <pfad>|hdfs dfs -mkdir /user/oracle/gpi | lege ein Verzeichnis an|
| -cp <quell> <ziel>|hdfs dfs -cp test2 test3 | Kopieren im HDFS (ohne Pfadangabe im User Home)|
| -rm |hdfs dfs -rm test3 | Löschen eine Datei |
| -mv |hdfs dfs -mv test2 test3 | Verschiebe/Nennen eine Datei um|
| -get |hdfs dfs -get  test3  | hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS|
| -copyToLocal |hdfs dfs -copyToLocal test2 | Kopiere in das lokale Filesystem|
| -put |hdfs dfs -put  test2 test4 | Kopiere eine lokale Datei in des HDFS|
| -copyFromLocal |hdfs dfs -copyFromLocal | Kopiere eine lokale Datei in des HDFS|
| -cat |hdfs dfs -cat test4  | Zeige den Inhalt einer Datei auf dem HDFS an|
| -tail |hdfs dfs -tail  test4 | Tail auf eine Datei im HDFS|





==== Weitere hilfreiche Befehle für das HDFS ====


=== Welche Version von Hadoop ist im Einsatz mit "hadoop version" ===

<code bash>
hadoop version
..
Hadoop 2.3.0-cdh5.0.0
..
</code>

=== Status / Füllgrade / Größe des HDFS über "hdfs  dfsadmin -report" ===

Als HDFS superuser für mehr Details aufrufen!

<code bash>
#normaler User 
hdfs  dfsadmin -report

Configured Capacity: 105688002560 (98.43 GB)
Present Capacity: 100009517056 (93.14 GB)
DFS Remaining: 99477118976 (92.65 GB)
DFS Used: 532398080 (507.73 MB)
DFS Used%: 0.53%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0


-------------------------------------------------
report: Access denied for user root. Superuser privilege is required



#superuser (Eigentümer HDFS)

sudo -u hdfs hdfs  dfsadmin -report

...

Datanodes available: 1 (1 total, 0 dead)

Live datanodes:

....

</code>




=== Falls das HDFS im "Savemode" läuft ===

Im **Savemode** können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters.

Erkennen:
<code bash>
sudo -u hdfs hdfs  dfsadmin -safemode get

Safe mode is OFF
</code>

Einschalten:
<code bash>
sudo -u hdfs hdfs  dfsadmin -safemode enter 
</code>


Ausschalten:
<code bash>
sudo -u hdfs hdfs  dfsadmin -safemode leave 
</code>



=== Filesystem überprüfen "hdfs  fsck /" ===

Als HDFS superuser! 
<code bash>
sudo -u hdfs hdfs  fsck / -blocks -locations -files
</code>




====Quellen====

  * http://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
  * http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html