Lib Verzeichnis kopieren
* Test
Ablauf:
<code bash>
# auspacken
cd /opt/hadoop/product
wget http... 99.3-bin-hadoop200 sqoop
#Umgebung setzen
vi ~/.bashrc
..
#Sqoop
export SQOOP_HOME=/opt/hadoop/produc... /sqoop
export PATH=$SQOOP_HOME/bin:$PATH
..
. ~/.bashrc
#Copy Oracle JDBC Driver in das server Lib ve... ar Verzeichnisse mit in den Pfad aufnehmen!
<code bash>
vi $SQOOP_HOME/server/conf/catalina.properties
ernen und einen eigenen Eintrag hinzufügen:
<code bash>
127.0.0.1 localhost localhost.localdomain loc... (natürlich nur in einer Testumgebung .-) )!
<code bash>
iptables -L
service iptables off
chkconfig iptab... geladen werden
Datenbank Connect testen:
<code bash>
sqoop list-databases --connect jdbc:oracle:thin...
</code>
Tabellen eines Users auflisten:
<code bash>
sqoop list-tables --connect jdbc:oracle:thin:@/
installieren und Umgebung wie unter Linux in der .bashrc setzen:
<code bash>
#Hadoop Home
export HADOOP_HOME=/cygdrive/d/entwicklung/libraries/hadoop-2.4.1
... lgender Fehler mit dem Classpath geworfen:
<code bash>
$ ./hadoop version
Fehler: Hauptklasse org.apach... Script den Aufbau vom Klassenpfad anpassen:
<code bash>
export HADOOP_CLASSPATH=$(cygpath -pw $($HADOOP_
stoppen und mit dem neuen Home starten ===
<code bash>
#java -jar $OLD_KVHOME/lib/kvstore.jar stop -roo... N mit der aktuellen Software anmelden ===
<code bash>
java -jar $KVHOME/lib/kvstore.jar runadmin -port... folge für den Upgrade anzeigen lassen mit:
<code bash>
kv-> show upgrade-order
Calculating upgrade orde... neuen Home (neuer Software Stand) starten.
<code bash>
[oracle@nosqldb03 ~]$ java -jar /opt/oracle/prod
op ist im Einsatz mit "hadoop version" ===
<code bash>
hadoop version
..
Hadoop 2.3.0-cdh5.0.0
..
</cod... HDFS superuser für mehr Details aufrufen!
<code bash>
#normaler User
hdfs dfsadmin -report
Configur... erweise beim Start des Clusters.
Erkennen:
<code bash>
sudo -u hdfs hdfs dfsadmin -safemode get
Safe mode is OFF
</code>
Einschalten:
<code bash>
sudo -u hdfs hdfs dfsadmin -safemode enter
</c
org/download.html und prüfen der md5 Summe:
<code bash>
http://ftp-stud.hs-esslingen.de/pub/Mirrors/ftp... eichnis für die Konfiguration ist bekannt.
<code bash>
/usr/lib/flume-ng/bin/flume-ng version
ls - /u... iguration erstellt und der Agent gestartet:
<code bash>
vi /etc/flume-ng/conf/agent2-conf.properties
#... ink den Agent auf dem Hadoop Node angeben:
<code bash>
# Testen ob der Sink auf dem HDFS Node überhaup
//orapowershell.codeplex.com/SourceControl/latest#bash/ONoSQL/| OraPowerShell - Linux Scripts für die Or... strativen Befehle verwendet werden soll.
<code bash nodelist.conf>
#List of all nodes of the store
ST... " setzen!
=== Das eigentliche Script ===
<code bash noSQLStore.sh>
#!/bin/sh
#
# Part of the Gunther ... EK
DAY="`date +%d`"
export DAY
. ${SCRIPTS_DIR}/bash_lib.sh
#########################################
f - Globale Einstellungen für alle Stores<code bash store.conf>
#####################################... ration für den aktuellen Store mit 3 Knoten <code bash nodelist.conf>
#List of all nodes of the store
ST... ://orapowershell.codeplex.com/SourceControl/latest#bash/ONoSQL/| OraPowerShell Bash NoSQL Scripts ]]
rt anpassen
* Store komplett neu starten
<code bash>
# Admin Console starten
java -jar $KVHOME/lib/kv... SN's neu starten
</code>
==== Test:====
<code bash>
# Port Verwendung:
netstat -ntap | grep java
</code>
Test mit tcpdump auf Fehler:
<code bash>
# alle Packete zum noSQL Server abfangen:
tcpd... 2.168.10.10
</code>
IP Tables einstellen:
<code bash>
# einschalten
chkconfig --level 0123456 iptables