==== Oracle NoSQL 2.1.18 - Datenwachstum und Datendatei/Transaktionslog Verhalten =====
Bei ersten Last... * je.log.fileMax
* Maximale Größe einer Log Datei
* je.log.bufferSize
* Minimale Größe einer Log Datei bei der Neuanlage
Weitere wichtige Parameter s... lassen sich ab der NoSQL Version 2.1.18 über die Datei „je.config.csv" überprüfen (liegt im env Verzeich
hlt in der Oracle Datenbank angelegt und pro Datendatei im HDFS ein Locatoin File im Fileystem im Verzeic... r einen fest kodierten Eintrag in der „hadoop.sh“ Datei gelungen.
Auch darf die Hive Tabelle darf keine... legen einer Oracle External Table kann eine Shell Datei aufgerufen werden.
Als Aufrufparameter erhält die Shell Datei dabei die LOCATION Angabe der External Table.
I
e Oracle Log Files, z.B. die klassische Alert.log Datei. Auch neigt diese Art von Daten stark dazu, sich ... er verteilt (default 3 fach)
* Die Blöcke einer Datei werden auf verschiedenen Knoten abgelegt
{{ :had... und INode Daten des Filesystems) werden in einer Datei "fsimage" zum Zeitpunkt t gespeichert, alle Änderungen am Filesystem werden in der Datei "edits" protokolliert.
Diese Daten werden dann
t Standard SQL====
Eine Tabelle in Hive ist eine Datei auf dem HDFS.
Aber ungewohnt für Oracle DBA's, b... belle wird definiert, wie die dazu passende Daten Datei aufgebaut sein sollte (Schema on Read Konzept).
... nicht unterstützt wird!
Daten direkt aus einer Datei in die Hive Table einlesen, die zuvor auf dem HDFS abgelegt wurden:
<code bash>
#Lade Datei in dem Format anlegen, wie beim Anlegen der Tabel
oop===
Für den Zugriff auf die Hadoop Lib in der Datei catalina.properties in $SQOOP_HOME/server/conf de... det sich unter **$SQOOP_HOME/server/conf** in der Datei **sqoop_bootstrap.properties** und der Datei **sqoop.properties**.
In der **sqoop.properties** muss das... c/hadoop/
</code>
Die Ports lassen sich mit der Datei **$SQOOP_HOME/server/bin/setenv.sh** über **SQOOP
r die Oracle NoSQL Datenbank]]
* Konfigurations-Datei "nodelist.conf" anpassen/erstellen
=== Beispiel Konfiguration===
Über die Datei nodelist.conf wird die Umgebung eingestellt, dami
onslog der DB gemeint, also quasi die "alert.log" Datei!**
=== je.info Files im env Verzeichnis ===
Im... .logging API]].
Mit der entsprechenden Properity Datei sollte sich das Verhalten einstellen lassen, Frag
en bis der Storage Node die Transaktion in die Logdatei geschrieben und diese auf Platte synchronisiert h... en bis der Storage Node die Transaktion in die Logdatei im Cache geschrieben hat ( Nicht auf Platte gesch
===
=== Architektur ===
==Struktur der XML Log Datei im DIAG Verzeichnis==
zum Beispiel dieser typisc... nt auf dem DB Server liest als Source die XML Log Datei des Listeners ein.
Ein Channel im Memory sorgt
oten prüfen und bei Bedarf die Namen in der hosts Datei eintragen. Darauf achten, dass auch der eigene Na... ser
hdfs dfs -mkdir /user/gpipperr
</code>
Eine Datei auf in das Hadoop Filesystem kopieren:
<code bas
oten prüfen und bei Bedarf die Namen in der hosts Datei eintragen. Darauf achten, dass auch der eigenen N... 0
</code>
Start Script einrichten:
<code bash>
# datei nach /etc/init.d/nosql
# rechte
chmod 777 /etc/i
ity
</code>
* ADMIN_SEC_CONFIG => TRUE => die Datei unter ADMIN_SECRET (Wird in KVROOT/security ge... rt und Stop über den init.d Mechanismus steht die Datei "startStopNoSQL.sh" als Template zur Verfügung.
Writable>"** abgeleitet
* Pro split/Block einer Datei wird eine Mapper Instance gestartet
**Shuffle-An... .csv already exists
</code>
Nur wenn in der Jar Datei die Main Klasse definiert wird und ein Aufruf nac
plikation/Job starten===
mit **"hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input... Dir>"**
\\
oder alternaativ mit **"yarn jar <jar-datei-mit-der-applikation> <Main classname>"** wird ein