==== Oracle NoSQL 2.1.18 - Datenwachstum und Datendatei/Transaktionslog Verhalten =====
Bei ersten Last... 5.0.83 in der 2.2.18) trennt die klassischen Datendateien und Transaktionslogs einer Datenbank nicht vone... tionen eine nach der nacheinander in den gleichen Dateien.
Ein Background Job, der Cleaner, der Berkeley Java DB bereinigt die Datenbank Dateien bei Bedarf im Hintergrund, aber erst immer dan
e Oracle Log Files, z.B. die klassische Alert.log Datei. Auch neigt diese Art von Daten stark dazu, sich ... istributed File System - HDFS:===
Speichert die Dateien durch das Aufteilen in Blöcken und verhindert D... aries implementiert
* Liegt über einem nativen Dateisystem wie ext3,ext4,xfs
* Sehr gut geeignet für große Dateien
* Dateien sind nicht veränderbar, Mit Hadoop
hlt in der Oracle Datenbank angelegt und pro Datendatei im HDFS ein Locatoin File im Fileystem im Verzeic... ble Exports, Hive Tabellen und strukturierte Text Dateien ausgelesen werden.
Wird nun auf die External ... nd erzeugt eine Datenstrom auf die entsprechenden Dateien im HDFS.
Übersicht:
{{ :hadoop:oracle_sql_con... reprozessor Anweisung und die Angabe der Location Dateien mit den Informationen (im XML) Format, wo auf d
rwendet das HDFS von Hadoop für die Ablage der DB Dateien und das MapReduce Framework zum Aufsetzen der J... t Standard SQL====
Eine Tabelle in Hive ist eine Datei auf dem HDFS.
Aber ungewohnt für Oracle DBA's, b... belle wird definiert, wie die dazu passende Daten Datei aufgebaut sein sollte (Schema on Read Konzept).
... nicht unterstützt wird!
Daten direkt aus einer Datei in die Hive Table einlesen, die zuvor auf dem HDF
n einen Online Redo Log und den eigentlichen Datendateien.
Auch existiert kein Undo Tablespace für die „... ages“ eines Datensatzes. Alles wird über die Datendateien abgewickelt.
Jede Aktion auf den Daten führt zu einem Eintrag in die Datendateien, auch das Löschen!
Das führt dazu, dass die Da... rund ein „Cleaner Thread“ gestartet, der die Datendateien optimiert.
* [[nosql:log_file_verhalten_oracle
oop===
Für den Zugriff auf die Hadoop Lib in der Datei catalina.properties in $SQOOP_HOME/server/conf de... det sich unter **$SQOOP_HOME/server/conf** in der Datei **sqoop_bootstrap.properties** und der Datei **sqoop.properties**.
In der **sqoop.properties** muss das... c/hadoop/
</code>
Die Ports lassen sich mit der Datei **$SQOOP_HOME/server/bin/setenv.sh** über **SQOOP
onslog der DB gemeint, also quasi die "alert.log" Datei!**
=== je.info Files im env Verzeichnis ===
Im... chniss fallen nach einiger Zeit viele je.info.<n> Dateien auf.
In den Dateien steht zum Beispiel die Log Information der Cleaner Tasks.
Mit der Java Properity ... .logging API]].
Mit der entsprechenden Properity Datei sollte sich das Verhalten einstellen lassen, Frag
===== Mit den JE Klassen die Datendateien / Transaktionslogs analysieren der Oracle NoSQL auswerten =====... ==
Füllgrad und Größe der Daten/Transaktionslog Dateien anzeigen mit **"com.sleepycat.je.util.DbSpace"*... rStats“** kann auch einfacher die Performance CSV Datei ausgewertet werden.
Dazu wird angegeben welche S... v
#Füllgrad und Größe der Daten/Transaktionslog Dateien anzeigen mit:
java -classpath $KVCLASS com.sle
oten prüfen und bei Bedarf die Namen in der hosts Datei eintragen. Darauf achten, dass auch der eigene Na... hadoop** einrichtet.
Die folgende Konfigurationsdateien werden anpassen/erstellen:
* core-site.xml
... ser
hdfs dfs -mkdir /user/gpipperr
</code>
Eine Datei auf in das Hadoop Filesystem kopieren:
<code bas
eine Hive Table erzeugen===
Mit einer Job Steuerdatei nach dem Standard Hadoop Methoden eine MapReduce ... de>
Mit der obigen Konfiguration finden sich die Dateien im HDFS nun hier:
<code bash>
hdfs dfs -ls /us... _session/oraloader-00001-dp-0.dat
</code>
Diese Datein können nun als Datenquelle für eine external Tab
r die Oracle NoSQL Datenbank]]
* Konfigurations-Datei "nodelist.conf" anpassen/erstellen
=== Beispiel Konfiguration===
Über die Datei nodelist.conf wird die Umgebung eingestellt, dami
n1 -target ~/sn1.config
</code>
Mit der erzeugen Datei, in unseren Beispiel "sn1.config.zip", kann eine ... starten, beim Start erkennt der Node die Snapshot Dateien zum Recovery
=== Test 1 - Restore eines Nodes
en bis der Storage Node die Transaktion in die Logdatei geschrieben und diese auf Platte synchronisiert h... en bis der Storage Node die Transaktion in die Logdatei im Cache geschrieben hat ( Nicht auf Platte gesch
===
=== Architektur ===
==Struktur der XML Log Datei im DIAG Verzeichnis==
zum Beispiel dieser typisc... nt auf dem DB Server liest als Source die XML Log Datei des Listeners ein.
Ein Channel im Memory sorgt