le Big Data Appliance =====
==== BigDataLite VM von Oracle ====
Eine VM von Oracle zu dem Thema BigData kann hier gefunden werden: \\
=> http://www.ora...
<code bash>
iptables -L
service iptables off
chkconfig iptables off
chkconfig --list iptables
</code>
----
==== Daten aus Oracle mit sqoop 1.4 in das
?500 |Apache sqoop 1.99 Übersicht }}
In der Version 2 (v1.99) wird eine Client Server Architektur realisiert.
====Installation Apache Sqoop====
Voraussetzung:
* Hadopp minde... p|Eine Hadoop 2.4 Test Umgebung installieren und konfigurieren]]
Ablauf:
* Downlad Sqoop von [[http://mirror.netcologne.de/apache.org/sqoop/1.99.3/sqo
en.
Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue Date... ql/oracle_nosql.html|Oracle NoSQL DOAG Datenbank Konferenz 2014 - Düsseldorf, Dienstag, 03.Juni 2014]]... [[https://www.doag.org/formes/servlet/DocNavi?action=getFile&did=6352029|2014-05-News-Gunther-Pippèrr-
= Eine Hadoop 2.4 Test Umgebung installieren und konfigurieren =====
Ziel: Hadoop Cluster für den Ein... aufsetzen.
Ablauf:
- Standard Linux Installation
- Java 8 installieren
- Hadoop auf Node 1 auf... in Arbeit</note>
==== Standard Linux Installation mit Java 8====
Je eine VM mit Oracle Linux 6.5 64 Bit in einer Standard Installation als Server ohne X Umgebung.
Ablauf:
* Betriebs
====== Installation Oracle NoSQL Database 11gR2 (11.2.2.0.39) ======
==== Übersicht über die Architektur ====
In der folgenden Übersicht wird von einen Replikationsfaktor von Drei ausgegangen, d.h. es gibt für jede Storage mit seinen jeweiligen zugeordneten Partiti
in Softwareprodukt für die verteilte Speicherung von Daten und ein Framework für die Verarbeitung von großer Datenmengen über das MapReduce Konzept.
Ziele von Hadopp:
- Skalierbare Speicherkapazität => Hadoop Distributed FileSystem - **HDFS**
Verschlüsselung und User Login=====
Ab der Version 3 der Oracle NoSQL Datenbank sind erste Sicherheitsfeatures integriert.
Die Kommunikation zwischen dem Client und der Datenbank lässt sich ... ichtet werden.
Allerdings ist ein echtes Schema Konzept, wie in der Oracle RDBMS noch nicht umgesetzt... rt werden.
==== User Login ====
In der EE Edition kann eine Oracle Wallet für das Passwort verwende
p|Eine Hadoop 2.4 Test Umgebung installieren und konfigurieren]]
==== Überblick Hive ====
Hive verwendet das HDFS von Hadoop für die Ablage der DB Dateien und das MapR... ework zum Aufsetzen der Jobs.
Für das Data Dictionary / die Metadaten wird eine separate relationale Datenbank verwendet, die NICHT im HDFS liegt (Defau
2.zip|NoSQL Scripts}}
* Die aktuellste Version vom Script findet sich hier:
* => [[https://orapowershell.codeplex.com/SourceControl/latest#bash/ONoSQL/| OraPowerShell - Linux Scripts für die Oracle NoSQL Datenbank]]
* Konfigurations-Datei "nodelist.conf" anpassen/erstell
ore der Orace NoSQL Datenbank die Durability und Consistency - das Transaktionelle Verhalten - einstellen ======
Die Oracle NoSQL Datenbank ist eine Key-... hlüssel zugegriffen, dazu ist der Key in zwei Komponenten unterteilt, den Mayor und den Minor Key. Im ... nd die Daten zu einem Key immer ein Binärer Datencontainer (zum Beispiel ein serialisiertes Java Objek
rallelisierung geeignet
* Ursprung in der funktionalen Programmierung (Funktion map() und fold() bzw reduce())
Zwei Haupt Phasen:
* Map
* Liest ... m einzelnen:
**Client**:
* Der Client Driver konfiguriert den Job und sendet Job Anfrage an das Cluster
* Über das Interface "JobConf" wird der Job konfiguriert
**InputFormater**:
mmeln einsetzen?
Dazu muss die bestehende traditionelle Oracle Datenbank in die Welt von Hadoop und NoSQL integriert werden, um in der Kombination die Vorteilen beiden Welten für die Analyse und Archivierung von Daten einsetzen zu können.
Hadoop, mit einer ent
KVStoreFactory wird mit Hilfe der Klasse KVStoreConfig die Verbindung zu einem Store aufgebaut.
Notw... für den Zugriff auf den Store
- Parameter für Consistency und Durability definieren siehe => [[nosq... b_architektur_oracle_nosql_db_11gr2#acid_transaktionelles_verhalten|Übersicht Key-Value Store der Orac... ldb02:5000","nosqldb03:5000"}
// Config erzeugen
KVStoreConfig kvconfig = new K
QL 2.1.18 - Datenwachstum und Datendatei/Transaktionslog Verhalten =====
Bei ersten Lasttests fällt auf, das jede Operation (Einfügen, Updaten, Löschen) die scheinbare Größe... e unter der NoSQL liegende Berkeley Java DB (Version 5.0.83 in der 2.2.18) trennt die klassischen Datendateien und Transaktionslogs einer Datenbank nicht voneinander, sondern p