uf das HDFS zugegriffen werden, müssen alle Services/Dienste auf dem Netzwerkinterface und nicht auf l... die Firewall ausschalten (natürlich nur in einer Testumgebung .-) )!
<code bash>
iptables -L
service iptables off
chkconfig iptables off
chkconfig --list iptables
</code>
----
==== Daten
erbare Speicherkapazität => Hadoop Distributed FileSystem - **HDFS**
- Skalierbare Rechenkapazität ... an Daten nicht mehr wirklich skalierbar mit den bestehenden Lösungen umsetzen.
Daten, die im ersten Schritt für das Tags Geschäft bisher nicht so wichtige waren, müssen vermehrt ebenfalls gespeichert und verarbeitet werden. Meist sind diese,
soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB o... - Oracle Taipei Office ]]
Veröffentlichung zu diesem Thema in der DOAG News 05-2014 (Eine Anmeldung ... ngs erforderlich):
=> [[https://www.doag.org/formes/servlet/DocNavi?action=getFile&did=6352029|2014-0... die-traditionelle-Datenbank.pdf]]
Bzw. über Slideshare
Deutsch - Übersicht:
[slideshare id=51535551
g und das Datensammeln einsetzen?
Dazu muss die bestehende traditionelle Oracle Datenbank in die Welt... bank Umgebungen werden die möglichen Konzepte dargestellt und vertieft.
Siehe auch meinen Vortrag zu diesem Thema auf einem DOAG Hadoop Workshop und der DO... DOAG 2014 - Nürnberg 18.11.2014]]
Bzw. unter Sildeshare:
[slideshare id=51535733&doc=oraclehadoop-doa
n Apache Sqoop====
Voraussetzung:
* Hadopp mindestens als Client auf dem Server installiert
* siehe zum Beispiel diese Hadoop Umgebung [[nosql:hadoop_first_setup|Eine Hadoop 2.4 Test Umgebung installieren und konfigurieren]]
Abla... [http://www.oracle.com/technetwork/database/features/jdbc/jdbc-drivers-12c-download-1958347.html|Oracl
lick ====
Mit Apache Flume können Log Events eingesammelt und zentral auf dem HDFS abgelegt werden.
... die Logs der Datenbanken auf dem Host sollen eingesammelt werden sollen, wird auf dem Host Flume installiert.
Weitere Libraries sind nicht notwendig.
Download der Software : ht... en der md5 Summe:
<code bash>
http://ftp-stud.hs-esslingen.de/pub/Mirrors/ftp.apache.org/dist/flume/1
nen Replikationsfaktor von Drei ausgegangen, d.h. es gibt für jede Storage mit seinen jeweiligen zugeo... n" die automatisch immer aktuell gehalten werden.
Es werden drei physikalische Server eingesetzt.
{{ :nosql:oracle_nosql_architektur_uebersicht.png?500 |... latz
* SNA = Storage Node Agent = Kontroll Prozess
* KVStore = Das Speicherarray mit den Storage
=====
Vorrausetzung:\\
Hadoop installiert und gestartet, siehe [[nosql:hadoop_first_setup|Eine Hadoop 2.4 Test Umgebung installieren und konfigurieren]]
==== ... Für größere Umgebungen ist eine MySQL oder PostgreSQL / Oracle Datenbank empfohlen.
Per HiveQL Abfragesprache werden diese MapReduce Jobs gesteuert/gesta
Transaktionslog Verhalten =====
Bei ersten Lasttests fällt auf, das jede Operation (Einfügen, Updaten, Löschen) die scheinbare Größe des Stores auf der Platte stetig stark wachsen lässt.
Die unter der NoSQL liegende Berkeley Java DB (Ver... rse Randparameter erfüllt sind.
Um die I/O Last des Systems möglichst niedrig zu halten, findet das U
auf, d.h, die Datenhaltung ist der klare Fokus dieser Datenbank.
Im Gegensatz dazu ist Redis mit der InMemory Struktur ideal für sehr schnelles Einfügung und Abfragen.
Der Speicherinhalt kann... n, aber darin sehe ich zur Zeit nicht den Fokus diese Datenbank Lösung. Dieses schreiben auf Platte dient mehr dazu, im Fehlerfall schneller (bzw. überhau
zw reduce())
Zwei Haupt Phasen:
* Map
* Liest Key/Value Paare ein und gibt Key/Value Paare je ... diate_value)) -> list(out_value)
=== Ein erstes Beispiel ===
Übersicht - eine Liste aller in den... nfiguriert
**InputFormater**:
* Der Mapper Prozesse verwendet einen InputFormater um die Daten zu lesen
**Mapper**:
* Der Mapper ließt die Daten in
v3 in einem Skript umsetzen=====
Per Script wird es einfacher den gesamten Store über die verteilten Knoten zu starten / zu stoppen und wichtige Eigensch... tps://orapowershell.codeplex.com/SourceControl/latest#bash/ONoSQL/| OraPowerShell - Linux Scripts für ... ber die Datei nodelist.conf wird die Umgebung eingestellt, damit nichts im eigentlichen Skript angepas
ärer Datencontainer (zum Beispiel ein serialisiertes Java Objekt) und damit nicht selbst beschreibend.
==== Der Aufbau des Keys====
Der Mayor Key definiert (über das Ergebnis des MD5 Hash % Anzahl der Partitionen) in welcher Par
Mit der Oracle NoSQL aber lassen sich Snapshots des gesamten Stores erzeugen. Auf Basis dieser über alle Knoten konsistenten Snapshots kann ein echtes Backup Konzept rea