"Shared Nothing" => Die Cluster Knoten sind voneinander unabhängig
* "Data locality" => Daten werde... dem sich die Daten auch befinden
* "fault tolerance"=> Eine gewissen Robustheit gegenüber Fehler wird durch Redundanzen erreicht
Vorteile:
* Lineare Skalierung
*... auf sehr großen Datenmengen
Nachteil:
* Redundanz Konzept und "Data locality" erfordern schnell se
===== Die Oracle RDBMS und NoSQL Datenbank mit Hadoop verwenden =====
Wie lassen sich die beiden Welten, die Oracle RDBMS Datenbank und der NoSQL Ansatz sinnvoll für die Archivierung und das Datensammeln einsetzen?
Dazu muss die bestehende traditionelle Oracle Datenbank in die Welt von Hadoop und NoSQL integriert werd
rShell - Linux Scripts für die Oracle NoSQL Datenbank]]
* Konfigurations-Datei "nodelist.conf" anpassen/erstellen
=== Beispiel Konfiguration===
Über ... eingestellt, damit nichts im eigentlichen Skript angepasst werden muss. Jeder Knoten wird über das A... N_PORT[0]=5001
STORE_ADMIN_PORT[0]=5005
STORE_HA_RANGE[0]=5010,5020
STORE_SERVICERANGE[0]=5021,5040
S
wird von einen Replikationsfaktor von Drei ausgegangen, d.h. es gibt für jede Storage mit seinen jewe... seinen ihm zugeteilten Partitionen ( mit eine je anderen Hashkey!)
* Storage Node Replication = Kop... tion ====
Installation einer Oracle NoSQL Datenbank auf drei Oracle Linux 6.4 Server
Ablauf:
* Be... den Servern bereitstellen
* FW Konfiguration plannen, falls FW zwischen den Knoten und der eigentli
in Key Value Store =====
Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.
Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue Datenbank, die Oracle NoSQL entwickelt.
Eine zusammenfass
===== Erste Schritte mit der Oracle Big Data Appliance =====
==== BigDataLite VM von Oracle ====
Eine VM von Oracle zu dem Thema BigData kann hier gefunden werden: \\
=> http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
Um die VM in ... nicht auf localhost starten.
Dazu die /etc/hosts anpassen, bei Localhost den Namen der Maschine entfe
* Eine Art „syslog“ Demon
* Übernimmt den Transport der Log Daten
* Eine "Source" ließt die Quelle ein
* Ein "Channel" puffert zwischen
* Ein "Sink" liefert die...
==== Installation unter Linux auf einer Datenbank Umgebung ====
Da die Logs der Datenbanken auf dem Host sollen eingesammelt werden sollen, wird auf
ie Metadaten wird eine separate relationale Datenbank verwendet, die NICHT im HDFS liegt (Default ist ... en ist eine MySQL oder PostgreSQL / Oracle Datenbank empfohlen.
Per HiveQL Abfragesprache werden di... – Traditionelles Verhalten von Relationalen Datenbanken
* Die Daten werden bereits mit dem Insert... * Traditionelles ETL bereitet die Daten so auf (wandelt um) das die Daten auch zum DB Schema passen
cle NoSQL 2.1.18 - Datenwachstum und Datendatei/Transaktionslog Verhalten =====
Bei ersten Lasttests... 2.2.18) trennt die klassischen Datendateien und Transaktionslogs einer Datenbank nicht voneinander, sondern persistiert alle Operationen eine nach der nacheinander in den gleichen D
p als 3 Knoten Cluster aufsetzen.
Ablauf:
- Standard Linux Installation
- Java 8 installieren
... weiterung auf 3 Knoten in Arbeit</note>
==== Standard Linux Installation mit Java 8====
Je eine VM mit Oracle Linux 6.5 64 Bit in einer Standard Installation als Server ohne X Umgebung.
Abl... auf den Servern aufsetzen
* FW Konfiguration planen, falls FW zwischen den Hadoop Cluster und der e
ration ======
Ein wichtiger Punkt für die Performance einer Oracle NoSQL Umgebung ist das Netzwerk. Wird auf höchste Performance Wert gelegt, lohnt sich durchaus der Einsatz von InfiniBand für die Kommunikation der Knoten untereinander. Jeder Datensatz muss schnellstmöglich auf die Replik
g/ ) können Daten zwischen Hadoop und einer Datenbank ausgetauscht werden.
Architektur:
{{ :hadoop:... bc7.jar $SQOOP_HOME/server/lib/
#lib Verzeichnis anlegen
mkdir $SQOOP_HOME/lib
#1. test des Clients... in $SQOOP_HOME/server/conf den common.loader Pfad anpassen, dazu **ALLE** hadoop jar Verzeichnisse mit... muss das Haddop Config Verzeichniss konfiguriert/angepasst werden:
<code bash>
vi $SQOOP_HOME/server/
===== Mit den JE Klassen die Datendateien / Transaktionslogs analysieren der Oracle NoSQL auswerten =====
Mit den Tools der Berkely Java DB in .\lib\je.jar können die Store Node Datenbanken ausgewertet werden.
Damit diese Klassen verwe... ausgeben ===
Mit Hilfe der Original Berkeley DB Management Methoden kann auf das Transaktionslog zuge
en:**
Im aktuellen Projekt soll eine Redis Datenbank als eine Art "Queue" für sehr schnelle Anfragen für eine Mobil App dienen.
{{ :nosql:redis:redis_l... re }}
Redis ist bereits sei 2009 von Salvatore Sanfilippo und mittlerweise in der Version 3.3.5 (Dez... a Architektur.
Redis ist konsequent auf Performance ausgelegt und kann mit sehr vielen Abfragen umg
gin=====
Ab der Version 3 der Oracle NoSQL Datenbank sind erste Sicherheitsfeatures integriert.
Die Kommunikation zwischen dem Client und der Datenbank lässt sich mit SSL verschlüsseln, ein User Login kann eingerichtet werden.
Allerdings ist ein echtes ... lung ====
SSL Verschlüsselung über das Netzwerk kann aktiviert werden.
==== User Login ====
In der