===== Redis - REmote Directory Service - Ein InMemory Key Value Store =====
**Aufgaben:**
Im aktuellen Projekt soll eine Redis Datenbank als eine Art "Queue" für sehr schnelle ... nfragen für eine Mobil App dienen.
{{ :nosql:redis:redis_lampda_architecture_v01.png | Redis as speed layer in a lampda architecture }}
Redisist bere
ey Value Store =====
Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.
Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue ... News 05-2014 (Eine Anmeldung an der DOAG Website ist allerdings erforderlich):
=> [[https://www.doag
ine tiefe Integration mit Hadoop erreichen.
Am Beispiel einer zentralen Archivierung und Auswertung v... egration oder alles neu entwickeln?====
In den meisten Umgebungen mit hohen Datenaufkommen sind berei... Oracle und Hadoop?}}
Die Integration kann zum Beispiel über das Berichtwesen erfolgen, d.h. die Date... die eigentlichen Abfragen erfolgen weiterhin klassische über eine zentrale Datenbank Umgebung, die abe
.0.zip umbenennen
* Zip Archive in ein Verzeichnis auspacken, zum Beispiel in R:\ORABIGDATA30
* Datei BigDataLite-3.0.ovf in einem Editor öffnen
*... Platten
* vmdk 3 und 4 aus dem Stage Verzeichnis in das Verzeichnis der neuen Maschine transferieren mit Hilfe des vmware-vdiskmanager (um eine kompat
damit mit einem **plan add-table** erzeugt.
Beispiel Anlegen der Tabelle EMP:
Starten der Koncole (hier als Beispiel mit einer [[nosql:lokale_testdatenbank_oracle
=====Apache Hadoop=====
Hadoop ist ein Softwareprodukt für die verteilte Speicherung von Daten und ei... opp:
- Skalierbare Speicherkapazität => Hadoop Distributed FileSystem - **HDFS**
- Skalierbare Re... ten auch befinden
* "fault tolerance"=> Eine gewissen Robustheit gegenüber Fehler wird durch Redunda... n verarbeiten zu müssen, lässt sich aber einer gewissen Menge an Daten nicht mehr wirklich skalierbar
uf Knotennamen und Management Port - in unseren Beispiel 5000
$JDK_HOME/bin/jconsole nosqldb03:5000
... Java JMX Console aktivieren ===
Eine Alternative ist das Aktivieren der Default Java Console.
Java S... önnen unter anderen mit dem Werkzeug Oracle Java Misson Control (ab jdk 7u40 ) ausgewertet werden.
Das... m jmc.exe liegt dazu unter JAVA_HOME\bin Verzeichnis des JDK.
{{:nosql:oracle_nosql_java_misson_cont
herheitsfeatures integriert.
Die Kommunikation zwischen dem Client und der Datenbank lässt sich mit S... User Login kann eingerichtet werden.
Allerdings ist ein echtes Schema Konzept, wie in der Oracle RDB... CE Edition====
Ablauf:
* Store stoppen
* Basis Security Configuration anlegen <code bash>
java -... KVStore/security/store.keys
</code>
* Verzeichnis security auf alle KVRROOT's und Knoten verteilen
====Oracle NoSQL 12cR1.3 - Oracle Enterprise Manager Integration ====
Ab der EE Version 3 der Oracle NoSQL Datenbank seht unter dem lib Verzeichnis ein Plugin für den Oracle EM Manager zur Verfügun... l.snab_2000_0.opar " aus dem $KVHOME/lib Verzeichnis auf dem OEM Host kopieren.
Mit **emcli** das Pl... Plugin
Successfully uploaded the update to Enterprise Manager. Use the Self Update Console to manage t
===== Oracle NoSQL v3 Installation automatisieren =====
Die Installation eines NoSQL Stores lässt sich gut automatisieren.
Neu kann nun auch ein Store mit Password Security automatisch angelegt werden.
=== Vorbereitung ===
* Umg... einrichten
* SSH Connect für den Oracle User zwischen den Knoten einrichten, siehe [[linux:vi#ssh_k
e Eigenschaften zu prüfen.
Vorbereitung:
* Zwischen den Knoten per SSL Key Austausch einen Login ohne Password zu realisieren siehe [[linux:vi#ssh_key_austausch |Key aust... NoSQL Datenbank]]
* Konfigurations-Datei "nodelist.conf" anpassen/erstellen
=== Beispiel Konfiguration===
Über die Datei nodelist.conf wird die Umge
SQL Database, Server ]] laden und entpacken, im Beispiel nach D:\work\kv-ce-3.0.14.
Für den Store legen wir ein Arbeitsverzeichnis an, im Beispiel R:\KVSTORE.
Eine Java SE Umgebung in der Version 7 muss auf dem Rechner bereitstehe... wird nur gestartet, eine eigentliche Installation ist bei der Oracle NoSQL im Prinzip nicht notwendig.
en Oracle NoSQL ab der Version 2.1.8 =====
Die Beispiele beziehen sich nun auf die Version **12cR1.3.... tore mit "connect store -name KVStore" erfolgen,
Ist die Password Security eingeschaltet muss das Cre... 00.
</code>
Damit der Client Standalone (zum Beispiel für das Monitoring) verwendet werden kann ben
iehe => http://sqoop.apache.org/ ) können Daten zwischen Hadoop und einer Datenbank ausgetauscht werde... 2 (v1.99) wird eine Client Server Architektur realisiert.
====Installation Apache Sqoop====
Vorauss... ient auf dem Server installiert
* siehe zum Beispiel diese Hadoop Umgebung [[nosql:hadoop_first_se... * JDBC Treiber in das Sqoop Server Lib Verzeichnis kopieren
* Test
Ablauf:
<code bash>
# auspac