===== Redis - REmote Directory Service - Ein InMemory Key Value Store =====
**Aufgaben:**
Im aktuellen Projekt soll eine Redis D... itecture }}
Redis ist bereits sei 2009 von Salvatore Sanfilippo und mittlerweise in der Version 3.3.... Redis ist im Prinzip ein Key Value InMemory Data Store, d.h. die ideale Komponente für den Speed Layer
===== Die Oracle NoSQL Database - Ein Key Value Store =====
Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.
Auf Basis der soliden Berkeley D... r
[slideshare id=51535426&doc=oraclenosql-twjug-oktober2014taiwanprintv01-150812085112-lva1-app6892]
... kmale der Oracle NoSQL Datenbank:
* Key-Value Store
* Key besteht aus zwei Komponenten - den Ma
GDATA30
* Datei BigDataLite-3.0.ovf in einem Editor öffnen
* Die im obigen Screenshot in der Feh... Oberfläche nach Bedarf einstellen
* VirtualBox Tools deinstallieren<code bash>/opt/VBoxGuestAdditions-4.2.22/uninstall.sh</code>
* VMWare Tools installieren
* Platten prüfen
* Reboot wag... \Program Files (x86)\VMware\VMware Workstation\OVFTool\ovftool.exe" nicht weiter, besser Platte neu mi
nk wird das Konzept der Tabelle in den Key-Value Store eingeführt.
Neben der Vereinfachung der Entwick... auch das Konzept eines Index auf die Values des Stores zur Verfügung.
Eine Tabelle wird erst mit **t... VHOME%\lib\kvcli.jar -host localhost -port 5000 -store kvstore
</code>
Die Tabelle anlegen:
<code java>
kv-> table create -name emp -desc "Die Mitarbe
t auf dem sich die Daten auch befinden
* "fault tolerance"=> Eine gewissen Robustheit gegenüber Fehl... ziellen Distributionen, wie MAPR und Cloudera, HortonWorks, lassen sich aber auf der anderen Seite gro... ngen am Filesystem werden in der Datei "edits" protokolliert.
Diese Daten werden dann entweder bei e... * Das Framework ist in Java implementiert
* Automatische Parallelisierung und Verteilung über das
====== Oracle NoSQL Store mit JMX oder SNMP überwachen ======
Nur in der EE Edition darf mit SNMP Übe... nachträglich JMX aktiviert werden.
Ablauf:
* Storage Node Parameter für JMX = oracle.kv.impl.mgmt.jmx.JmxAgent im Store deployen
* Per [[http://docs.oracle.com/javas... cle.com/cd/NOSQL/html/AdminGuide/standardized-monitoring.html#Enabling_Monitoring
JMX Allgemein:
===Sicherheitsfeature in der Oracle NoSQL V3 - Protokoll Verschlüsselung und User Login=====
Ab der V... .
=== Vorbereitung ====
Für das Einrichten des Stores muss das Java Werkzeug "keytool" im Pfad liegen!
Auf allen Knoten bei Bedarf entsprechend verlink... ash>
#als root
ln -s /usr/java/jdk1.8.0_05/bin/keytool /usr/bin/keytool
</code>
==== Netzwerk Verschlü
Vorbereitung ===
Das Plugin fragt die Daten des Stores mit JMX ab, daher muss zuvor JMX auf dem Store aktiviert werden:
Für jeden SN im Store!
<code bash>
plan change-parameters -service sn1 -wait -pa... acle.kv.impl.mgmt.jmx.JmxAgent
</code>
Auf dem Store Node/Server muss zuvor der Oracle Agent install
===== Oracle NoSQL v3 Installation automatisieren =====
Die Installation eines NoSQL Stores lässt sich gut automatisieren.
Neu kann nun auch ein Store mit Password Security automatisch angelegt werden.
=== Vorbe
chtigen täglichen Befehle für einen Oracle NoSQL Store v3 in einem Skript umsetzen=====
Per Script wird es einfacher den gesamten Store über die verteilten Knoten zu starten / zu stoppen und wichtige Eigenschaften zu prüfen.
Vorberei... de bash nodelist.conf>
#List of all nodes of the store
STORE_NAME[0]=GPIDB
STORE_PORT[0]=5000
STORE_NO
Beispiel nach D:\work\kv-ce-3.0.14.
Für den Store legen wir ein Arbeitsverzeichnis an, im Beispiel R:\KVSTORE.
Eine Java SE Umgebung in der Version 7 muss auf dem Rechner bereitstehen. Der Store wird nur gestartet, eine eigentliche Installati... >
REM in das Arbeitsverzeichnis wechseln
cd R:\KVSTORE
REM Libraries Pfad setzen
set KVHOME=D:\kv-cc-3
e notwendig!
Auch muss zuvor eine Anmeldung am Store mit "connect store -name KVStore" erfolgen,
Ist die Password Security eingeschaltet muss das Credential File angebebe... -jar .\lib\kvcli.jar -host localhost -port 5000 -store kvstore
kv->connect store -name KVStore
Connect
est des Clients
sqoop.sh client
Sqoop home directory: /opt/hadoop/product/sqoop
Sqoop Shell: Type 'h... lib/*.jar,/opt/hadoop/product/hadoop/share/hadoop/tools/*.jar,/opt/hadoop/product/hadoop/share/hadoop/tools/lib/*.jar,/opt/hadoop/product/hadoop/share/had... onf/sqoop.properties
# Hadoop configuration directory
org.apache.sqoop.submission.engine.mapreduce.co
=null)(HOST=__jdbc__)(USER=null))) * (ADDRESS=(PROTOCOL=tcp)(HOST=10.10.10.1)(PORT=49831)) * establish... e der Datenbanken, speziell im Cluster Umfeld, protokolliert werden, sollen bereits beim Lesen bestimm... 2-conf.properties
# The configuration file needs to define the sources, the channels and the sinks
# ... ocaldomain 44444
Trying 10.10.10.12...
Connected to bigdatalite.localdomain.
Escape character is '^]'