Benutzer-Werkzeuge

Webseiten-Werkzeuge


nosql_datenbank

NoSQL und Big Data - KI bzw. "Automatic Decision Making - ADM" in der Datenverarbeitung

 This is also Big (Monte Baldo 2008)

„Data expands to fill the space available for storage.“ ⇒ ( Parkinson's law)

Wie entwicklet sich ein Hype wie NoSQL und KI mit der Zeit ⇒ https://www.gartner.com/en/research/methodologies/gartner-hype-cycle

NoSQL – Not Only SQL

Der Begriff NoSQL kann mehr als ein Denkansatz zur Datenverwaltung und Verarbeitung als eine spezielle Technologie definiert werden.

Gemeinsam ist den verschiedenen Implementierungen auf dem Markt aber meist der Versuch, eine hohe Skalierbarkeit durch massive Parallelisierung über viele Rechnerknoten zu erreichen.

Eine Einführung in das Thema ⇒ NoSQL -Not only SQL - DOAG-Regionaltreffen München am Donnerstag, 17. Februar 2011

Siehe einführende Überlegungen unter:

Links zum Thema:

Stichwort Polyglotte Systeme

In einer vollständigen NoSQL Architektur geht der Trend dahin, für jede Aufgabe die passende Datenbank zu wählen.

Damit kann sich allerdings ein erheblicher Zoo an Systemen mit unterschiedlichen Abfragesprachen entwickeln.

Die V's für NoSQL

Oft werden diese V's genannt als Motivation genannt:

Volumen Daten in Ruhe
Velocity Daten in Bewegung
Variety Daten in verschiedenen Formen
Veracity Daten in Zweifel

CRDT - Conflict-Free Replicated Data Types ⇒ https://www.heise.de/developer/artikel/Verteilte-Daten-ohne-Muehe-Conflict-Free-Replicated-Data-Types-3944421.html


KI oder besser "Automatic Decision Making" - ADM

Chat Bots

Bilder erzeugen

Online Modell erstellen

Gedanken / Zitate zu Big Data

„Daten sind nicht Nummern, sondern Diagramme von Oberflächen, Landschaften des Wissens, die eine neue Sicht auf die Welt und die Gesellschaft eröffnen: die algorithmische Vision.“ Matteo Pasquinelli , siehe auch Süeddeutsche - 31. Juli 2018- Die Gesellschaft der Metadaten


Freie Datenquellen

Die Oracle NoSQL Database - Ein Key Value Store

Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.

Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue Datenbank, die Oracle NoSQL entwickelt.

Die Oracle NoSQL Datenbank im Detail

Veröffentlichung zu diesem Thema in der DOAG News 05-2014 (Eine Anmeldung an der DOAG Website ist allerdings erforderlich):

2014-05-News-Gunther-Pippèrr-Oracle-NoSQL---eine-Alternative-für-die-traditionelle-Datenbank.pdf


Redis

Redis ist bereits sei 2009 von Salvatore Sanfilippo und mittlerweise in der Version 3.3.5 (Dezember 2016) verfügbar.

Redis ist im Prinzip ein Key Value inMemory Data Store, d.h. die ideale Komplente für die Speed Layer einer Lampda Architektur.

Redis ist konsequent auf Performance ausgelegt und kann mit sehr hohen Datenraten umgehen.


Apache Hadoop

Apache Hadoop ist ein Softwareprodukt für die verteilte Speicherung von Daten und ein Framework für die Verarbeitung von großer Datenmengen über das MapReduce Konzept.

ETL

ETL zu Hadoop ⇒ Apache NiFi ⇒ https://nifi.apache.org/


IoT - Internet of Thinks

Durch den allgemeinen Trend zur Vernetzung und Interaktion von Dingen untereinander, fallen auch immer mehr Daten an. Das treibt auch die neuen Geschäftsmodell im BigData Markt an.

IoT Suchmaschine

IoT

Time Series Analytics

InfluxDB

Visualisierung

Permissionless distributed database - Block Chain

Die Lambda-Architektur - Query=f(all data)

Message Queues

Publish-Subscribe-Messaging-Systems Pulsar ⇒ http://pulsar.apache.org/


Daten Migration

Plattformübergreifende Validierung von Daten mit Googles Data Validation

Siehe dazu ⇒ https://pypi.org/project/google-pso-data-validator/1.2.0/


Konferenzen

Webseiten zum Thema Big Data

Big Data in der Cloud

Günstige Einsteiger Konditionen:

Cloud Bericht ⇒ https://hub.kpmg.de/cloud-monitor-2018


Buchempfehlungen

Diese Website verwendet Cookies. Durch die Nutzung der Website stimmen Sie dem Speichern von Cookies auf Ihrem Computer zu. Außerdem bestätigen Sie, dass Sie unsere Datenschutzbestimmungen gelesen und verstanden haben. Wenn Sie nicht einverstanden sind, verlassen Sie die Website.Weitere Information
nosql_datenbank.txt · Zuletzt geändert: 2024/10/23 19:22 von gpipperr

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki