Gunther Oracle APEX und Datenbank Wiki

Diese Seite ist nicht editierbar. Sie können den Quelltext sehen, jedoch nicht verändern. Kontaktieren Sie den Administrator, wenn Sie glauben, dass hier ein Fehler vorliegt.
=====Die Daten eines Shelly Plugs über Telegraf in die InfluxDB schreiben====


**Aufgabe**

Ziel ist es, die mit dem Shelly Plug ermittelten Verbrauchsdaten in eine InfluxDB zu schreiben. 

Dazu soll kein eigenes Python Skript entwickelt sondern mit dem Werkzeug Telegraf die Daten eingesammelt und die die DB geschrieben werden.

Mehr zu Influx  siehe => [[raspberry:odroid_hc1_influx_db_grafana|Odroid HC1  Monitoring Appliance mit InfluxDB und Grafana]] und [[prod:grafana_windows|Timeseries darstellen - Erste Erfahrungen mit InfluxDB / Telegraf / Chronograf / Grafana]]


----

==== Shelly Plug in Betrieb nehmen ==

Details zum Plug => https://shelly.cloud/products/shelly-plug-s-smart-home-automation-device/


Ablauf:
  * Plug einstecken
  * Per Mobil Telefon an dem Wlan von Plug anmelden
  * Per IP Adresse 192.168.33.1 das Webinterface
  * Über das Webinterface nun das lokale Wlan einrichten
  * Plug verbindet sich mit dem lokalen Wlan 
  * Firmware Update einspielen durch Übergabe der aktuellen Firmware Url über REST API
  * Konfiguration des Plugs

=== Fireware Update===

Über die Firmware Update Seite http://archive.shelly-tools.de/ die URL für den Firmware Update erzeugen, wie <nowiki>http://192.168.1.22/ota?url=http://archive.shelly-tools.de/version/v1.9.3/SHPLG-S.zip</nowiki>.

Auf den Plug gehen und über "Settings"/FIRMWARE UPDATE das Update anstarten.

=== Die Rest API des Plugs ====


Doku zur API => https://shelly-api-docs.shelly.cloud/gen1/#shelly-plug-plugs


Beispiel REST API Aufruf **<nowiki>http://<ip>/meter/0</nowiki>** für die Meter Daten:
<code json>
{"   power":7.96
  , "is_valid":true
  , "timestamp":1639947459
  , "counters":[7.928, 7.947, 7.942]
  , "total":23923}
</code>

Allerdings fehlt hier ein Feld das als Key in der DB dienen kann, daher dann in Folge den REST Aufruf **<nowiki>http://<ip>/status</nowiki>** verwendet, dieser enthält alle Daten. 


----


==== Telegraf ====

Telegraf wird als Job auf einem Raspberry Pi installiert und holt die Daten vom Plug per REST API und schreibt die Daten weiter in die Influx DB.

Mit Grafana wird dann später ausgewertet.


=== Installation Telegraf  unter Oracle Linux 8 für pi ===

In meiner Umgebung wird als Betriebssystem Oracle Linux 8 für den PI eingesetzt.

Dafür gibt ein passendes Influx DB Repository, über die URL  https://repos.influxdata.com/rhel/8 kann für ARM der Detail Link ermittelt werden. 

Als root:
Repo anlegen:
<code bash>

vi /etc/yum.repos.d/influxdb.repo


[influxdb]
name = InfluxDB Repository - RHEL
baseurl = https://repos.influxdata.com/rhel/8/arm64/stable/
enabled = 1
gpgcheck = 1
gpgkey = https://repos.influxdata.com/influxdb.key

</code>

Suchen:
<code bash>

dnf search telegraf

telegraf.aarch64 : Plugin-driven server agent for reporting metrics into InfluxDB.

</code>


Installlieren:
<code bash>
Downloading Packages:
telegraf-1.21.1-1.aarch64.rpm                                                                    4.4 MB/s |  31 MB     00:06
---------------------------------------------------------------------------------------------------------------------------------
Total                                                                                            4.4 MB/s |  31 MB     00:06
InfluxDB Repository - RHEL ARM64                                                                  30 kB/s | 3.0 kB     00:00
Importing GPG key 0x2582E0C5:
 Userid     : "InfluxDB Packaging Service <support@influxdb.com>"
 Fingerprint: 05CE 1508 5FC0 9D18 E99E FB22 684A 14CF 2582 E0C5
 From       : https://repos.influxdata.com/influxdb.key
Is this ok [y/N]: y
Key imported successfully
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                                         1/1
  Running scriptlet: telegraf-1.21.1-1.aarch64                                                                               1/1
  Installing       : telegraf-1.21.1-1.aarch64                                                                               1/1
  Running scriptlet: telegraf-1.21.1-1.aarch64                                                                               1/1
Created symlink /etc/systemd/system/multi-user.target.wants/telegraf.service → /usr/lib/systemd/system/telegraf.service.

  Verifying        : telegraf-1.21.1-1.aarch64                                                                               1/1

Installed:
  telegraf-1.21.1-1.aarch64

</code>


Konfigurieren:

Log Verzeichnis anlegen
<code bash>
mkdir -p /srv/telegraf
chown -R telegraf:telegraf /srv/telegraf/
</code>

=== Telegraf für Oracle Linux 9 ===


Download https://www.influxdata.com/time-series-platform/telegraf/ aktuelle Version Linux Binaries (ARMv8)

<code bash>
wget https://dl.influxdata.com/telegraf/releases/telegraf-1.29.2_linux_arm64.tar.gz
tar xf telegraf-1.29.2_linux_arm64.tar.gz
</code>

Verlinken: 
<code bash>
ln -s /srv/telegraf-1.29.2/usr/bin/telegraf /usr/bin/telegraf
</code>


=== Telegraf Konfiguration erstellen ===

Unter /etc/telegraf bestehende telegraf.conf sichern und mit der neuen Konfiguration ersetzten

telegraf.conf:
<code bash>

# Telegraf Configuration


# Global tags can be specified here in key="value" format.
[global_tags]
  # dc = "us-east-1" # will tag all metrics with dc=us-east-1
  # rack = "1a"
  ## Environment variables can be used as tags, and throughout the config file
  # user = "$USER"


# Configuration for telegraf agent
[agent]
  ## Default data collection interval for all inputs
  interval = "30s"
  ## Rounds collection interval to 'interval'
  ## ie, if interval="10s" then always collect on :00, :10, :20, etc.
  round_interval = true

  ## Telegraf will send metrics to outputs in batches of at most
  ## metric_batch_size metrics.
  ## This controls the size of writes that Telegraf sends to output plugins.
  metric_batch_size = 1000

  ## Maximum number of unwritten metrics per output.  Increasing this value
  ## allows for longer periods of output downtime without dropping metrics at the
  ## cost of higher maximum memory usage.
  metric_buffer_limit = 10000

  ## Collection jitter is used to jitter the collection by a random amount.
  ## Each plugin will sleep for a random time within jitter before collecting.
  ## This can be used to avoid many plugins querying things like sysfs at the
  ## same time, which can have a measurable effect on the system.
  collection_jitter = "0s"

  ## Default flushing interval for all outputs. Maximum flush_interval will be
  ## flush_interval + flush_jitter
  flush_interval = "10s"
  ## Jitter the flush interval by a random amount. This is primarily to avoid
  ## large write spikes for users running a large number of telegraf instances.
  ## ie, a jitter of 5s and interval 10s means flushes will happen every 10-15s
  flush_jitter = "0s"

  ## By default or when set to "0s", precision will be set to the same
  ## timestamp order as the collection interval, with the maximum being 1s.
  ##   ie, when interval = "10s", precision will be "1s"
  ##       when interval = "250ms", precision will be "1ms"
  ## Precision will NOT be used for service inputs. It is up to each individual
  ## service input to set the timestamp at the appropriate precision.
  ## Valid time units are "ns", "us" (or "µs"), "ms", "s".
  precision = "1ms"

  ## Log at debug level.
  # debug = false
  ## Log only error level messages.
  # quiet = false

  ## Log target controls the destination for logs and can be one of "file",
  ## "stderr" or, on Windows, "eventlog".  When set to "file", the output file
  ## is determined by the "logfile" setting.
  logtarget = "file"

  ## Name of the file to be logged to when using the "file" logtarget.  If set to
  ## the empty string then logs are written to stderr.
  logfile = "/srv/telegraf/shelly_plug_reading.log"

  ## The logfile will be rotated after the time interval specified.  When set
  ## to 0 no time based rotation is performed.  Logs are rotated only when
  ## written to, if there is no log activity rotation may be delayed.
  logfile_rotation_interval = "0h"

  ## The logfile will be rotated when it becomes larger than the specified
  ## size.  When set to 0 no size based rotation is performed.
  logfile_rotation_max_size = "10MB"

  ## Maximum number of rotated archives to keep, any older logs are deleted.
  ## If set to -1, no archives are removed.
  logfile_rotation_max_archives = 5

  ## Pick a timezone to use when logging or type 'local' for local time.
  ## Example: America/Chicago
  log_with_timezone = "local"

  ## Override default hostname, if empty use os.Hostname()
  hostname = ""
  ## If set to true, do no set the "host" tag in the telegraf agent.
  omit_hostname = false
  

# Configuration for sending metrics to InfluxDB

[[outputs.influxdb]]
 
  urls = ["http://192.168.1.212:8086"]
  database = "HAUS"

  
# Send telegraf metrics also to file

[[outputs.file]]
  ## Files to write to, "stdout" is a specially handled file.
  files = ["stdout", "metrics.out"]

  ## Use batch serialization format instead of line based delimiting.  The
  ## batch format allows for the production of non line based output formats and
  ## may more efficiently encode metric groups.
  # use_batch_format = false

  ## The file will be rotated after the time interval specified.  When set
  ## to 0 no time based rotation is performed.
  rotation_interval = "1d"

  ## The logfile will be rotated when it becomes larger than the specified
  ## size.  When set to 0 no size based rotation is performed.
  #rotation_max_size = "10MB"

  ## Maximum number of rotated archives to keep, any older logs are deleted.
  ## If set to -1, no archives are removed.
  rotation_max_archives = -1

  ## Data format to output.
  data_format = "influx"
  
# # Read Shelly Plug over meter api
	

[[inputs.http]]

	urls = [
		  "http://192.168.1.49/status"
		 ,"http://192.168.1.25/status"
	   ]

	method = "GET"

	data_format = "json_v2"
    
	tagexclude = [ "host","url"]
  
	[[inputs.http.json_v2]]
		
		measurement_name = "shelly_devices_power" 
		
		timestamp_path     = "unixtime"       
		timestamp_format   = "unix"            
		timestamp_timezone = "local"           
		
	    #-------------- Schlüssel
		[[inputs.http.json_v2.tag]]
                   path   = "wifi_sta.ip"
                   rename = "ip"    
           
                [[inputs.http.json_v2.tag]]
                   path  = "mac"     
		
	   #-------------- Felder
		
		[[inputs.http.json_v2.field]]
		  path = "wifi_sta.rssi"	
		  rename = "signal_db"
				
		[[inputs.http.json_v2.field]]
		  path = "meters.0.is_valid"
		  
		[[inputs.http.json_v2.field]]
		  path = "meters.0.power"
		
		[[inputs.http.json_v2.field]]
		  path = "meters.0.total"

		[[inputs.http.json_v2.field]]
		  path   = "relays.0.ison"	  
		  rename = "power_on"
		
		[[inputs.http.json_v2.object]]
                  path = "@this"
                  included_keys = ["temperature", "overtemperature"] 
         	
</code>

Doku siehe => siehe https://www.influxdata.com/blog/how-parse-json-telegraf-influxdb-cloud/

Für das Finden und Parsen des JSON Results ist diese Tool sehr hilfreich => https://gjson.dev/

Neben den Schreiben in die DB werden die Daten auch noch per Text Datei im Influx Format gesichert.
So lässt sich auch gut prüfen was da an Daten übertragen wird.


=== Den Telegraf Service aktiveren ===

<code bash>
systemctl enable --now telegraf
systemctl status telegraf

#Ergebnisse kontrollieren


cat ./srv/telegraf/shelly_plug_reading.log

tail -f /srv/telegraf/metrics.out



</code>

==== Problem "time: unknown unit "d" in duration "1d"" nach Update ====

Nach einen Update startet Telegraf nicht mehr mit der Meldung <code bash> Error running agent: Error loading config file /etc/telegraf/telegraf.conf: error parsing file array, line 111: (file.File.RotationInterval) time: unknown unit "d" in duration "1d" </code>

Lösung: Alle Intervalle mit 24h statt mit 1d angeben!




----

==== Daten in der Influx DB per Kommandzeile auswerten ====


Während der Entwicklung ist es praktisch die Daten in der DB auszulesen.

Auf dem DB Influx Server an der DB anmelden mit:
<code bash>
cd /srv/_influxdb-1.4.2-1/usr/bin/influx

./influx -host localhost -port 8086
</code>


Datenbanken anzeigen lassen:
<code sql>
> SHOW DATABASES
name: databases
name
----
_internal
JBR
HAUS
SOLAR
telegraf

</code>

In die Datenbank wechseln:
<code bash>
> use HAUS
Using database HAUS
</code>

Tabellen anzeigen lassen:
<code bash>
> show measurements
name: measurements
name
----
messung
shelly_devices_power

</code>

Schlüssel und Felder  anzeigen lassen:
<code bash>

SHOW TAG KEYS  from shelly_devices_power
name: shelly_devices_power
tagKey
------
ip
mac


SHOW FIELD KEYS FROM shelly_devices_power

fieldKey        fieldType
--------        ---------
is_valid        boolean
overtemperature boolean
power           float
power_on        boolean
signal_db       float
temperature     float
total           float

</code>

Abfragen sind dann mit Standard SQL möglich

----


==== Shelly Dimmer ====

Ziel: Im Hühnerstall Beleuchtung aktivieren und dann langsam dimmen um Sonnen-Untergang/Aufgang zu simulieren.

Dazu wird eine besonders Flackerfreie Lampe verwendet, da Hühner noch bis zu 100Hz "Flackern" wahrnehmen können!

Damit die Lampe aber sicher flackerfrei ( bleibt muss der Dimmer ein "Phasenabschnittsdimmer" sein, d.h. im Shelly muss "Phasemabschnitt (Trailing Edge)" eingestellt werden.

  * Leading Edge  => Phasenanschnitt, Sinushalbwelle wird vorne abgeschnitten
  * Trailing Edge => Phasenabschnitt, Sinushalbwelle wird hinten abgeschnitten


Siehe dazu => https://www.shelly-support.eu/forum/index.php?thread/1055-shelly-dimmer-leading-edge-vs-trailing-edge/


Api siehe => https://shelly.cloud/knowledge-base/devices/shelly-dimmer-2/

Langsam heller schalten:

Test Script in der Powershell:

<code powershell>

Invoke-WebRequest -Uri http://192.168.1.56/light/0?turn=on
Invoke-WebRequest -Uri http://192.168.1.56/light/0?brightness=1

for ($num = 1 ; $num -le 100 ; $num=$num+10){

   "Set brightness to $num"
    Invoke-WebRequest -Uri http://192.168.1.56/light/0?brightness=$num
    
    Start-Sleep 2
}


for ($num = 100 ; $num -gt 1 ; $num--){
 
   "Set brightness to $num"
    Invoke-WebRequest -Uri http://192.168.1.56/light/0?brightness=$num
 
    Start-Sleep 1
}

Invoke-WebRequest -Uri http://192.168.1.56/light/0?turn=off

</code>

Wie zu erwarten ist die Helligkeit der verwendeten Lampe XENA 7W ( gekauft hier => https://www.eierschachteln.de/energiesparlampe , Daten unter https://www.once.lighting/product/xena-2900k/ ; https://www.once.lighting/wp-content/uploads/2021/09/XENA-7W-LED-2900K-Data-Sheet-August-2021.pdf )  ist vom Eindruck her nicht linear, bei 90% Dimmer sieht es so aus als ob die Lampen nicht heller wird, aber der Stromverbrauch steigt noch. 



----

==== Shelly Switch 1PM mit Sensor====

=> https://shelly.cloud/knowledge-base/devices/shelly-1pm/#pinout 

  * gelb Datenleitung
  * rot ist +
  * schwarz ist -


----

==== Quellen ====

Web:
  * Intro to the Telegraf Collector and an Overview of the Plugin Ecosystem => https://www.youtube.com/watch?v=2fbuJTPsUAg
  * https://www.youtube.com/watch?v=4EhHLoi9Hyw
  * https://computingforgeeks.com/install-and-configure-telegraf-on-rhel-centos/
  * http://convert-to.com/conversion/energy/convert-wmin-to-wh.html
  * https://www.unixtimestamp.com/index.php

Shelly:


  * http://archive.shelly-tools.de/

Doku:

  * https://docs.influxdata.com/telegraf/v1.20/data_formats/input/json/
  * https://github.com/influxdata/telegraf/tree/master/plugins/parsers/json
  * https://docs.influxdata.com/influxdb/v1.8/query_language/explore-schema/