Visualisierung von Energiemess-Daten (mit Grafana)

Für meine Smart-Plugs von Shelly und Gosund (mit Tasmota) hätte ich gerne eine flexible Visualisierung. Daten lese ich bereits (Cloud-los) mit selbstgeschriebenem Programm aus. Grafik-Programmierung will ich mir aber diesmal ersparen. Würde gerne wissen, wie ihr das macht, wer da Erfahrung hat, was ihr da empfehlt ... Ich möchte eine Lösung haben, die von der Hersteller-Cloud der Messgeräte-Hersteller unabhängig ist.

Hatte die Frage auch schon Mal gestellt - ohne Antwort. War damals aber Nebenthema in Energimess-Thread und auch ein bisschen direkt an DeBaschdi gerichtet, der zeitnah nach meiner Frage das Forum verlassen hatte. Er hatte von seiner Visualisierung mit Grafana berichtet. Neben der Frage oben, wiederhole ich noch Mal paar konkretere Fragen-

Könnt ihr bitte kurz beschreiben, wie ihr da konkret vorgegangen seid, die Daten zu visualisieren?
Bei Nutzung von Grafana insbesondere: Grafana Cloud? Eigene Grafana Installation? Welche Datenbank bzw. welche Datenschnittstelle zu Grafana? DB extra dafür genutzt oder was genutzt was eh schon da war?

In anderem Beitrag erinnere ich mich, dass sich DeBaschdi über fehlende Datenpunkte geärgert hatte (wenn halt Mal ein Stecker-Adapter nicht antwortet, das nächste Mal aber schon wieder antwortet), die anscheinend die VIsualisierung kaputt machen. Ist das wirklich so? Grade grafana ist ja u.a. auf Monitoring fokusiert. Ist doch normal, dass ein Sever Mal gebootet wird, und dann für 10 Minuten oder so keine Performance-Daten geliefert werden. Stört das wirklich? Dass da ne Lücke ist in 'ner Kurve würde mich nicht stören).

Danke für die Antworten bisher!

@darkside40, es geht mir wirklich nicht um die ganze Kette, und auf MQTT Broker und NodeRed will ich verzichten. Die Daten selbst kann ich problemlos sammeln (auch noch zusätzlich von semiprofessioneller Wetterstation). Bei der Visualisierung mit modernen Methoden bin ich allerdings leider Anfänger. (Selbst habe ich früher unter DOS mit direkter Grafikkarten-Programmierung, unter Windows, unter Unix und Linux mit Xwindows Grafik programmiert, insbesondere Visualisierung von Messdaten - aber von der direkten Grafik-Programmierung will ich weg von).

Nehme Mal von euren Antworten mit: Grafana lokale Installation ist ok, InfluxDB auch. Hier wären noch paar konkretere Vorgehensweisen für mich hilfreich - direkte Tipps oder halt Links, wo ich gerne nach lese. Bei Grafana Doku direkt, bin ich auf Anhieb nicht richtig voran gekommen (obwohl ich wirklich nicht scheue, technische Doku zu lesen).

Trotz langjähriger IT-Erfahrung, selbst zu Datenbank-Infrastruktur, bin ich in Sachen direkte Datenbank-Nutzung (Schemata, wie legt man sie an, wie kriegt man die Daten rein und raus) nahezu Anfänger. Will das aber jetzt lernen. Auch was Grafana angeht fehlt mir noch ein bisschen der Anker, wo man anfangen soll.

Ich hole nochmals anders aus. Rohdaten von den Energiemess-Geräten habe ich im Griff (sag ich Mal) und kann auch alle möglichen Auswertungen darauf fahren. Hätte gern flexible Visualisierung - angefangen damit, wie ich die DB anlege/konfiguriere, wie ich meine Daten da rein kriege, und wie ich dann halt schickes flexibles Diagramm draus mach in Grafana. Da wäre halt typisch auszuwählen: Zeitspanne (Anfan/Ende), Messwert (z.B. Watt, oder auch zeitliches Integral da drüber und damit Energie - was ich auch gerne selbst in die DB rein schiebe, wenn nötig), Sensoren, für die das angezeigt werden soll.

Mein Programm, das die Messwerte ermittelt, ist extrem Resourcen-freundlich. Auf PC/Server (kompiliert unter Linux und Windows) braucht es vielleicht 10 CPU-Sekunden pro Tag, für einen Messpunkt alle 10 Sekunden. Damit wäre das bestimmt für Mini-Energie-Verbraucher-Computer geeignet. Stelle mir vor, dass da lokal Daten 24*7 ermittelt werden, und auch abgespeichert. Und dann von Server, der jeden Tag oder jede Woche Mal läuft die Daten abgeholt werden.

Ursprünglich hatte ich DeBaschdi adressiert bei meiner früheren Anfrage, da ich verstanden hatte, dass er was Ähnliches machte. Keinen MQQT Broker oder ähnliches (er zeigte beispielsweise Python Source, um die Daten zu erfassen), und von diesem Punkt "irgendwie" mit Grafana (und wohl auch mit DB, denke nicht dass er direktes JSON Interface ö-ä nutzte) zu visualisieren.

Vielleicht gibt es in diesem Sinne noch weitere Tipps.

Zitat von te36

Weiss leider nicht, wieviel historie der 3EM lokal speichert, wenn ueberhaupt

Man kommt sehr einfach (z.B. über wget oder curl) an die Historie der letzten ca. 360 Tage ran (nicht ganz ein Jahr bei mir). Pro Phase und gesamt werden abgespeichert die im letzen Intervall verbrauchte Energie (aus der man natürlich leicht die durschnittliche Leistung berechnen kann) und auch eingespeiste Energie (bei mir eine traurige dauerhafte 0). Vortag und aktueller Tag ist in 1 Minuten-Intervallen historisiert, der Rest in 10 Minuten-Intervallen. Downloadformat ist csv.

Mit etwas Skripting-/Programmierkenntnissen kann man das automatisiert runterladen und zusammenstückeln. Evt. reicht einem schon die Visualisierung über Excel oder anderer Tabellenkalkulation - wenn man da gute Kenntnisse und Spaß dran hat. Mit Erfahrung braucht das wenig Zeit. Man kann die csv auch in die DB schieben.

Sehe gerade, dass AcidRain leicht abweichende Info genannt hat - Format xml da ... Mag sein, dass es von der Firmware des 3em abhängt. Ich habe meine lange nicht aktualisiert.

Wird nicht gelöscht. Allerdings kann man die Daten löschen, wenn man will. Habe mir allerdings noch nicht angesehen, wie man das automatisieren könnte. Auf dem Webserver des 3em gibt es einen Knopf dafür.

"Rollierend" ist kein wirkliche Problem. Will man das für sich selbst sichern, muss man halt aufpassen, dass man die Werte nicht dupliziert/blind anhängt, sondern überschreibt bzw. schon vorhandene nicht anrührt. Kommt ggf. auch auf das DB-Design an, ob das eh schon automatisch funktioniert, wie man es will.

Bisschen tricky ist eher der Wechsel des Intervalls von 10 Minuten für die weiter zurück liegenden Werte auf 1 Minute am Vortag. Bei mir kommen die Werte auch nicht vollkommen in chronologischer Reihenfolge.

EDIT: Ergänzung - meine Aussagen beziehen sich alle auf lokale Nutzung des 3em ohne Shelly Cloud. Mit Shelly Cloud habe ich keine Erfahrung. Ist bei mir nicht verbunden.

Zitat von darkside40

Ich wüürde erstmal die verlinken exporter ausprobieren, wahrscheinlich hat die Arbeit schon jemand gemacht. Und die gibt es auch direkt als Docker.

Klar, sollte man natürlich gerne machen. Mir scheint nach kurzem Überfliegen des Quelltextes, dass der Exporter dauerhaft laufen will und halt die jeweils aktuellen Messwerte "exportiert" und die historisierten Werte nicht anrührt. Das würde dann auf die Anforderung, das ohne 24/7 Server zu realisieren, nicht passen.