Datenkonvertierung: Piko Master Control -> Hyperion

drongo
Beiträge: 51
Registriert: Freitag 14. Februar 2014, 11:54

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von drongo » Donnerstag 31. Juli 2014, 12:07

Okay. Klingt wirklich nicht kurz ;-)

Ich versuchs mal für mich zusammenzufassen:
Ich passe also die Überschriften und Spalten dem Hyperion-Format an und rechne die Ströme in mA um.

Am Ende habe ich eine riesige Datei im 10-Minuten-Takt.
Die hat mir das Skript von Roland auch generiert und das sogar schon tageweise. Kann ich diesen Schritt also überspringen?
Wichtig wäre mir, zu wissen wie man diese Daten im SA mit den 1-Minuten Intervallen in Einklang bringt und die Summenkurve vernünftig mit abbildet.

Ansonsten muss ich mich heute Abend in Ruhe mal dransetzen und das nachbasteln.

Was Deine Technik angeht, sowas habe ich wirklich noch nicht gelesen. Aber ich bin ja auch nicht vom Fach.
Ich muss erstmal mit meinem Raspberry Pi klarkommen. Da reicht mir ein Terminal/FTP-Manager. Die Brynhildr versuche im mal im Hinterkopf zu behalten. Klingt interessant.
Mein Fernziel ist es, den Stromzähler mitzuloggen und in SA mit anzeigen zu lassen. Aber da werde ich sehr viel Zeit und vermutlich auch Hilfe brauchen.

Danke & Gruß
Stefan

Obendroben
Beiträge: 23
Registriert: Freitag 25. Juli 2014, 21:49

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von Obendroben » Donnerstag 31. Juli 2014, 23:59

Ja, ich hab's halt spannend gemacht :-)

Ich kann nicht sagen welche Schritte dir Rolands Tool erspart, denn das kannte ich zu dem Zeitpunkt noch nicht, und weil mein Weg erfolgreich war hab' ich mich später damit natürlich auch nicht mehr befasst. Bei mir kommt die Zerlegung in Tagesdateien aber ganz am Schluss...


TEIL-2 (von 3)

Ab jetzt werden kleine Programme gebraucht, ich hab' sie mittels Blitz Basic geschrieben (bin halt ein Kind der Homecomputer-Ära und mit Spectrum- und Amiga-Basic aufgewachsen). Natürlich tut's jede andere Sprache auch, es folgen somit einige einfache Übungsaufgaben.

Zuerst musst du den Übergangstag bestimmen, das Datum welches du als erstes vollständig in Hyperion geloggt hast. Kürze deine Datendatei am Ende so, dass der letzte Wert vom Abend des Vortages stammt.

Nun brauchen wir eine Hilfsdatei H1, in diese wird die Spalte Tages E ohne Überschrift kopiert, sie enthält dann also nur Zeilen mit jeweils einer Kommazahl. Je nach verwendeter Programmiersprache empfielt es sich entweder aus dem Komma einen Punkt zu machen, oder gleich die Einheit in Watt umzuformen und mit Ganzzahlen zu rechnen. Bei Blitz Basic empfehle ich das, es macht recht grobe Rundungsfehler bei Fließpunktarithmetik. Vorsicht, auch hier lauert wieder eine Piko-Formatierungsfalle bei Zahlen mit x,25 und x,5 und x,75 (statt x,250 und x,500 und x,750).

Das Programm P1 soll nun die fehlenden Werte der Spalte Total E berechnen. Es wird 2-mal benutzt: Beim ersten Durchgang gehen wir von einem initialen (und garantiert falschen) Gesamtertrag von 0 aus. P1 nimmt jeweils die Differenz eines Wertes aus H1 zu seinem Vorgängerwert (der Vorgänger vom ersten Wert ist 0), und wenn die Differenz > 0 ist wird sie auf die laufende Gesamtsumme addiert. Dieser Wert wird als Gesamtertrag in die Hilfsdatei H2 geschrieben, jede Zeile ein Wert. Eine Differenz < 0 zeigt einen Tageswechsel an, den wollen wir bitte nicht vom Gesamtertrag abziehen ;-)

In der ersten Datenzeile der Hyperion-Datei des Übergangstags hast du einen Wert X in Spalte Total E, dein erster korrekt geloggter Gesamtertrag. Der Tag davor muß abends mit diesem Wert enden, sprich die letzte Zahl Y in H2. Du wirst vermutlich feststellen dass Y < X ist (X aber bitte geistig in die gleiche Einheit umrechen wie Y), einfach weil dein Piko-Export nicht unbedingt seit der ersten Betriebsminute alles enthält. Den Korrekturwert X-Y schreibst du (in die passende Einheit umgerechnet) als neuen initialen Gesamtertrag in P1 rein und lässt es nochmal laufen. Jetzt muß der letzte Wert in H2 deinem X entsprechen (bis auf die Einheit natürlich). Entweder jetzt per Editor oder schon im Programm erledigt muß H2 noch auf die Einheit und das Kommaformat von Hyperion gebracht werden, also genau 3 Nachkommastellen.

Jetzt den Inhalt von H2 per Blockoperation als Spalte Total E in die Datendatei kopieren (anstelle der Dummy-0 aus Teil-1).

Nun haben wir endlich alle Daten für die Summenkurven welche im Tool von Roland vermutlich fehlen, im nächsten Teil machen wir aus der großen Datei die Hyperion-Dateienstruktur.

Als Fleißarbeit kannst du noch das Kommaformat von Tages E in das von Hyperion umwandeln (keine Ahnung ob notwendig, ich hatte es gemacht), also 0,000 statt 0 sowie alle Werte mit 3 Nachkommastellen ausstatten (siehe oben)

bis demnächst,
Thomas


PS:
Wegen dem 10-Minutentakt der Altdaten mußt du dir keine Sorgen machen, das war ja der Anlass für mein erstes Posting, SA verkraftet den Wechsel mittendrin problemlos.

PPS:
Hat man erstmal das Hyperionformat programmtechnisch im Griff kann man damit tolle Dinge treiben, z.B. virtuelle Anlagen die z.B. statt einer PV was ganz anderes abbilden, vom Stromzähler (denn will ich auch mal erfassen) bis zur Regenmenge, von der PV-Temperatur bis zu finanziellen Kennzahlen, oder komplexere aus mehreren Meßwerten per Formel berechnete Kurven. Dafür soll's dann mal auf meinem NUC entsprechende dauerhaft laufende Programme geben welche solche virtuellen Anlagen minütlich updaten. SA läßt einem ja schön 2 Anlagen vergleichen.

Roland
Beiträge: 214
Registriert: Montag 29. Oktober 2012, 18:19

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von Roland » Freitag 1. August 2014, 12:24

Hallo Thomas

Huh, das klingt wirklich ganz schön kompliziert. Wenn die Daten im Piko Master Control schon vorhanden sind hättest du das mit meinem Tool auch einfacher haben können ;)
Aber du hast Recht, du kannst jetzt natürlich mit dem Format "spielen" :)

drongo
Beiträge: 51
Registriert: Freitag 14. Februar 2014, 11:54

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von drongo » Freitag 1. August 2014, 16:55

Hallo Roland,
Wenn die Daten im Piko Master Control schon vorhanden sind hättest du das mit meinem Tool auch einfacher haben können
das habe ich auch gemacht. Allerdings bekomme ich keine vernüftige Anzeige wenn ich in 1-Minuten-Intervallen weiterlogge und vor allem fehlen die Summenkurven in den Tagesansichten und damit auch die Monats-/Jahresübersicht.
Woran kann das liegen?
Muss ich die Daten nochmal nachbearbeiten?

Gruß
Stefan

Obendroben
Beiträge: 23
Registriert: Freitag 25. Juli 2014, 21:49

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von Obendroben » Samstag 2. August 2014, 00:22

Hallo Roland,

über dein Tool bin ich erst gestolpert als ich meine eigene Konvertierung schon durch hatte, aber so war ich dafür gezwungen mich genau mit dem Format zu beschäftigen, das hilft mir jetzt sehr beim spielen mit virtuellen Anlagen... ;-)


Zum von Stefan geschilderten Problem:

Jetzt hab ich doch mal dein Tool angeworfen, hier zum Vergleich mal meine und deine Version von 20:30 am 15.07.2013

20:30:00;1;489;470;238;621;240;157;0;20;0;237;30;7;237;1610;344;237;0;0;0;0;0;0;56,685;4604,790;
0,000;0,000;0,000;0,000;

20:30:00;1;489;470;238;621;240;157;0;20;0;237;30;7;237;1610;344;237;0;0;0;0;0;0;56,685;0,000;

Wie ich schon in meiner Anleitung Teil-2 vermutet hatte: Du konvertierst die im Export vorhandenen Daten, generierst aber nicht die darin ja grundsätzlich fehlenden Daten für Total E, und ohne die gibt's im SA offenbar keine Summenkurven. Meine Methode hab' ich grob in der Mitte in Teil-2 beschrieben, für Leute die meinem Handarbeitsweg nicht folgen wollen wäre es natürlich toll wenn du das noch in deinen Konverter einbauen würdest.

Interessant nebenbei ist daß du auf Tages E Out, Total E Out, Tages E In und Total E In ganz verzichtest, oder sind die im Hyperion erst später hinzugekommen? Gibt es denn Versionen des Piko die hier Werte > 0 loggen können?

Und überhaupt Danke nochmal für deinen Hyperion!
Thomas

drongo
Beiträge: 51
Registriert: Freitag 14. Februar 2014, 11:54

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von drongo » Samstag 2. August 2014, 09:08

Hallo Roland&Thomas!

Die konvertierten Dateien enthalten wirklich kein Total E, bzw. dort steht immer eine Null.
Ist es denn wirklich so, dass SA daraus seine Summenkurven berechnet?

Was loggen die Ain und E out/E in - Spalten?

Von mir auch Danke für eure tolle Arbeit und die Geduld mit mir :-)
Stefan

Roland
Beiträge: 214
Registriert: Montag 29. Oktober 2012, 18:19

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von Roland » Samstag 2. August 2014, 14:12

Hallo Thomas

Ja du hast Recht, ich habe mal das Format erweitert um Stromzähler anzubinden. Dafür sind die Spalten Tages E Out, Total E Out, Tages E In und Total E In. Und ich habe damals in der Tat keine neue Version des Konvertierungstools generiert, deshalb fehlen die hier.
Bei der Spalte Total E ist es so, dass das Piko Master Control diese Information nicht hergibt. Deshalb steht dort immer 0.

Ich habe dies jetzt nach deinem Muster ergänzt. Finde ich eine gute Idee. Neu mitgegeben werden kann der Wert totalEAfterLastDay in Wh. Dies entspricht dem Totalertrag im ersten von Hyperion generierten File (ohne Komma) genau wie von dir beschrieben. Ich hoffe dass damit das Problem der Summenkurve gelöst ist.

Gruss
Roland

Roland
Beiträge: 214
Registriert: Montag 29. Oktober 2012, 18:19

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von Roland » Samstag 2. August 2014, 14:29

Stefan,
E out, E in habe ich ja oben schon beschrieben. Ain sind die analogen Eingänge vom Piko.

Gruss
Roland

drongo
Beiträge: 51
Registriert: Freitag 14. Februar 2014, 11:54

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von drongo » Samstag 2. August 2014, 18:20

Roland hat geschrieben: Ich hoffe dass damit das Problem der Summenkurve gelöst ist.
Ist es. Großes Kino!
Nach dem Komplettsync sind alle Summenkuren da und auch der Tagesverlauf wird wie bei Thomas oben korrekt als 10-Minuten-Balken angezeigt. Vorher waren das nur einzelne Nadelspitzen.

Vielen Dank euch beiden!

ps. Wie könnte die Stromzählerintegration rein theotetisch funktionieren? Ich habe einen Elster AS1440. Es gibt einen optischen Ausgang, der Rest ist verplombt.
Im Netz quergelesen gibt es optische Sende- und Empfangsköpfe dafür (zu basteln). Mal angenommen ich bekomme so ein Teil am Pi zum laufen und logge irgendwie die Zählerstände. Wie würden die Daten in den SA kommen?

Obendroben
Beiträge: 23
Registriert: Freitag 25. Juli 2014, 21:49

Re: Datenkonvertierung: Piko Master Control -> Hyperion

Beitrag von Obendroben » Samstag 2. August 2014, 23:59

Grandios!

Und ich kann mir die Arbeit für Teil-3 sparen, freut mich dass ich methodisch helfen konnte :-)

Stefan, sobald du genug Hyperion-Tage geloggt hast, kannst du dir mal den Spaß machen und relativ wolkenarme Tage gleichen Datums in verschiedenen Jahren vergleichen. Dir wird dann möglicherweise auffallen dass die Tage aus Piko-Zeiten quasi zeitlich verschoben sind zu den Hyperion-Tagen. Die Hyperion-Tage sind natürlich so genau wie die Zeit auf deinem Pi, und die Piko-Zeiten leiden dann am Betriebssekundenzähler-Problem. Mit dem roten Messlineal von SA kann man recht gut abschätzen wie hoch der zeitliche Versatz ist, bei mir waren das offenbar durchgehend ca. 30 Minuten.

Ich kann mich nun zwar an keinen Stromausfall erinnern, aber ich bin mir recht sicher daß mein Solarteur bei der Inbetriebnahme den Piko zwischendurch auch wieder ausgeschaltet hat, das könnte vielleicht den Zähler verschoben haben.

Falls du bei dir so einen Versatz bemerkst und ihn korrigieren möchtest: Du kannst z.B. noch in der Piko-Exportdatei alle Uhrzeiten entsprechend anpassen (per Editor, oder per selbstgeschriebenes Programm) und dann nochmal Rolands Konverter benutzen. Im SA mußte ich dann allerdings alle Tage einzeln neu syncen, dafür gibt's bestimmt noch einen besseren Weg (evtl SA-Cache löschen oder so...)

Deine Frage wegen dem Stromzähler solltest du evtl. in einem eigenen Thread nochmal stellen, vielleicht findet sich dann jemand mit Ahnung davon. Bei mir dauerts schon noch bis ich mich mit weiteren Datenquellen intensiver beschäftigen werde, derzeit sind wir ja noch am Häuslebauen (immerhin hatten wir gleich Prioritäten gesetzt, die PV kam Monate vor dem Klo :D )

viel Spaß weiterhin,
Thomas

Antworten