Arduino, ESP32, Raspberry Pi datalogger voor 4x temp 1x vochtigheid

Je hebt het manco van grafieken in Domoticz al snel gevonden zie ik ;) Heb daar een aantal jaren terug al eens over geklaagd bij de ontwikkelaar, maar werd niks mee gedaan.
Interval van 5 min. was mij veel te lang voor bepaalde sensoren en had ik niks aan. Was voor mij reden om verder te kijken.

Wat mijn Node-RED / InfluxDB / Grafana voorstel betreft, valt wel mee hoor qua moeilijkheid/tijd, alles staat tegenwoordig in hapklare brokken voorgekauwd op internet: https://medium.com/@nicoletsylvain/how-to-monitor-a-thermal-sensor-wit…

buckfast_beekeeper

Golden Member

Wil je data loggen om er wat mee te doen, dan val je bijna automatisch terug op een relationele database. Met de juiste query haal je er dan uit wat je wil. Hoogste, laagste, gemiddeld, ... allemaal functies die standaard aanwezig zijn. Grootste werk is je normalisatie en het schrijven van de query's/stored procedures. Ik probeer maximaal de stored procedures te gebruiken.

In een tekstbestand of CSV is het altijd weer zoeken en dezelfde zaken te doen. Een database is ook gemaakt om duizenden records te bevatten. Open je het CSV of tekstbestand, loop je nog het risico dat het gelokt wordt en ontoegankelijk is om data weg te schrijven. Of als je data schrijft kan het niet geopend worden.

Of je gaat gemiddelden gebruiken of reële waarden hangt van de toepassing af. Je hoeft bijvoorbeeld niet alle x seconden weg te schrijven als de waarde niet wijzigt. Afhankelijk van de toepassing ga je dan heel weinig of net heel veel gegevens verwerken.

Of een deur al dan niet open gaat, en zeker bij een systeemkast, is gemakkelijk te monitoren met een reed contactje.

In een grote ruimte gaat een temperatuur nooit snel stijgen en nooit snel dalen. Maar ook dan nog kan je gegevens wegschrijven zodra er een waarde wijzigt.

Van Lambiek wordt goede geuze gemaakt.
blackdog

Golden Member

Hi,

Het viel mij net als Thinkpad ook al op dat er al vier jaar gevraagt wordt om een korte tijd in da temperatuur grafieken.
Luisteren naar de gebruikers is niet echt ontwikkeld bij de ontwikkelaars denk ik.

RvEldijk , jahoor verder alles goed hier. *grin*
Maar door mijn ervaringen in de IT en software voor het aansturen van meetinstrumenten kan ik je zeggen dat ik steeds weer de zelfde fouten terug zie komen en dat laat ik af en toe blijken.

Voorbeeldje hoe het wel kan is b.v. de software van de Rotary encoders voor Arduino die dKees heeft gemaakt, praktisch alles wat ik nuttig vond was geimplementeerd.
Duidelijk niet ff snel gemaakt, maar doordacht.

Voorbeeldje hoe het loggen wel kan is b.v. de drie multimeters die ik heb van KeySight in de 3446xA series, er worden 8 digits gelogt,
iedere 2 a 3 seconde in het maar weinige geheugen die in het meetinstrument zit, welke als ik goed heb 80MB is, loopt dagen achter elkaar met hoge resolutie.
Je kan ook naar een USB stick schrijven al je wilt als je veel langer wilt loggen.
Als je eens speelt met deze instrumenten in de grafiek stand, dan zie je wat mogelijk is met die kleine hoeveelheid geheugen.

Maar neem je nu de software die bij deze meetinstrumente hoort, welke deze naam heeft: BenchVue
Dan zal je daar maar heel weinig mensen vinden die daar nu blij mee zijn, ik heb uitgebreide e-mails geschreven naar KeySight over deze zeer gebrekkige software.
Na twee jaar hadden ze een functie die rammelde aangepast voor een heel ander meetinstrument, behalve voor de 3446xA serie multimeters waarvoor ik het gemeld had, daar zakte toen wel mijn broek an af...

Ja Domoticz is gratis, en zoals het nu is best aardig te gebruiken denk ik, van wat ik heb gezien.
Maar iedere 5 minuten voor de temperatuur sensoren vind ik in ieder geval vrij dom, vooral omdat het niet instelbaar is.
1x per 5 minuten wegschrijven wat je iedere 10 seconde gemeten hebt om de schrijf bewerkingen te beperken, daar kan ik nog inkomen of als je beter niet intressant vind.
Maar daarstraks nogmaals voor ongeveer 30 seconde de sensor vast gehouden en de grafiek maakte het nu nog erger, de piek lag op 23.4C i.p.v op 29,6C.
Dit samen met de vragen op het forum die gesteld zijn hier over en het afhouden van de ontwikkelaars, dan denk ik toch echt prutsers.

Ik denk dat ik deze test RPI3 voor hier in huis ga gebruiken, maar zeker niet voor mijn meetdoeleinde, daar is de software gewoon niet goed genoeg voor.
En dat alleen als die Domoticz software betrouwbaar gaat starten bij een boot!

.
Ik denk nu na of dit niet beter toepasbaar is:
https://www.electronic-software-shop.com/lng/en/hardware/temperature/l…
Jammer genoeg is er geen lokale opslag dus dat betekend een computer aan laten staan voor het loggen/ data trekken uit de print.

Groet,
Bram

You have your way. I have my way. As for the right way, the correct way, and the only way, it does not exist.

We hebben ze laatst goed in de zeik genomen met dat glibc, was ook te gek, topic verwijderd, dus ze luisteren wel, handelen er mss alleen niet naar :)

Tja lijkt me allemaal niet zo spannend om dat te veranderen naar een setting, en dan word de DB groter, en Domoticz zal meer druk zijn, maar mss is het in het verkeerde keelgat geschoten bij hun, en dan hebben ze er geen zin meer in.

Maar idd Domoticz is geen datalogger, draait hier al jaren stabiel, geen opstart problemen oid.

Alles met een knipoog ;-)

Op 20 oktober 2020 17:05:32 schreef blackdog:
...Luisteren naar de gebruikers is niet echt ontwikkeld bij de ontwikkelaars denk ik.

Die resolutie van 5min is een keuze, en wat mij betreft een goede. De toepassing is domotica, ofwel huis-automatisering. Temperaturen hebben nagenoeg altijd een traag karakter, en ook de temp in huis is dat. Dan is die 5m ruim voldoende. Nou kunnen we daarover discussieren, maar dat heeft geen zin.
Overigens, andere sensoren hebben een min/max/average grafiek, bv mijn LUX sensor. Ook daar wordt natuurljk gemiddeld, dus een echte piekwaarde zie je daar ook niet.

Bottom line: als ik jouw posts zo lees, dan moet je alles gewoon zelf gaan maken. Je bent veel te eigenwijs om iets bestaands te gebruiken. Je zult altijd iets vinden waarom het "volkomen ruk" is. Ik zeg het maar gewoon recht voor z'n raap, da's wel zo duidelijk :-)

"We cannot solve our problems with the same thinking we used when we created them" - Albert Einstein
blackdog

Golden Member

Hi flipflop,

Uhm ben ik te eigenwijs.. of ben ik de gene die niet dit doet _/-\o_ omdat het gratis is, het daarom maar mooi en prachtig moet vinden.
Ik leg binnen korte tijd mijn vinger op de zere plekken en na wat onderzoek op fora blijk ik dus niet de enige te zijn. :)

Ik zoek nog even verder of ik iets bruikbaars kan vinden. :+

Groet,
Bram

You have your way. I have my way. As for the right way, the correct way, and the only way, it does not exist.

Je hoeft iets niet mooi en prachtig te vinden, puur omdat het gratis is. Tot zo ver ben ik het met je eens. En in het algemeen ben ik ook geen aanhanger van apple-gedrag.

Maar "de vinger op de zere plek", en jouw wens ook terugvinden op het forum.. dat hoeft niet te betekenen dat de keuze van de ontwikkelaars de verkeerde is, of dat ze niet luisteren naar gebruikers.

Domoticz heeft in beginsel een bepaalde toepassing, namelijk in home-automation. Elke 10 seconden een temperatuur opslaan is vaker niet nodig dan wel. Dat jij het graag anders ziet, dat is duidelijk (en ook het waarom).

Het zou natuurlijk mooi zijn als het gewoon instelbaar is in een config-file ofzo, dat ben ik met je eens. Maar jouw wensen gaan gewoon verder dan waar de software het meest voor ingezet wordt.

If you want to succeed, double your failure rate.
blackdog

Golden Member

Hi,

Tja, ik denk toch anders over wat de gemiddelde mens goed vind...
Als je een halve minuut een 9 graden jump niet ziet in de software, dan ben je wat mij betreft geen goede programmeur.
En waarom dan niet...

Dat heeft verder weinig te maken met mijn toepassing.
Voorbeeldje, je instaleerd bij je ouders thuis een systeem van zeg Domoticz om verschillende zaken in de gaten te houden.
Nu klaagt een van je ouders dat ze het regelmatig koud hebben en of de thermostaat daarom niet hoger mag,
en jij kijk dan een paar dagen naar de temperatuur in verschillende ruimtes, en wat blijkt, daar is niets te zien, mooie gelijkmatige temperatuur.
Het zal de ouderdom van je ouders wel zijn, beetje klagen om aandacht...

De realiteit is dan b.v. zoals hier in Amsterdam veel portiek huizen zijn, en als de kinderen van deburen in de middag thuis komen de buitendeur vaak wat langer open staat.
Of de buren kunnen geen afscheid nemen en blijven bij de voordeur staan.
Dit veroorzaakt een flinke daling in de temperatuur in de gang als het wat kouder is, en waar je ouders dan ook last van kunnen krijgen door b.v. tocht.
Het systeem registreert maar weinig van dit voorval van 3 minuten, het laat maar een hele kleine daling rond die tijd zien die verder op de hele dag niet opvalt.
Pa en Ma hadden zeker wel reden tot klagen, want een beetje koude trek merk je vrij snel.
Alleen Domoticz liegt tegen je! en dit door de beperkte vizie van de ontwikkelaars.

Dan volgt het Mantra: Ja maar dan wordt de database groter, ja en? USB stick er aan, of USB disk, schrijf de software hiervoor als nodig.
Neus vooruit en beter maken, nadenken over je afwegingen, als mensen al 4 jaar vragen om verandering, en je gaat dan knopjes leuker maken i.p.v. de kwaliteit van je software op te voeren.

In de jaren 1930 waren er schellakplaten, misschien was dat ook maar beter geweest om het zo maar te houden, vele mensen waren hier namelijk heel blij mee.
Gelukkig hebben we nu veel betere media, alleen wordt de kwaliteit van deze media weer beperkt door de middelmatige, met hun behoudende meningen...

Variaties op bovenstaande voorbeeld kunnen jullie zelf wel verzinnen denk ik.
Mijn mening is dat ook voor "gewone toepassingen" die 5 minuten veel te lang is.

Met wat intelligentie in de software hoeft er helemaal geen nieuwe data te worden weggeschreven als de temperatuur niet veranderd is,
daarmee is b.v. ruimte te besparen in de database en zo zijn er nog meer mogelijkheden.

Als ik een spanningsreferentie meet over 5 minuten meettijd, kan ik jullie zeggen dat hij een hele mooie lage ruis heeft.
Blijk dat ding vol te zitten met pop corn noise, dat is dus niet bepaald een goede spannings referentie, omdat ik jullie niet het echte gedrag vertel, dan lieg ik dus tegen jullie. :)

Ik vind het wel goed zo, steek mijn tijd u weer even in andere software, krijg Domoticz voorlopig niet auto starten ondaks de scripts hiervoor.
En ja alles is up to date, scripts voor auto starten gedraaid enz, staat ook in init.d als uitvoerend script met de goede rechten... bluh

Groet,
Bram

You have your way. I have my way. As for the right way, the correct way, and the only way, it does not exist.

Domotics is natuurlijk gemaakt voor hun "gemiddelde" gebruiker in sommige situaties wil je juist wel filtering. Je wilt toch ook niet dat de verwarming telkens 1 minuut aanspringt als je de deur open doet. Je zou het filteren weer instelbaar kunnen maken, maar dit maakt de software weer lastiger te gebruiken.
Ik kan me best voorstellen dat ze bij Domotics een aantal punten hebben afgewogen tegen elkaar en uiteindelijk hebben besloten dit zo te doen. Wellicht zijn er voordelen die we nu niet zien. Als het voor jou daardoor niet geschikt is heb je de volgende opties:
- Vragen bij Domotics of ze het willen aanpassen, gaat waarschijnlijk niet gebeuren aangezien je zelf al aangeeft dat andere dit al hebben geprobeerd.
- De source klonen en aanpassen zodat het wel bruikbaar wordt. Dit verijst best wel wat kennis van programmeren.
- Op zoek naar een andere oplossing, of je eigen oplossing maken.

Bedenk wel dat Domotics gratis en opensource is. Je hebt als gebruiker dan niet zoveel te willen.

Als je een halve minuut een 9 graden jump niet ziet in de software, dan ben je wat mij betreft geen goede programmeur.

Mwa, Als je kundig genoeg bent om een platform als Domotics te kunnen programmeren ben je in mijn ogen een prima programmeur. Dat er ergens een keuze is gemaakt waar je al dan niet achter staat als programmeur heeft niets met je programmeer kunde te maken. Mijn baas verzint ook wel eens dingen die ik vanuit een technisch oogpunt niet de beste vind, maar hij heeft wel het laatste woord. Gelukkig staat hij wel altijd open voor ideeën en overleg waarom iets wel of niet goed zou zijn.

Wat ik zou doen in jouw situatie:
- MySensors (Standaard software voor de ESP waarmee je sensoren kan instellen en de data kan sturen via MQTT naar de broker)
- Mosquitto (MQTT broker, zie dit als een centraal punt die data heen en weer route tussen verschillende sensoren en de NodeRED)
- NodeRED (Hiermee kan je flowcharts maken om te bepalen wat er met je data gebeurt en waar het naartoe moet. Ook kan je een dashboard maken met grafieken ect.)

http://domoticx.com/node-red-plugin-dashboard/

Ik kom veel sites tegen waarbij je zelf nog de ESP kant eea moet programmeren maar als je MySensors gebruikt zou dit niet nodig moeten zijn.

PE2BAS
buckfast_beekeeper

Golden Member

Een database wordt niet snel groot. In mijn fijnstof database zitten net geen 190 000 records. id, sensorId (Foreign Key), UTC timestamp, stof PM10, stof PM2.5, temperatuur, rel vochtigheid, luchtdruk en WiFi signaal sterkte. Momenteel beslaat deze DB 4,5MB. Maak ik er een CSV van, dan wordt die 11MB. Nog doenbaar maar toch al > dubbel en met minder mogelijkheden.

@hardbass: ik huiver van oplossingen waar je afhankelijk wordt van externe spelers zoals MQTT. Alles staat en valt met hun aanwezigheid en connectie met het internet. Wat doen ze met je gegevens? Bram heeft ook al aangegeven geen cloud situatie te willen.

Van Lambiek wordt goede geuze gemaakt.

MQTT is een protocol en impliceert op geen enkele manier iets externs/in de cloud. Je kunt gewoon alles lokaal houden, door bijvoorbeeld Mosquitto (open source MQTT broker) te draaien op een PC of een rPi.

Ik denk dat de suggestie van hardbass een goede is, maar weet niet of het "kant en klaar" genoeg is voor Bram.

[Bericht gewijzigd door Jochem op woensdag 21 oktober 2020 10:53:54 (16%)

If you want to succeed, double your failure rate.
blackdog

Golden Member

Hi,

hardbass
Het gaat er om dat ik kan zien wat er aan de hand is, niet om die oudjes iedere keer te gaan opstoken als de voordeur open is. :)
De beslissing komt later, eerst de oorzaak kunnen herkennen, dus de metingen/registratie zullen een voldoende hoge resolutie moeten hebben.

Wat ik als "programmeurs" omschrijf, daar bedoel ik het hele team mee, de gene die de beslissingen nemen.

Jochem
Kant en klaar zal het wel nooit worden. :)
Ik ben alles behalve lui, eigenlijk meer een pitbull, maar het bijten van die pitbull stopt wel vrij snel, als ik onnadenkendheid op onnadenkendheid tegenkom.

Algemeen
Na wat rommelen met aanpassingen die ik hier en daar gevonden had op het Internet, zag ik een opmerking betreffende de hardware clock van de Rapsbery Pi.
Dat heeft hij niet!, dit was mij allang bekend.
Maar ik had vorige week een DS3231 printje besteld die klein was, de grote versie heb ik er nog voldoende van, en wou die er later aan knopen.
Dus ik heb weer wat config files aangepast op de Raspberry Pi en het DS3231 klokje geconfigureerd, BINGO Domoticz start weer zelf op!
Verder heb ik de notificatie voor de temperatuur nu ook werkend, dat was vrij simpel toen ik het menu hiervoor gevonden had
en op welk punt je de e-mail notificatie aan een gebeurtenis en/of sensor knoopt.

Heb ook weer even gekeken wanneer deze meldingen van het niet opstarten van Domoticz voorkamen, dat is dus al jaren...
Schaklaartjes op de webinterface voor de settings i.p.v vinkjes (naar mijnmening veel duidelijker) is natuurlijk veeeeel belangrijker dan bugs oplossen.

Opslag naar lokale server
Ik heb zelf en bij een aantal klanten een of meerdere Synology nasjes staan.
Die productie nasjes, daar denk ik nu echt niet meer aan, om met dit soort hobby software er op te gaan werken.
Ik heb een zeer goede reputatie bij mijn klanten wat degelijkeid betreft van wat ik lever, dat wil ik graag zo houden. :+

Dus geen Cloud en een ESP32, Raspberry Pi, of clone hiervan is mooi zat, max 1 week loggen is ook voldoende, daar zoek ik nog even verder op, wie weet!

Thuisgebruik
Ik gaf al aan dat ik als ik het auto starten goed zou krijgen, ik hem voor mijn huis situatie zou gaan toepassen, gewoon voor de leuk...
Ik ben nieuw op het gebied van domotica en zal nog moeten uitzoeken wat leuk of handig voor mij is.
Verder moet ik ook nog uitzoeken of Domoticz niet toch naar buiten babbeld met mijn data, auto update staat in iedergeval uit.
Babbelt de software toch naar buiten, dan wordt de gateway in de Pi verwijderd.
Locaal heb ik een Leo NTP server, dus mijn klokje blijft wel op tijd lopen. :-)

Groet,
Bram

You have your way. I have my way. As for the right way, the correct way, and the only way, it does not exist.

Ik ga zelf hiermee volgend weekend eens knutselen:

https://github.com/AdysTech/Esp32-weather

  • Connects to WiFi using a static IP to minimize awake time
  • Automatically syncs with SNTP server to post with accurate epoch time
  • Uses very accurate calibrated ADC to monitor the battery connected, and prevents overdrain (cut off at 3.4V)
  • Configurable sampling frequency
  • Posts all measured values to InfluxDB (provided a DB named environment is pre-created), which can be easily visualized with grafana with provided templates.

Met Grafana en InfluxDB heb ik zelf voldoende ervaring vanuit mijn werk, die combinatie word ook in productieomgevingen gebruikt.

https://grafana.com/blog/2019/02/14/visualizing-the-future-with-grafan…

It's the rule that you live by and die for It's the one thing you can't deny Even though you don't know what the price is. It is justified.
Sine

Moderator

Er zijn zo gruwelijk veel oplossingen mogelijk, maar domoticz zou inderdaad niet mijn eerste keuze zijn, dat is toch nog steeds ietwat buggy ..

Homeassistant of zelfs puur node-red met het eigen dashboard is veel flexibeler, of als je echt fancy wilt doen grafana er op voor fancy grafiekjes.

Als je zelfs de hardware niet zelf wilt ontwikkelen kijk dan eens naar de conbee2 (zigbee stick) en de kant en klare zigbee sensors die xiaomi maakt bijvoorbeeld, die kun je helemaal cloudloos gebruiken.

buckfast_beekeeper

Golden Member

Als de synology NAS er al zijn, mariaDb er op en PHPmyAdmin om de database te beheren. De data verwerk je dan zoals je wil.

Van Lambiek wordt goede geuze gemaakt.
marcob

Golden Member

Wat zijn we weer aan het zoeken naar situaties waar het net niet werkt.

Bij een fatsoenlijke Domoticz installatie heb je draadloze temperatuur sensoren, via WiFi, 433Mhz zWave o.i.d. Die geven hooguit elke minuut de temperatuur door. Ik vraag me trouwens af of die überhaupt reageren op tocht o.i.d. Dus algemeen heeft het geen zin om korter op te slaan.

En als ik wil weten of ergens de temperatuur plotseling daalt, maak ik een script die reageert bij een temperatuur daling van meer als zoveel graden. Bij activering van het script stuur je een email of App. Duidelijker kan niet, niks achteraf lopen zoeken in een grafiekje.

People tend to overestimate what can be done in one year and to underestimate what can be done in five or ten years
blackdog

Golden Member

Hi marcob,

Ik had natuurlijk al gedacht aan die modules die voor temperatuur ed te koop zijn en wist van te voren al dat die "traag" zouden zijn. :-)

Trouwens, ik kreeg net een e-mail dat één van de DS18B20 sensoren een lage temperatuur limit bereikt heeft, natuurlijk te traag reageren voor mijn toepassing, maar het werkt wel.

Verder ben ik er nog niet helemaal uit hoe ik voor mijn meetsysteem het ga aanpakken, ik heb ook nog zoiets als een opgevoerde Arduino en dat is een Adafruit datalogger.
Daar zit standaard al een opslag medium op en dan wordt het toch met excel de grafiekjes schrijven.
Als ik er een redelijk groot display aan hang, kan ik in ieder geval live de sensoren direct uitlezen.

Groet,
Bram

You have your way. I have my way. As for the right way, the correct way, and the only way, it does not exist.
marcob

Golden Member

Goed te lezen dat er toch wat goed gaat :-)

De meeste modules heb ik zelf gemaakt, de meeste in combinatie met een ESP8266. Ik gebruik voor meerdere doeleinden tegelijk, dus een sturing en dan gelijk meten van temperatuur. Dan maakt de snelheid niet uit. De sturing is wel direct, de temperatuur komt elke minuut.

Je tweede toepassing is natuurlijk een ander verhaal, je wilt (bijna) realtime loggen. Je kunt gaan voor een ESP32 gaan. Is te programmeren met de Arduino omgeving. Heeft ook een dual core, dus kan ook echt twee dingen tegelijk. Core 1 voor meten en loggen van de data en core 2 voor communicatie en display e.d. Op internet staan voorbeelden, het is zo geprogrammeerd.

Edit: is dit wat voor je:
https://www.diy-temperature-logger.com/arduino-esp32-ds18b20-datalogge…
Deze doet nu wel elke minuut opslaan, maar kun je wel aanpassen denk ik.

[Bericht gewijzigd door marcob op woensdag 21 oktober 2020 22:53:30 (11%)

People tend to overestimate what can be done in one year and to underestimate what can be done in five or ten years
blackdog

Golden Member

Hi marcob, :-)

Ik was die pagina al tegen gekomen en zal er nog eens goed naar kijken, het een en ander was mij nog niet helemaal duidelijk hoe het in elkaar zit.
Is het geheel opgebouwd als Arduino .ino file of is het een soort image die upgeload moet worden en hoeveel mogelijkheden heb ik dit aan te passen?
Dus daar moet ik nog wat tijd in steken.

Algemeen
Dit wordt meer en meer een Review van Domoticz, en zoals Sine het omschrijft, het is nogal "buggy" software...

Ik heb weer een keer gehad dat de Domoticz service niet opstarte.
Maar eerst even twee plaatjes om te laten zien dat ik er echt mee bezig ben.

Mijn Dashboard met de test sensors, Kamer, Kast en Router zijn de DS18B20 sensoren.
https://www.bramcam.nl/Diversen/Domoticz-07.png

.
En dit is de BME280 voor temperature en vochtigheidsgraad.
https://www.bramcam.nl/Diversen/Domoticz-08.png

.
Ok, nu we toch bij de BME280 zijn aangekomen, waarom worden de drie eenheden uit deze sensor niet gecombineerd in een grafiek.
Het tabblad Weather daar staat nu de barometer stand op en bij tabblad Temperature de temperatuur en vochtigheids graad, volgens mij is dat ook een "weer omstandigheid".
Ook hier weer, laat mij dit zelf beslissen, het meest logische is volgens mij, de gegevens uit één sensor tegelijk weer te geven in een grafiek.

Export gegevens
Tja, de resolutie kan dus nog slechter dan de grafieken in de webinterface, doe maar eens export!
Alle plaatjes hebben een nog lagere resolutie dan de web grafieken, ze hebben er voor gekozen om een extra vette grafiek lijn te gaan gebruiken, welk export format je kiest, het maakt niet uit.

Dan de Excel, CSV file mogelijkheid als export is ook een drama, zowel Excel als LibreOffice verslikt zich in deze files.
Je moet heel veel stappen doen bij de conversie om maar enigsins een werkbare grafiek er uit te halen.
Een screen copy van de webinterface is beter en kost veel minder tijd.

Kijk ook eens naar dit, hier heb ik de data tabel opgevraagt.
https://www.bramcam.nl/Diversen/Domoticz-09.png

.
Zelf dat is te moeilijk om het netjes op de webpagina te zetten.
Kolom Datum maken, kolom Tijd maken , kolom Barometer maken is toch niet zo moeilijk.
De tijd heeft altijd .00 voor de seconden, dat maakt het alleen maar lastiger te lezen, waarom dit dan weergeven...

.
Hier heb ik een stukje van de web tabel ge-copieerd naar Notepad++
Dat is iets meer leesbaar, maar de namen van de colommen staan hier ook niet op de goede plek, want Date en Time hebben ze uit luiheid aan elkaar geschreven.
https://www.bramcam.nl/Diversen/Domoticz-10.png

.
En dan nog een van de BME280 sensor, kijk naar de schaal van de temperatuur, stapjes van 0,8°C, zeker te veel Wiet gerookt...
En voor de vochtigeheid is het hier 6% per divisie.
https://www.bramcam.nl/Diversen/Domoticz-11.png

.
Laten we dan eens kijken hoe het bij de andere Sensor is, de HUT21, mooi, voor de temperatuur gebruiken we hier de 0,5°C en voor de vochtighied nemen we hier 3% per divisie.
https://www.bramcam.nl/Diversen/Domoticz-12.png

.
Dat voortdurend heen en weer springen van de schaalfactor zijn ze niet uniek ik, dat heb ik b.v. dus ook gemeld eaan KeySight voor hun BenchView product.
Daar was het echter nog slechter, als je nu links 20.8°C ziet staan was dat bij BenchView 29.8242349 en dat liep over de grafiek heen, was een knap staaltje werk van die programmeurs en de gene die het werk controleren!
Ze lieten de volle resolutie in beeld staan, ze presteerde het om de spanning bij een 6,5 digit meter bij 10V ingang het in Pico Volt resolute weer tegeven 8)7

Dus zoals bij veel software producten zijn ze hier te veel met niet zo belangrijke zaken bezich, dit i.p.v. de bugs uit de software te halen.
Ik kan best begrijpen dat een flink deel het worst zal wezen dat de export plaatjes minder scherp zijn of dat de schaalfactor niet optimaal is.
Voor mij geeft het vooral aan dat met niet erg zorgvuldig bezich is en/of er te weinig controle is op wat er gecodeerd is.

Autostart
De autostart string in de handleiding van Domoticz werkt niet op de Pi...
Daarna nog wat gefrut met scripts en instellingen en nu lijkt hij op meerdere manieren te kunnen rebooten, zoals steker er uit trekken en sudo reboot en
voorlopig lijkt het nu goed te gaan.

Mijn indruk van dit pakket ondanks dat het veel kan en ik nog lang niet alles heb kunnen testen is niet echt positief.
Van wat ik wel getest heb rammelen er naar mijn menig wat veel dingen.

Er is in de handleiding weinig te vinden van 1-Wire configuratie en na flink spitten vond ik een externe link hiervoor.
Zo ook met b.v. de i2c bus, beide zijn bij de Pi opmerkingen in de handleiding niet terug te vinden.

Nog zo'n leuke: “Browser Cache Refresh had failed”
Die melding schijnt ook al jaren voor te komen, Oja de knopjes aanpassen was belangrijker... |:(

Deze melding had ik in ieder geval nog nooit gezien in mijn systemen en ook niet bij mijn klanten.
Mijn telefoon doet ook gezellig mee met deze melding!

Deze software krijgt van mij het label: hobby werkstuk
Laat het duidelijk zijn, ik kan dit absoluut niet programeren! dat is ver voorbij mijn kunnen.

Maar wat netheid en aandacht betreft schiet het wat mij betreft aardig te kort om Domoticz goed te noemen.
Net als bij allerlij andere zaken in deze wereld kijkt Domoticz net niet even verder dan hun neus en dat is jammer.

En ja ik ga nog verder met Domoticz voor de huis omgeving, kijken wat nodig is om de DS18B20 sensoren goed te laten werken met wat langere kabels.

In ieder geval bedankt voor al jullie opmerkingen, een aantal van die opmerkingen hebben mij anders laten denken. :-)

Groet,
Bram

PS
Omdat ik info zocht over draadlengte voor de DS18B20 vond ik een pagina bij Maxim meet heel veel info een FAQ dus over de DS18B20, misschien handig voor jullie!

https://www.maximintegrated.com/en/support/faqs/ds18b20-faq.html

En dit is de info over de draadlengte voor 1-Wire producten!
https://www.maximintegrated.com/en/design/technical-documents/tutorial…

You have your way. I have my way. As for the right way, the correct way, and the only way, it does not exist.

En ja ik ga nog verder met Domoticz voor de huis omgeving, kijken wat nodig is om de DS18B20 sensoren goed te laten werken met wat langere kabels.

Welkom :) (ik zeg nog in men eerste post "Let wel lange termijn grafieken werken op 5min, kan zijn dat het mss niet genoeg is" daarna zie ik een foto dat je Domoticz geïnstalleerd hebt, dus ik d8 die 5 min zijn prima)

Ik gebruik het zelf omdat het geschreven in in C code, "nothing beats C code" andere zijn python en java etc, ik verwacht dat als je eenmaal je DB flink begint te vullen en snelle schakelingen verwacht dat je minder afhankelijk moet zijn van libery's maar dat is mijn gedachte, vriend van me had ook een hekel aan Domoticz en gebruikt nu dat python systeem schijnt ook goed te werken, alleen zijn situatie is wel met 235 devices minder.

Zoals al eerder aangeven is het een huis automatisering systeem, en voor mij voldoet het prima, dat opstarten heb ik meer gehoord, zelf geen last van, maar ik heb ook een service check erop zitten, als het niet draait dan herstart service.

Maar je kunt nu toch Domoticz ook naar 1 min zetten, door DB config + web config ? Die 5min is prima voor ons, en idd was hun afweging prima denk, aangezien meerdere bestanden aangepast moeten worden is mss een DB setting idd onhandig.

Die gizmuss ofzo is een ontwikkelaar van Domoticz en die helpt de mensen in dat forum wat je moet veranderen, dus daar ligt het niet aan.

Alles met een knipoog ;-)
marcob

Golden Member

Leuk om dit hele verslag te lezen :-)
Om eerlijk te zijn ben ik ook aan het overstappen naar Home Assistant. Een paar keer de bietenbrug op gegaan met een update. Domoticz werkte niet meer, moest backup terugzetten, kost je weer een hele avond.

Ik heb ook eens de grafieken en export bekeken, ik moet je gelijk geven, het ziet er inderdaad niet uit. Ik wil er wel gelijk aan toevoegen dat ik nu ruim 3 jaar Domoticz draai, en dit nog nooit gebruikt heb. Nu zijn beide doorsnee gebruikers, dus dit geeft maar aan, zoveel mensen, zoveel wensen. :-) Maar als je het maakt, moet het wel goed zijn.

Wat betreft de ino file, dit kun je bewerken in de Arduino IDE. In die zelfde omgeving kun je ook compileren en uploaden, via USB en via WiFi.
Het gaat eigenlijk best eenvoudig, had het zelf snel onder de knie.
Je kunt ook Visual Studio Code i.c.m. PlatformIO, gebruiken, maar daar vind ik de leercurve wat moeilijker. Zelf ben ik begonnen met Arduino IDE en ben nu langzaam de stappen in Visual Studio Code aan het zetten.

People tend to overestimate what can be done in one year and to underestimate what can be done in five or ten years

Domoticz werkte niet meer, moest backup terugzetten, kost je weer een hele avond.

Heb dat auto update uitgezet (die melding, klik hier), ik ga eerst wel naar het forum, kijk daar even, oh update, en ellende ?, ik maak sws even een clone mocht het mis gaan, dus ik kan altijd zo terug, ook verschillende complete backups, ben erg benieuwd naar Home Assistant icm met veel data en apparaten het is geschreven in Phyton maar mss werkt het erg goed.

Alles met een knipoog ;-)

Leuk om dit hele verslag te lezen

Ik vond het ook wel grappig om het te zien, begreep het niet helemaal maar gaat niet om mij maar om ts, dat hij iets fijn werkends heeft, maar resolutie is hier volgens mij 0.25 C op de dallas, volgens mij is dat de sensor zelf. Maar ik ben erg content met Domoticz dus ik zit wel in dat kamp, alle sensors/apparaten die ik schrijf, zijn wel buiten Domoticz om en kunnen zo herschreven worden naar wat dan ook.

kost je weer een hele avond.

Jij bent gewoon in die glibc val van hun gelopen, en das idd vervelend we hebben ze nix voor nix compleet in de zeik genomen daarvoor, daarna sorry kusje erop en weer door. Ik gebruik 3 verschillende Domoticz versie's ik gebruik b.v. een Domoticz IP controller (kan ook een VM zijn) en daarnaast Domoticz I/O controllers, mochten de schakelingen nou intensief worden kan ik altijd de lokale controller instellen, maar tot nu gaat alles centraal via de IP Domoticz controller.

EDIT : ik zie stapjes van een tiende, ipv 0.25

Alles met een knipoog ;-)
buckfast_beekeeper

Golden Member

Op 22 oktober 2020 17:24:14 schreef blackdog:
[...]

Ok, nu we toch bij de BME280 zijn aangekomen, waarom worden de drie eenheden uit deze sensor niet gecombineerd in een grafiek.
Het tabblad Weather daar staat nu de barometer stand op en bij tabblad Temperature de temperatuur en vochtigheids graad, volgens mij is dat ook een "weer omstandigheid".
Ook hier weer, laat mij dit zelf beslissen, het meest logische is volgens mij, de gegevens uit één sensor tegelijk weer te geven in een grafiek.
[...]

Heb je 3 gegevens met totaal verschillende resolutie en eenheden. Maakt het alleen onoverzichtelijk. Zelf zet ik mijn temperatuursensoren in 1 grafiek, rel vochtigheid van de verschillende sensoren in een andere en luchtdruk weer een andere grafiek.

Op 22 oktober 2020 17:24:14 schreef blackdog:
Zelf dat is te moeilijk om het netjes op de webpagina te zetten.
Kolom Datum maken, kolom Tijd maken , kolom Barometer maken is toch niet zo moeilijk.
De tijd heeft altijd .00 voor de seconden, dat maakt het alleen maar lastiger te lezen, waarom dit dan weergeven...

Hier heb ik een stukje van de web tabel ge-copieerd naar Notepad++
Dat is iets meer leesbaar, maar de namen van de colommen staan hier ook niet op de goede plek, want Date en Time hebben ze uit luiheid aan elkaar geschreven.

In een database is DateTime 1 veld. In de meeste programmeertalen is dat ook zo. In Excel eveneens. 22/10/2020 19:27:44 is daar 44126,8109277778. Waar 44126 de datum is na 1 januari 1900 en wat na de komma komt de tijd. 0,5 is dus 12h. Zo werkt het in een database ook en moet je beide zaken met de query uit elkaar halen wil je er 2 kolommen van maken. In de database zou het betekenen dat 1 waarde dubbel wordt opgeslagen en dat is nu net wat tegen de regels is van goed database gebruik. Laat je de datum weg, dan gaat je sortering nog uitsluitend op de uren en ga je eerst alle waardes van 00:00 krijgen, daarna 00:01, 00:02.

Zelf schrijven of betalend laten maken en dan kan je iets hebben zoals je dat wil. Aan alle pakketten zal wel iets zijn waaraan je jezelf gaat ergeren.

edit: @RvEldijk: Hangt af hoe ze de resolutie van de DS18B20 zetten. 9 bits = 0,5°C, 10 bits = 0,25°C, 11 bits = 0,125°C en 12 bits is 0,0625°C. Met respectievelijk een conversietijd van 93.75ms, 187.5ms, 375ms en 750ms. Standaard is het 12 bits maar het is gemakkelijk aan te passen naar 10 bits.

edit 2: tel in Excel 20:00 en 20:00 op. Wat krijg je te zien als je gewoon uurnotatie neemt? Kijk dan eens naar het veld als getal. Wat staat er? Hoe krijg ik het voor elkaar als ik toch 40:00 wil zien? (wat mogelijk is).

Van Lambiek wordt goede geuze gemaakt.