Data naar de cloud

Ik heb het toen het "nieuw" was een tijdje gebruikt:
https://docs.google.com/spreadsheets/d/1GvZ31GlNNsclnZBYl2VQDzG_i05QOd…

Maar spreadsheets schalen (schaalden?) rot, en ik werd moe van de onophoudelijke, opdringerige meldingen van Google dat het onveilig was.
Het valt daarmee een voor mij beetje tussen loggen op een terminal of sd-kaart en iets groots en langdurigs in. Leuk om eens mee te spelen, maar voor veel toepassingen net niet.
Maar allicht is het nu beter, en laat dat niemand tegenhouden!

Op maandag 8 januari 2024 13:43:50 schreef MinCoz:
...
Fijn dat g**gle meteen ook weet hoeveel orders en welk totaalbedrag je aan je baas meldt...
..

Ik geef je 100% gelijk en ook een erg vervelende mededeling: Google (en Microsoft, Amazon, etc) weten al veel meer. Via mobieltjes, 'Drives', ik denk dat je niet wil weten wat allerhande bedrijven daar al voor informatie van je stallen. (banken, retail, overheid misschien nog net niet, denk ook aan de lokale makelaar/hypotheekadviseur)

Op maandag 8 januari 2024 17:41:36 schreef Aart:
Ik heb het toen het "nieuw" was een tijdje gebruikt:
https://docs.google.com/spreadsheets/d/1GvZ31GlNNsclnZBYl2VQDzG_i05QOd…

Maar spreadsheets schalen (schaalden?) rot, en ik werd moe van de onophoudelijke, opdringerige meldingen van Google dat het onveilig was.
Het valt daarmee een voor mij beetje tussen loggen op een terminal of sd-kaart en iets groots en langdurigs in. Leuk om eens mee te spelen, maar voor veel toepassingen net niet.
Maar allicht is het nu beter, en laat dat niemand tegenhouden!

Ja jammer, die sheet ziet er goed uit. Sommige zaken zijn wel wat beperkt inderdaad. Ik zag bijvoorbeeld geen handige manier om naar een textbestand te logggen.

Waarschuwingen heb ik nog niet gezien, ik heb mijn eerst app al langer dan 2 jaar actief.

Ik zal binnenkort eens kijken wat AWS biedt, ik las dat je namelijk wel naar S3 kan "log append'en" en ze hebben natuurlijk de online databases, 'Timeshift' schijnt speciaal voor IoT zaken te zijn en ziet er niet zo prijzig uit.

Op maandag 8 januari 2024 21:10:49 schreef K7Jz:
[...]

Ik geef je 100% gelijk en ook een erg vervelende mededeling: Google (en Microsoft, Amazon, etc) weten al veel meer. Via mobieltjes, 'Drives', ik denk dat je niet wil weten wat allerhande bedrijven daar al voor informatie van je stallen. (banken, retail, overheid misschien nog net niet, denk ook aan de lokale makelaar/hypotheekadviseur)

[...]

Daarom dat ik zo weinig als mogelijk met een cloud werk. Een google account heb ik ook niet. Chrome gebruik ik alleen als een website zo slecht is dat die alleen met chrome wil werken (zoals zowat alles met de Belgische E-ID).

Een database opzetten op een NAS is nu ook niet de meest magische opdracht. Dan heb je tenminste je data toch in eigen handen.

Banken zijn de grootste database. Zij weten hoeveel je verdient, wie je betaalt. Aan wie jij betaalt.

Ik wil nog een keer een betaalde cloud dienst 'reviewen' voor data opslag, maar deze kwam tussendoor.

Meetgegevens naar de cloud: gratis grafieken, alarm, rapporten (PDF via email).

Bij GrafanaLabs, geen Google of creditcard gegevens nodig, geen big Tech.

Grafana ken ik al een jaar of 8. Het is een erg mooie tool om je data inzichtelijk te maken. Open source, je kan het lokaal installeren en oa op linux draaien en via de webbrowser bekijken en configureren.

Dit topic ben ik eerder begonnen om te zien op welke manieren je voordelig en laagdrempelig data naar de cloud kan sturen. Een ESP temperatuursensor voor de broedmachine van tante Truus is zo gemaakt. Echter het onderhoud van een dataopslagsysteem is misschien niet iets waar je je handen aan wil branden.

Nu heeft Grafana een online omgeving. Met name bedoeld voor projecten die in de cloud draaien en niet alleen meetgegevens inzichtelijk willen maken maar ook bijvoorbeeld alle logbestanden centraal willen organiseren.

Ik heb een gratis account aangemaakt, 3 minuten werk, alleen email bevestiging.

Vervolgens is het wat puzzelen, via "Connections > Add new connection > HTTP Metrics" krijg je in 6 verschillende programmeertalen hoe je een HTTP POST kan doen, inclusief een persoonlijk token.

Een scriptje gemaakt dat elke 5 minuten draait. Dit vertalen naar een ESP lijkt me een peuleschil. Je moet het token via een POST header meegeven, data in de body.

Vervolgens via Explore kan je bij 'grafanacloud-jouwnaam-prom(etheus)' de metric vinden die je in je HTTP call doet. In mijn geval temperature_rotterdam. (Dit hoef je niet vooraf te configureren, als ik in het script temp_eindhoven, temp_groningen en wind_ijmuiden toevoeg komen die meteen beschikbaar in Grafana. Voor een ESP project zou je je boardjes dus een nummertje kunnen laten meegeven.

Dan kan je wat spelen met de met opties (gemiddelde, kleuren, barcharts, linegrafieken, min/max waardes, tijdspan etcetera. Vrij snel heb je dan een mooie grafiek op een 'dashboard'. Het aardige is dat je dit dashboard ook in een PDF via email naar vele adressen kan versturen (bijvoorbeeld elke 24 uur) en je kan ook alarmen instellen op bepaalde waardes.

Klik voor groot

Schuiven in tijd en automatisch verversen is allemaal heel makkelijk. Je kan de dashboard ook publiek maken zonder dat er een account nodig is voor je bezoekers (niet geprobeerd).

Limieten van de gratis account:
Je kan maar 10.000 meetgegevens opslaan. Dat kan vrij snel gaan, ik had mijn laptop toegevoegd (cpu 7cores maal 10 waardes/harddisk/memory etcetera) toen zat ik al snel op 3000 binnen een paar uur. Vervolgens zie je de grafiek inzakken omdat ik van 1 naar 3 minuten ben gegaan en veel waardes heb weggefilterd.

De gegevens worden ook maar 2 weken bewaard. Dat is niet echt lang voor een weerstation of iets. Voor de broedmachine van tante Truus is het in combinatie met de PDF rapporten en alarmen een interessante optie.

Interessant dit! Je zegt dat in Grafana de data maar 2 weken lang bewaard word. Is er een export mogelijkheid vanuit Grafana naar een .xls of .txt of iets dergelijks?

Gr.

Erik

dubbel

Op vrijdag 12 april 2024 22:26:30 schreef erik1234:
Interessant dit! Je zegt dat in Grafana de data maar 2 weken lang bewaard word. Is er een export mogelijkheid vanuit Grafana naar een .xls of .txt of iets dergelijks?

Gr.

Erik

Vast wel, ik zal eens kijken. En natuurlijk met $8/maand is de houdbaarheid iets van 12-18 maanden.

Edit: met een paar klikken kon ik heel vlot 23000 records als CSV downloaden, als ik dan aangeef dat ik stappen van een uur wil dan is dat ook mogelijk. Je download de resultaten van een query dus gemiddelden of uitersten selecteren is allemaal mogelijk.
Er is ook nog een HTTP API, je zou dan automatisch de data ergens anders kunnen opslaan of archiveren.

[Bericht gewijzigd door K7Jz op vrijdag 12 april 2024 23:58:21 (32%)]

voor de mensen die hier meelezen,
ik ben dus van het anti-cloud systeem. en zo moeilijk is het ook allemaal niet om online te houden

heb thuis een Rpi draaien met een SSD erop.
in 2014 een RpiB gezet
in 2016 een Rpi3B+ voor meer rekenkracht
en sinds 2019 een Rpi4.

draait dus al 10jaar zonder omkijken. mijn webserver staat erop met mijn hobbywebsite, mijn zakelijke website, en de zakelijke van mijn vrouw.
zit ook NAS, VPN, webmail enzo op

kostprijs over 10jaar is 3 raspberrys en 2SSD's.

een andere Rpi meet ook mijn zonnepanelen en huis verbruik, die kopieert zijn 'backup' files ook elke dag 2x naar de webserver.
backup naar mijn PC is maar heel af en toe. link leggen naar de disk van mijn pc (mount) en 1 commando (Rsync) voor een backup van de gehele SSD

Op zaterdag 13 april 2024 07:23:40 schreef fcapri:
voor de mensen die hier meelezen,
ik ben dus van het anti-cloud systeem. en zo moeilijk is het ook allemaal niet om online te houden
...

Grafana kan je ook op je Raspi installeren.

Kijk eens naar Syncthing een open source backup oplossing tussen win/mac/linux/android dat je backup wat beter organiseert.

Ik meen dat jij best flink investeert in ups'en en het online houden van je modem. En dat is precies een stukje van 'huishosting' die je niet bij tante Truus wil opdringen.

Ik heb thuis ook een Linux server met Grafana. Toch heb ik elke paar jaar wel een 'gat' omdat het systeem/grafana vastloopt, disk perongeluk vol, niet goed reboot na updates etc.

Als je dan iets bouwt/maakt voor de broedmachineclub of je hebt 4 winkeltjes waar je een bewaking op de koeling wil dan gaan die 'worry free cloud' oplossingen zeker wel interessant worden.

ik heb 1 ups van 600va om mijn rpi en modem online te houden, omdat er 2 bedrijfs websites op draaien.
ook connecteer ik van op het werk met VPN naar bij mij thuis. op het werk wordt het internet nogal wat veel gelimiteerd

heel die cloud toepassingen ben ik niet voor, als die er ineens mee stoppen, of betalend worden, mag je weer gaan ombouwen.

vroeger was mijn website gewoon mijn pc thuis, die dyndns draaide (gratis als je elke maand inlogde).
ineens werden ze betalend (dacht 5€/jaar ofzo), en nu is het al 10x zo duur geworden.

dus een UPS is een stuk goedkoper om ervoor te zorgen dat ik altijd hetzelfde IP behoud en mijn domeinnamen statisch link aan mijn ip.

photobucket was vroeger ook zo ene, gratis, dus iedereen op forums gebruikte het. en ineens betalend, dus 90% van de oude info op forums is waardeloos geworden omdat de fotos weg zijn.

zonnepaneel installaties begint al idem. sunnyplaces zat ik vroeger op, kon je ook vergelijken met andere systemen in je regio. ineens website offline en staat er een melding dat je de 'app' moet downloaden. werkt niet meer op PC nu

ik probeer het nu maximaal te vermijden om afhankelijk te worden van derden. want ze trekken ooit de stekker eruit

Ik heb nog een mooi data in cloud alternatief gevonden:

https://axiom.co/

• Gratis account
• 30 dagen data opslag
• 500GB
• Stream, analyze, chart, and monitor data
• Send data from unlimited sources
• Connect integrations, forwarders, + more
• Advanced querying with APL
• 3 monitors (Alert via email and Discord)
• Community support

Ik vond het opzetten echt meesterlijk eenvoudig, zeker vergeleken met bovenstaande oplossingen. Als het gratis account niet genoeg biedt heb je voor $25/maand een 'echt' account.

In enkele minuten maak je een account aan, dataset naam toevoegen, bijvoorbeeld 'kippenhok'. API token aanmaken en dan:

#!/usr/bin/bash
API_TOKEN="kopiëer van Settings > New API token"
DATASET_NAME=kippenhok

curl    -H 'Authorization: Bearer '$API_TOKEN''\
        -H 'Content-Type: application/json'\
        -d '[{ "temperature": '$VAL' }]'\
        'https://api.axiom.co/v1/datasets/'$DATASET_NAME'/ingest'

Je hoeft niets te configureren wat betreft datavelden. Ga je over een week ook de luchtvochtigheid sturen of een serienummer, dan wordt dat gewoon aangepakt en opgeslagen. Ook logregels met analyse, grafieken en alarmmeldingen naar email kunnen worden doorgestuurd. Of met via de api weer ergens anders worden getoond.

(klik voor groot)
Ik heb overigens ook nog een tijd gepuzzeld om de data eenvoudig naar Amazon of Google cloud te sturen en dan die enkele centen voor de kleine hobbyopslag per maand te betalen. Dit is ook wel te doen, maar is zeker niet eenvoudig en al helemaal niet zo simpel uit te breiden met grafieken en alarmpjes.

Voor 25 us$ per maand kun je twee keer per jaar een nieuwe raspi kopen, met een ruime USB stick erbij, EN zijn energieverbruik.
Dat er niet meer in je bloes wordt gegluurd is meegenomen

Het werd reeds vaak gezegd: het is maar wat je belangrijk vindt. Of in de Antwerpse versie: Goesting is koop. Zelf heb ik het niet zo met gluurders.

[Bericht gewijzigd door Paulinha_B op dinsdag 29 oktober 2024 01:00:16 (29%)]

Op dinsdag 29 oktober 2024 00:51:32 schreef Paulinha_B:
Voor 25 us$ per maand kun je twee keer per jaar een nieuwe raspi kopen, met een ruime USB stick erbij, EN zijn energieverbruik.
Dat er niet meer in je bloes wordt gegluurd is meegenomen
....

Echt glas is fijner, maar soms zijn plastic bekers handiger.

Een eigen raspi of cloud heeft allebei zijn voor- en nadelen.

Voor de $0/maand kan je honderden of duizenden meetstationnetjes over heel de wereld monitoren. Alle scoreborden van de dartclub, tennis, hondenrennen enzovoorts. Als jij dan liever tijdens vakantie of ziekte wordt gebeld waarom Raspi nummer #17 geen data meer laat zien tijdens het kersttoernooi of dat de koeling in de clubkantine toch geen alarm heeft gegeven dan is dat zeker een goede oplossing.

Wees maar heel gerust: op geen enkele van mijn RasPis (het zijn er overigens heel wat minder dan 17) is mijn foonnummer terug te vinden!

Maar als het gaat over het opzetten van diensten voor derden, dan kan men zo'n gluurderdienst voorstellen, ja, en dan is het aan de derde om ervoor te kiezen, of niet.

Op dinsdag 29 oktober 2024 01:55:12 schreef Paulinha_B:
Wees maar heel gerust: op geen enkele van mijn RasPis (het zijn er overigens heel wat minder dan 17) is mijn foonnummer terug te vinden!

Maar als het gaat over het opzetten van diensten voor derden, dan kan men zo'n gluurderdienst voorstellen, ja, en dan is het aan de derde om ervoor te kiezen, of niet.

Maar wat vind je een gluurdienst? Jouw server in een datacenter, een gehuurde server in een datacenter, een gehuurde database in een datacenter? Of een website zoals CO in een datacenter (met dank aan de betrouwbare mensen bij Shock Media ) Of heb je liever je server/raspi in huis, met de gluurkist (router) van KPN/Belgacom in je hal? En vertrouw je ook de soft- en hardware van de Raspi? Weet je zeker dat deze niet stiekem al je toetsaanslagen en screenshots naar Raspi HQ stuurt? Heb je de Raspi wel met röntgen doorgelicht of er geen schaduwsysteem op draait die via bluetooth van de postbezorger's telefoon alles naar een geheime dienst stuurt?

Bijna alles wat je tegenwoordig doet (langs deurbel- of beveilingscamera's lopen, of met je mobiel of PC werken) gaat het internet op. Als je dan voor tante truus een broedmachinetemperatuuralarmdoosje maakt dan kan dat er ook nog wel bij.

Ik ben overigens wel aktief bezig met privacy, locatiezaken uit, geen Google Pay, wegwerp emailadressen, voorzichtig met kopietjes van id, maar simpelweg zeggen "clouddiensten zijn gluurboeven" is zeker te kort door de bocht.

Je hebt zelf trouwens wel angstvallig veel informatie in je profiel.

Ik gebruik Grafana dagelijks voor werk en thuis, en daarbij zorg ik zelf voor een DB server.
In Grafana heb ik verschillende dashboards en ook verschillende organisaties.
Zo heeft de klant zijn dashboard, jantje en pietje ook,...

Ik beslis zelf waar de data staat, voor hoelang, voor wie zichtbaar...

Ik heb ook die Grafana cloud... bweuk
Als je opensource gaat, dan blijf je daar ook.
Iedereen wil alles in the cloud...

Wel ik niet, soms zorg je beter zelf voor je data.

Wat je zelf doet, doe je meestal beter.
Een eigen influxdb draaien is poepsimpel, vraagt weinig resources.
Zo kan je lokaal on site en db draaien op een raspberry, en die dan syncen met je db server op kantoor,...

En de UPS... die bouw je ook beter zelf he
Voor de meeste is het om veilig hun boel af te sluiten,
Ik wil zolang mogelijk online blijven. 2x 12V 140Ah is basis set.
Meanwell heeft hele mooie oplossingen, en zelfs heel betaalbaar voor thuis ook.

Ik gebruik de Raspberry Pi 2 als mail- en webserver voor mijn bedrijfje, ik heb internet van Ziggo, het nadeel is dat je poort 25 ingaant alleen kan openen door de RPI in DMZ mode te zetten. Van IP-adres wijziging heb ik sinds juli 2023 dat alles online is geen last gehad. Ik maak maandelijks remote backups van de gehele SD-kaart.

Het is mij sinds kort ook gelukt om Dovecot correct in te stellen zodat ik mailtjes via Gmail op mijn telefoon kan ontvangen en versturen zonder steeds de pagina van de webmail te moeten openen om te kijken of ik mailtjes heb. Dat wil zeggen dat alleen SSL verbinding via poort 993 toegestaan wordt, de rest is geblokkeerd, meen ik door ergens in de configuratie "ssl=required" in plaats van yes te doen in daarna de correcte certificaat bestanden op te geven die je ook voor je domein gebruikt van Lets Encrypt.

Vernieuwen van de SSL-certificaten doet hij ook zelf dus daar heb ik ook geen omkijken naar. Het stroomverbruik is maar 2 tot 3 watt, dus echt niks qua kosten alleen heel veel gedoe om alles goed en veilig te krijgen. Dat is ook wel nodig omdat er elke seconde wel een automatische hackpoging is. Ik gebruik nu WordPress, ook dat wil prima.

Op dinsdag 29 oktober 2024 11:34:58 schreef K7Jz:
[...]
En vertrouw je ook de soft- en hardware van de Raspi? Weet je zeker dat deze niet stiekem al je toetsaanslagen en screenshots naar Raspi HQ stuurt? Heb je de Raspi wel met röntgen doorgelicht of er geen schaduwsysteem op draait die via bluetooth van de postbezorger's telefoon alles naar een geheime dienst stuurt?

raspberry maakt hardware door chips op een printje te zetten.
het OS dat je erop duwt, is gewoon linux. kan je zelf out of the box een blanco op zetten en alles software installeren dat je wil.
de mijne is zo ene. standaard debian jessy erop en geinstalleerd wat ik zelf wou. toetsaanslagen registreren mogen ze, hangt niet eens een keyboard aan.
denk dat je je beter zorgen maakt wat windows allemaal bijhoud van u. laatst nog gehad: windows paswoord updaten.
tik een password: "niet toegestaan, teveel karakters die overéén komen met het oude".
windows hoort met de credential manager gewoon te encrypteren en dat resultaat vergelijken met de karakters in de passwordfile. die zou dus NIET mijn passwoorden mogen vergelijken.

hoe weet je wat die datacenters allemaal draaien hebben? als daar 1000den websites op draaien, zijn die een gewild doelwit voor hackers. en eens ze daar binnen geraken, hebben ze hopen websites en accounts. die data komt dan op darkweb terecht.

mijn rpi thuis: als die hacker daar veel moeite voor doet om erin te geraken, zijn er 3domeinen in hun handen.
ga ik ff naar mijn router, gooi poort 80 dicht en hebben ze gedaan met spelen. er valt niks waardevol te pakken daar, waarom zouden ze moeite doen. account gegevens zijn er ook niet, en de root passwoorden zijn niet hergebruikt op andere systemen. wat hebben ze in handen... fotos van meetings en hetgeen ik hier soms post van fotos

Op dinsdag 29 oktober 2024 00:41:19 schreef K7Jz:
Ik heb nog een mooi data in cloud alternatief gevonden:

Dank voor het delen, dit kan nog wel eens van pas komen voor een of ander projectje.

Op dinsdag 29 oktober 2024 13:16:40 schreef bordje:

Wel ik niet, soms zorg je beter zelf voor je data.

En soms ook niet
Ik maak back ups in de cloud: op een Google drive én op een Mega drive. Die laatste is naar men zegt versleuteld, als je je wachtwoord kwijt bent kunnen zij je ook niet meer redden.

Voor back-ups kun je zelf nooit beter zorgen dan in de cloud. Ik heb er nog wel op SD cards, die kosten bijna niks. Ik gebruik die SD cards maar één keer, dus iedere back up op een nieuwe. Na een half jaar gooi ik ze weg.

Maar als bijvoorbeeld de hut hier afbrand ben ik dus alle back up's kwijt, behalve die in de cloud. Vandaar.

ik heb mijn backups ook liever in de cloud dan op een eigen systeem.
Ik weet zeker dat daar alles toch echt wel 10x beter geregeld is qua redundancy en security dan als je het zelf moet doen.
En inderdaad als er ingebroken wordt en je zooi wordt gejat, of je huis fikt af ben je nog alles kwijt als je geen sync hebt met een andere locatie.
Al dat paranoja gedoe dat ze alles van je weten. Dat weten ze toch wel indien nodig.
Mijn voorkeur gaat wel naar een zero knowledge encryption cloud storage.
dus alles wordt lokaal geencrypt en dat wordt in de cloud opgeslagen

[Bericht gewijzigd door Stijnos op woensdag 30 oktober 2024 01:19:41 (14%)]

Nog even om te benadrukken: Zelf je eigen systeempje (raspi, linux machientje) is ook prachtig, beter, fijner, meer privé, lekker knutselen, voordeliger enzovoorts.

Maar uiteindelijk draai je gewoon software met bugs/zeroday exploits en als je dan denkt dat je systeem nooit een gaatje heeft door een denkfout van jezelf, de distributie, late updates of een storing (met updates) dan zit je mis denk ik. Al helemaal als je zoiets voor alle leden van de duivenclub en tante truus gaat optuigen. En dan hebben we het nog niet eens over fysieke defecten of software vastlopers (en het synchroniseren van data en het overbruggen tijdens reparatie)

Security en beheer is een vak en een kundig team van meerdere professionals die een dienst vanuit een datacenter draaien en daar elke dag mee bezig zijn en ook extra diensten inkopen (anti-ddos,inbraakdetectie, honeypots, opslag) en zeer waarschijnlijk midden in de nacht uit hun bed komen in bepaalde gevallen zijn gewoon beter in de beveiliging en beschikbaarheid.

Verder over 'de hacker is niet geïnteresseerd in mij'. Het gaat allemaal automatisch, botnets scannen alle IP addressen ter wereld. Een mail- of webserver is verouderd, raakt automatisch geinfecteerd, daarop is een log met jouw mailserver's IP adres, dat gaat in een volledige geautomatiseerd databaseje (op darkweb te koop) "10.11.12.13:25 SMTP" en zo wordt je systeem weer een stukje interessanter om even te proberen bij toekomstige mailserver bugs, een paar uur later is er weer een andere zwerm bots die een poortscan heeft gedaan: aha SSH luistert op poort 8022, SMTP op 25 (klopt nog steeds), mooi, ah ook wordpress op 443, staat genoteerd. Nu is er geen lekje, de komende 5 jaar misschien wel, een update die een paar uur te laat wordt geïnstalleerd kan al funest zijn.

In januari melde ik in dit topic dat ik naar AWS zou kijken, via wat omzwervingen is dat nu redelijk gelukt.

AWS (Amazon Web Services) heeft honderden producten, ik heb gekeken naar:

Amazon IoTCore (een platform voor MQTT (of HTTPS) Internet Of Things)
Amazon DynamoDB (een veelzijdige NoSQL database)

IOTCore kan berichten (MQTT of HTTPS) van je apparaten ontvangen en daar acties aan koppelen, bijvoorbeeld een alarm, log error of juist iets aanroepen op je eigen webserver en natuurlijk iets doen bij één van de vele AWS diensten. DynamoDB is hier een heel logische keuze als je data wil opslaan.

Eerst maak je je gratis AWS account aan en begin met het aanmelden van het apparaatje in het IoTCore gedeelte van de 'AWS Console

Als je een getoonde hostname kan kan pingen dan wordt er zelfs een vorm van advies gegeven hoe je verder kan handelen. Na wat keuzes begint het downloaden van het 'connect_device_package.zip' bestand. Daarin zitten bijvoorbeeld de software/brondcode (diverse talen beschikbaar) bestanden die je nodig hebt om een versleutelde MQTT verbinding te maken en ook de SSL certificaten die je daarvoor nodig hebt. Dezelfde certificaten kan je ook gebruiken als je met HTTPS je data wil versturen.

Met wat geluk kan je vrij snel berichten versturen en ontvangen van en naar je MQTT apparaat (of alleen versturen met HTTP vanaf je apparaat) dankzij de webbased MQTT test client. Wat voorbeelden:

# ik koos de python client (zit net als cert en key in het zip bestand):
python3 aws-iot-device-sdk-python-v2/samples/pubsub.py 
  --endpoint a2a23307v143co-ats.iot.eu-west-1.amazonaws.com 
  --ca_file root-CA.crt 
  --cert cert.pem 
  --key private.key 
  --client_id basicPubSub 
  --topic sdk/test/python 
  --count 1 
  --message '{ "Temperature" : 999 } '


# of via HTTPS

curl --key private.key 
     -E cert.pem 
      https://a2a23307v143co-ats.iot.eu-west-1.amazonaws.com:8443/topics/sdk/test/python 
     -d '{ "Temperature" : 888 }'

Hierna kan je regels gaan toevoegen, bijvoorbeeld bepaalde berichten opslaan in een DynamoDB tabel. Met alle 'permission policies' was dit nog wel even puzzelen. Tip: gebruik de "onError" actie en stuur die naar de AWS CloudWatch Logs.

Als ik meer tijd hebt en wat interesse zie dan zal ik nog wat screenshots en configuratievoorbeelden plaatsen.

Voordelen t.o.v. eerder genoemde oplossingen:

- Enorm schaalbaar, dit kan je echt bouwen voor miljoenen sensoren wereldwijd.
- Voordelig, 'pay-as-you-go' met een flinke 'free tier', de enkele kippenhoksensor van tante truus zal je niets kosten.
- Enorm flexibel door de vele AWS services of andere verbindingen, je kan je backups maken, eenvoudige retensie (opschonen), grote (foto/film) bestanden naar voordelige S3 (Glacier) opslag sturen, MQTT compatibibiteit en alarmen. Er zijn ook producten om al je 'things' te beheren, encryptie/activatiesleutels, locatiegegevens etcetera.

Nadelen:
- Het is soms wel even puzzelen hoe je diverse diensten aanspreekt
- De flexibiliteit en mogelijkheden maken bijvoorbeeld permission policies best wel complex.
- Zoals bij eerder genoemde Grafana en Axiom service heb je niet zomaar out-of-the-box een dashboard met grafieken, ik kon het niet vinden in ieder geval.

Om een idee te geven over kosten:
Tot 30MB (25GB per uur per maand) in DynamoDB met minimale i/o (zeg 10 per uur) is gratis.
1 GB totaal opslag met 100 apparaatjes die 24/7 10 datapakketjes van 1kB doorsturen per uur is ongeveer €2 per maand (alles bij elkaar voor alle 100 apparaatjes).
(Ter vergelijk in 237 GB in AWS Glacier kost me $1/maand, het kan dus zinvol zijn om grote archieven liever naar Glacier te backuppen en uit DynamoDB te wissen).

Veel berichten in dit topic gaan over privacy. AWS levert betaalde diensten met een klein stukje 'gratis proberen'. Ik ben niet bekend met enige vorm van doorverkopen data of gebruik ervan voor eigen marketing. De data wordt 'on rest' versleuteld. Voor bijvoorbeeld S3 opslag kan je zelfs vanaf client versleutelen en ook via MQTT kan je natuurlijk besluiten om je data alvast te versleutelen voordat je het verstuurd. Een AWS alarm koppelen aan bepaalde meetwaarde wordt dan wel erg lastig.

interessant!
Weet je zo of er ook embedded voorbeelden bijzitten om aangeleverde certificaten en ssl encrypted mqtt bijvoorbeeld vanuit een esp32 te doen of een microcontroller die een bekende embedded tcp/ip stack runt?

Op dinsdag 5 november 2024 17:08:55 schreef Stijnos:
interessant!
Weet je zo of er ook embedded voorbeelden bijzitten om aangeleverde certificaten en ssl encrypted mqtt bijvoorbeeld vanuit een esp32 te doen of een microcontroller die een bekende embedded tcp/ip stack runt?

Dank je! Volgens mij mag dat het probleem niet zijn. Ik zie allemaal eenvoudige Arduino basic libraries.

Volgens mij zijn dit wel goede artikeltjes:
https://randomnerdtutorials.com/esp32-esp8266-https-ssl-tls/

Use WiFiClientSecure.h library instead of WiFiClient.h
Use port 443 instead of port 80 ***
Change the host URL to https instead of http

*** Letop de HTTPS AWS IoT protocollen op 443 en 8443 verschillen iets, mijn proefje werkte op de simpelere 8443 variant.

MQTTS kan ook, artikeltje van 2018 over de ESP8266/32 (letop wel het verouderde SSL1.2).
https://www.debashishsahu.com/posts/esp8266-esp32-connecting-to-ssl-tl…