Data naar de cloud

Edit: In dit topic heb ik nu 4 cloud oplossingen beschreven, bij kleine data volumes allemaal gratis: Google, GrafanaLabs, Axiom en AWS (Amazon).

In topic Gasvoorraad meten kwam de welbekende en vaak voorkomende vraag naar boven "waar slaan we het op?".

Veel projectjes zullen data willen versturen (of ophalen).

Veel knutselaars regelen dit, na 5 minuutjes installeren of 5 regels code schrijven, met:

  • HomeAssist/MQTT
  • PHP/Webserver
  • Email/SMS
  • FTP
  • UDP pakketjes, zelfbouw, etcetera...

Voor de leek of minder actieve hobbyist kan dit toch wat lastig zijn en ook voor een ervaren persoon zijn er wat nadelen:

  • Er is hardware of hosting nodig
  • Het moet onderhouden worden
  • Een jaartje een oud PCtje of Raspi laten draaien lukt wel, iets jaren in de lucht houden is lastiger.
  • Toegang tot de data is lastig te delen of aan te passen, de hele server overdragen is nog lastiger.

Nu zijn er in 'in de cloud' mooie oplossingen, meestal niet gratis en wel behoorlijk specialistisch voor de 'eindgebruiker'.

Een handige gratis methode die ik hier wil delen zijn 'Google Apps Scripts'.
Ik ben zeker geen expert, maar samengevat zijn er allerlei interfaces en automatisering aan de bekende Google producten te koppelen. Bijvoorbeeld, "stuur de 1e van de maand een (excel) sheet naar de baas en zet in het emailonderwerp het aantal orders en het totaalbedrag. Op cel A128 moet komen te staan: Versie van dag-maand-jaar."

Hierbij horen ook webapplicaties of APIs, de bovenstaande email kunnen we nu bijvoorbeeld ook op aanvraag via een URL starten, met een email adres dat we invoeren in de webpagina van het script.

Dit laatste komt zeer van pas als we een apparaatje hebben dat wat gegevens naar het internet wil sturen. Een Google Script project heeft een URL (meerdere voor de verschillende versies) en daar kan je met een HTTPS request waardes aan meegeven. De mogelijkheden zijn daarna eindeloos, bijvoorbeeld als e-mail doorsturen of als bestand in Google Drive opslaan.

De voordelen:

  • Het is gratis en veelzijdig
  • Veel mensen zijn al bekend met het delen en al dan niet bewerken van Google documenten (met daarin de data) van en door anderen.
  • Het is tweezijdig anoniem, het adres is niet herleidbaar naar een persoonlijk ip adres of website en ook de module die de data verstuurt kan dit anoniem doen, zonder accountgegevens of wachtwoorden
  • Een Google Script project kan je ook met anderen delen, zo kan iemand anders aanpassingen maken aan de code, bijvoorbeeld andere email adressen of alarm waardes.

Later nog wat ideeën en scenario's. Hier alvast twee voorbeelden, het eerste script verstuurd een email met die waardes die aan een URL met een HTTPS request worden doorgegeven. Het tweede script slaat ze op in een Google Spreadsheet op Google Drive.

  1. Ga naar https://script.google.com
  2. Maak een nieuw project aan, geef deze bovenin een naam.
  3. Vervang alle text in het bestand Code.gs door 1 van de twee codes hieronder
  4. Druk op de knop 'Deploy' (Ik heb de engelse versie, in ieder geval een blauwe knop rechts boven de code), kies voor een WebApp deployment, je moet hier ook aangeven dat 'Anyone' access heeft. Anders moeten we namelijk de client eerst laten inloggen op Google, dat wordt iets te geavanceerd voor deze post.
  5. Je wordt nu gevraagd en gewaarschuwd dat een onbekende app toegang krijgt tot jouw Drive of Mail (als verstuurder van mails van jouw account). Mijn code hieronder is kort en overzichtelijk, maar het zou bijvoorbeeld een achterdeurtje kunnen maken. Klik op 'Advanced' and continue als je de code begrijpt en vertrouwd.
  6. Via de Deploy knop kan je het URL van de test deployment ophalen, deze is altijd de situatie van de laatst opgeslagen code. De deployments met versies hebben een eigen URL die naar de oude code wijst (totdat je die verwijzing aanpast). Je 'officiele release' kan je dus scheiden van je test code binnen hetzelfde project.
  7. Zet het URL van de deployment (voor nu test aka 'HEAD') met met de gewenste parameters in de code van je controllerbordje of je browser. Voorbeeld:
    https://script.google.com/macros/s/AKfycbw_ <snip>aPnDk/dev?temperatuur=10.3&windsnelheid=12
  8. Als de HTTP request is gelukt komt een melding terug, de mail wordt verstuurd of de data wordt opgeslagen in een 'Sheet'.

Voorbeeld code 1 het versturen van email, overschrijf alles in het Code.gs bestand met:


function doGet(e) {
  

 MailApp.sendEmail("piet@internet.nl",
                  "Temperatuur " + e.parameter.temperatuur,
                  "All values :" + e.queryString );

 return ContentService
      .createTextOutput(JSON.stringify({ 'result': 'success'  }))
      .setMimeType(ContentService.MimeType.JSON)
}

Voorbeeld code 2, letop, maak een nieuwe deployment omdat deze code toegang nodig heeft tot je Google Drive ipv Mail zaken. Je kan nog wel het URL van voorbeeld 1 blijven gebruiken als je daar de code hebt overschreven of aangepast.

Maak ook een lege Sheet aan op je Google Drive en gebruik het URL daarvan op regel 3.


function doGet(e) {

  var spreadsheet = SpreadsheetApp.openByUrl('https://docs.google.com/spreadsheets/d/1JNi8iTu_A7ATuyUw_blfXyEeAOXmTA_zhSaUPtkgk/edit');

  var sheet = spreadsheet.getSheets()[0];

  sheet.appendRow([ Utilities.formatDate(new Date(), "CET", "yyyy-MM-dd' 'HH:mm:ss"), e.queryString ]);

  return ContentService
      .createTextOutput('ok')
      
}

(Alle URLs in deze post zijn veranderd en werken niet)

Hopelijk heeft iemand er iets aan. Bovenstaande scripts zijn natuurlijk oneindig aan te passen, bijvoorbeeld data opslaan en een email als alarm. Buiten het URL en de request om kan je ook weer een 'Watch/Notification' instellen in Google Drive dat er een bepaalde tijd geen data is weggeschreven enzovoorts.

Typische toepassingen zijn bijvoorbeeld een temperatuurlogger voor iemand die verder geen server mogelijkheden heeft. Er kunnen grafieken e.d. worden toevoegd aan de spreadsheets. Een paar weken een storing van de sensor is zeer eenvoudig in de grafieken weg te poetsen door de excel regels te wissen of handmatig afgelezen waardes in te voeren.

Ik denk dat het ook gebruikt kan worden bij beveiliging dan wel controle bij clubkantines e.d. Een paar ESP bordjes met draadjes naar deurcontacten, voorraadkast, P1 poort en misschien zelfs een RFID lezertje. Alle data gaat naar een sheet/email, een commissie deelt toezicht op de code van het project en de data zelf (vanaf mobiel, pc, email etcetera).

Op deze manier is er ook te configureren natuurlijk. De sensor kan opdrachten terugkrijgen bijvoorbeeld "klep 1 open", "interval wordt 5 minuten". Ook kunnen email adressen in een excelsheet worden geconfigureerd in plaats van in de code.

PE9SMS

Golden Member

Dank voor je uitgebreide en heldere verhaal hoor! :) Deze howto krijgt hier een bookmark. Heb er zelf momenteel geen toepassing voor en ben ook niet zo van het cloudgebeuren maar dat kan met deze uitleg best nog eens veranderen. :) Wist uberhaupt niet dat dit bestond..

This signature is intentionally left blank.
MinCoz

Golden Member

De eerste reactie die bij mij op komt is:
Fijn dat g**gle meteen ook weet hoeveel orders en welk totaalbedrag je aan je baas meldt...
Maar voor data die iedereen mag weten, kan het voor sommigen wel handig zijn.
Dank voor het delen, in ieder geval.

[Bericht gewijzigd door MinCoz op maandag 8 januari 2024 13:45:45 (30%)

Ik heb het toen het "nieuw" was een tijdje gebruikt:
https://docs.google.com/spreadsheets/d/1GvZ31GlNNsclnZBYl2VQDzG_i05QOd…

Maar spreadsheets schalen (schaalden?) rot, en ik werd moe van de onophoudelijke, opdringerige meldingen van Google dat het onveilig was.
Het valt daarmee een voor mij beetje tussen loggen op een terminal of sd-kaart en iets groots en langdurigs in. Leuk om eens mee te spelen, maar voor veel toepassingen net niet.
Maar allicht is het nu beter, en laat dat niemand tegenhouden! :)

Op maandag 8 januari 2024 13:43:50 schreef MinCoz:
...
Fijn dat g**gle meteen ook weet hoeveel orders en welk totaalbedrag je aan je baas meldt...
..

Ik geef je 100% gelijk en ook een erg vervelende mededeling: Google (en Microsoft, Amazon, etc) weten al veel meer. Via mobieltjes, 'Drives', ik denk dat je niet wil weten wat allerhande bedrijven daar al voor informatie van je stallen. (banken, retail, overheid misschien nog net niet, denk ook aan de lokale makelaar/hypotheekadviseur)

Op maandag 8 januari 2024 17:41:36 schreef Aart:
Ik heb het toen het "nieuw" was een tijdje gebruikt:
https://docs.google.com/spreadsheets/d/1GvZ31GlNNsclnZBYl2VQDzG_i05QOd…

Maar spreadsheets schalen (schaalden?) rot, en ik werd moe van de onophoudelijke, opdringerige meldingen van Google dat het onveilig was.
Het valt daarmee een voor mij beetje tussen loggen op een terminal of sd-kaart en iets groots en langdurigs in. Leuk om eens mee te spelen, maar voor veel toepassingen net niet.
Maar allicht is het nu beter, en laat dat niemand tegenhouden! :)

Ja jammer, die sheet ziet er goed uit. Sommige zaken zijn wel wat beperkt inderdaad. Ik zag bijvoorbeeld geen handige manier om naar een textbestand te logggen.

Waarschuwingen heb ik nog niet gezien, ik heb mijn eerst app al langer dan 2 jaar actief.

Ik zal binnenkort eens kijken wat AWS biedt, ik las dat je namelijk wel naar S3 kan "log append'en" en ze hebben natuurlijk de online databases, 'Timeshift' schijnt speciaal voor IoT zaken te zijn en ziet er niet zo prijzig uit.

buckfast_beekeeper

Golden Member

Op maandag 8 januari 2024 21:10:49 schreef K7Jz:
[...]

Ik geef je 100% gelijk en ook een erg vervelende mededeling: Google (en Microsoft, Amazon, etc) weten al veel meer. Via mobieltjes, 'Drives', ik denk dat je niet wil weten wat allerhande bedrijven daar al voor informatie van je stallen. (banken, retail, overheid misschien nog net niet, denk ook aan de lokale makelaar/hypotheekadviseur)

[...]

Daarom dat ik zo weinig als mogelijk met een cloud werk. Een google account heb ik ook niet. Chrome gebruik ik alleen als een website zo slecht is dat die alleen met chrome wil werken (zoals zowat alles met de Belgische E-ID).

Een database opzetten op een NAS is nu ook niet de meest magische opdracht. Dan heb je tenminste je data toch in eigen handen.

Banken zijn de grootste database. Zij weten hoeveel je verdient, wie je betaalt. Aan wie jij betaalt.

Van Lambiek wordt goede geuze gemaakt.

Ik wil nog een keer een betaalde cloud dienst 'reviewen' voor data opslag, maar deze kwam tussendoor.

Meetgegevens naar de cloud: gratis grafieken, alarm, rapporten (PDF via email).

Bij GrafanaLabs, geen Google of creditcard gegevens nodig, geen big Tech.

Grafana ken ik al een jaar of 8. Het is een erg mooie tool om je data inzichtelijk te maken. Open source, je kan het lokaal installeren en oa op linux draaien en via de webbrowser bekijken en configureren.

Dit topic ben ik eerder begonnen om te zien op welke manieren je voordelig en laagdrempelig data naar de cloud kan sturen. Een ESP temperatuursensor voor de broedmachine van tante Truus is zo gemaakt. Echter het onderhoud van een dataopslagsysteem is misschien niet iets waar je je handen aan wil branden.

Nu heeft Grafana een online omgeving. Met name bedoeld voor projecten die in de cloud draaien en niet alleen meetgegevens inzichtelijk willen maken maar ook bijvoorbeeld alle logbestanden centraal willen organiseren.

Ik heb een gratis account aangemaakt, 3 minuten werk, alleen email bevestiging.

Vervolgens is het wat puzzelen, via "Connections > Add new connection > HTTP Metrics" krijg je in 6 verschillende programmeertalen hoe je een HTTP POST kan doen, inclusief een persoonlijk token.

Een scriptje gemaakt dat elke 5 minuten draait. Dit vertalen naar een ESP lijkt me een peuleschil. Je moet het token via een POST header meegeven, data in de body.

Vervolgens via Explore kan je bij 'grafanacloud-jouwnaam-prom(etheus)' de metric vinden die je in je HTTP call doet. In mijn geval temperature_rotterdam. (Dit hoef je niet vooraf te configureren, als ik in het script temp_eindhoven, temp_groningen en wind_ijmuiden toevoeg komen die meteen beschikbaar in Grafana. Voor een ESP project zou je je boardjes dus een nummertje kunnen laten meegeven.

Dan kan je wat spelen met de met opties (gemiddelde, kleuren, barcharts, linegrafieken, min/max waardes, tijdspan etcetera. Vrij snel heb je dan een mooie grafiek op een 'dashboard'. Het aardige is dat je dit dashboard ook in een PDF via email naar vele adressen kan versturen (bijvoorbeeld elke 24 uur) en je kan ook alarmen instellen op bepaalde waardes.

Klik voor groot

Schuiven in tijd en automatisch verversen is allemaal heel makkelijk. Je kan de dashboard ook publiek maken zonder dat er een account nodig is voor je bezoekers (niet geprobeerd).

Limieten van de gratis account:
Je kan maar 10.000 meetgegevens opslaan. Dat kan vrij snel gaan, ik had mijn laptop toegevoegd (cpu 7cores maal 10 waardes/harddisk/memory etcetera) toen zat ik al snel op 3000 binnen een paar uur. Vervolgens zie je de grafiek inzakken omdat ik van 1 naar 3 minuten ben gegaan en veel waardes heb weggefilterd.

De gegevens worden ook maar 2 weken bewaard. Dat is niet echt lang voor een weerstation of iets. Voor de broedmachine van tante Truus is het in combinatie met de PDF rapporten en alarmen een interessante optie.

Interessant dit! Je zegt dat in Grafana de data maar 2 weken lang bewaard word. Is er een export mogelijkheid vanuit Grafana naar een .xls of .txt of iets dergelijks?

Gr.

Erik

Op vrijdag 12 april 2024 22:26:30 schreef erik1234:
Interessant dit! Je zegt dat in Grafana de data maar 2 weken lang bewaard word. Is er een export mogelijkheid vanuit Grafana naar een .xls of .txt of iets dergelijks?

Gr.

Erik

Vast wel, ik zal eens kijken. En natuurlijk met $8/maand is de houdbaarheid iets van 12-18 maanden.

Edit: met een paar klikken kon ik heel vlot 23000 records als CSV downloaden, als ik dan aangeef dat ik stappen van een uur wil dan is dat ook mogelijk. Je download de resultaten van een query dus gemiddelden of uitersten selecteren is allemaal mogelijk.
Er is ook nog een HTTP API, je zou dan automatisch de data ergens anders kunnen opslaan of archiveren.

[Bericht gewijzigd door K7Jz op vrijdag 12 april 2024 23:58:21 (32%)

voor de mensen die hier meelezen,
ik ben dus van het anti-cloud systeem. en zo moeilijk is het ook allemaal niet om online te houden

heb thuis een Rpi draaien met een SSD erop.
in 2014 een RpiB gezet
in 2016 een Rpi3B+ voor meer rekenkracht
en sinds 2019 een Rpi4.

draait dus al 10jaar zonder omkijken. mijn webserver staat erop met mijn hobbywebsite, mijn zakelijke website, en de zakelijke van mijn vrouw.
zit ook NAS, VPN, webmail enzo op

kostprijs over 10jaar is 3 raspberrys en 2SSD's.

een andere Rpi meet ook mijn zonnepanelen en huis verbruik, die kopieert zijn 'backup' files ook elke dag 2x naar de webserver.
backup naar mijn PC is maar heel af en toe. link leggen naar de disk van mijn pc (mount) en 1 commando (Rsync) voor een backup van de gehele SSD

ik hou van werken ..., ik kan er uren naar kijken

Op zaterdag 13 april 2024 07:23:40 schreef fcapri:
voor de mensen die hier meelezen,
ik ben dus van het anti-cloud systeem. en zo moeilijk is het ook allemaal niet om online te houden
...

Grafana kan je ook op je Raspi installeren.

Kijk eens naar Syncthing een open source backup oplossing tussen win/mac/linux/android dat je backup wat beter organiseert.

Ik meen dat jij best flink investeert in ups'en en het online houden van je modem. En dat is precies een stukje van 'huishosting' die je niet bij tante Truus wil opdringen.

Ik heb thuis ook een Linux server met Grafana. Toch heb ik elke paar jaar wel een 'gat' omdat het systeem/grafana vastloopt, disk perongeluk vol, niet goed reboot na updates etc.

Als je dan iets bouwt/maakt voor de broedmachineclub of je hebt 4 winkeltjes waar je een bewaking op de koeling wil dan gaan die 'worry free cloud' oplossingen zeker wel interessant worden.

ik heb 1 ups van 600va om mijn rpi en modem online te houden, omdat er 2 bedrijfs websites op draaien.
ook connecteer ik van op het werk met VPN naar bij mij thuis. op het werk wordt het internet nogal wat veel gelimiteerd ;-)

heel die cloud toepassingen ben ik niet voor, als die er ineens mee stoppen, of betalend worden, mag je weer gaan ombouwen.

vroeger was mijn website gewoon mijn pc thuis, die dyndns draaide (gratis als je elke maand inlogde).
ineens werden ze betalend (dacht 5€/jaar ofzo), en nu is het al 10x zo duur geworden.

dus een UPS is een stuk goedkoper om ervoor te zorgen dat ik altijd hetzelfde IP behoud en mijn domeinnamen statisch link aan mijn ip.

photobucket was vroeger ook zo ene, gratis, dus iedereen op forums gebruikte het. en ineens betalend, dus 90% van de oude info op forums is waardeloos geworden omdat de fotos weg zijn.

zonnepaneel installaties begint al idem. sunnyplaces zat ik vroeger op, kon je ook vergelijken met andere systemen in je regio. ineens website offline en staat er een melding dat je de 'app' moet downloaden. werkt niet meer op PC nu

ik probeer het nu maximaal te vermijden om afhankelijk te worden van derden. want ze trekken ooit de stekker eruit

ik hou van werken ..., ik kan er uren naar kijken

Ik heb nog een mooi data in cloud alternatief gevonden:

https://axiom.co/

  • Gratis account
  • 30 dagen data opslag
  • 500GB
  • Stream, analyze, chart, and monitor data
  • Send data from unlimited sources
  • Connect integrations, forwarders, + more
  • Advanced querying with APL
  • 3 monitors (Alert via email and Discord)
  • Community support

Ik vond het opzetten echt meesterlijk eenvoudig, zeker vergeleken met bovenstaande oplossingen. Als het gratis account niet genoeg biedt heb je voor $25/maand een 'echt' account.

In enkele minuten maak je een account aan, dataset naam toevoegen, bijvoorbeeld 'kippenhok'. API token aanmaken en dan:


#!/usr/bin/bash
API_TOKEN="kopiëer van Settings > New API token"
DATASET_NAME=kippenhok

curl    -H 'Authorization: Bearer '$API_TOKEN''\
        -H 'Content-Type: application/json'\
        -d '[{ "temperature": '$VAL' }]'\
        'https://api.axiom.co/v1/datasets/'$DATASET_NAME'/ingest'

Je hoeft niets te configureren wat betreft datavelden. Ga je over een week ook de luchtvochtigheid sturen of een serienummer, dan wordt dat gewoon aangepakt en opgeslagen. Ook logregels met analyse, grafieken en alarmmeldingen naar email kunnen worden doorgestuurd. Of met via de api weer ergens anders worden getoond.

(klik voor groot)
Ik heb overigens ook nog een tijd gepuzzeld om de data eenvoudig naar Amazon of Google cloud te sturen en dan die enkele centen voor de kleine hobbyopslag per maand te betalen. Dit is ook wel te doen, maar is zeker niet eenvoudig en al helemaal niet zo simpel uit te breiden met grafieken en alarmpjes.

Paulinha_B

Honourable Member

Voor 25 us$ per maand kun je twee keer per jaar een nieuwe raspi kopen, met een ruime USB stick erbij, EN zijn energieverbruik.
Dat er niet meer in je bloes wordt gegluurd is meegenomen :)

Het werd reeds vaak gezegd: het is maar wat je belangrijk vindt. Of in de Antwerpse versie: Goesting is koop. Zelf heb ik het niet zo met gluurders.

[Bericht gewijzigd door Paulinha_B op dinsdag 29 oktober 2024 01:00:16 (29%)

Op dinsdag 29 oktober 2024 00:51:32 schreef Paulinha_B:
Voor 25 us$ per maand kun je twee keer per jaar een nieuwe raspi kopen, met een ruime USB stick erbij, EN zijn energieverbruik.
Dat er niet meer in je bloes wordt gegluurd is meegenomen :)
....

Echt glas is fijner, maar soms zijn plastic bekers handiger.

Een eigen raspi of cloud heeft allebei zijn voor- en nadelen.

Voor de $0/maand kan je honderden of duizenden meetstationnetjes over heel de wereld monitoren. Alle scoreborden van de dartclub, tennis, hondenrennen enzovoorts. Als jij dan liever tijdens vakantie of ziekte wordt gebeld waarom Raspi nummer #17 geen data meer laat zien tijdens het kersttoernooi of dat de koeling in de clubkantine toch geen alarm heeft gegeven dan is dat zeker een goede oplossing.

Paulinha_B

Honourable Member

Wees maar heel gerust: op geen enkele van mijn RasPis (het zijn er overigens heel wat minder dan 17) is mijn foonnummer terug te vinden!

Maar als het gaat over het opzetten van diensten voor derden, dan kan men zo'n gluurderdienst voorstellen, ja, en dan is het aan de derde om ervoor te kiezen, of niet.

Op dinsdag 29 oktober 2024 01:55:12 schreef Paulinha_B:
Wees maar heel gerust: op geen enkele van mijn RasPis (het zijn er overigens heel wat minder dan 17) is mijn foonnummer terug te vinden!

Maar als het gaat over het opzetten van diensten voor derden, dan kan men zo'n gluurderdienst voorstellen, ja, en dan is het aan de derde om ervoor te kiezen, of niet.

Maar wat vind je een gluurdienst? Jouw server in een datacenter, een gehuurde server in een datacenter, een gehuurde database in een datacenter? Of een website zoals CO in een datacenter (met dank aan de betrouwbare mensen bij Shock Media ;) ) Of heb je liever je server/raspi in huis, met de gluurkist (router) van KPN/Belgacom in je hal? En vertrouw je ook de soft- en hardware van de Raspi? Weet je zeker dat deze niet stiekem al je toetsaanslagen en screenshots naar Raspi HQ stuurt? Heb je de Raspi wel met röntgen doorgelicht of er geen schaduwsysteem op draait die via bluetooth van de postbezorger's telefoon alles naar een geheime dienst stuurt?
:7

Bijna alles wat je tegenwoordig doet (langs deurbel- of beveilingscamera's lopen, of met je mobiel of PC werken) gaat het internet op. Als je dan voor tante truus een broedmachinetemperatuuralarmdoosje maakt dan kan dat er ook nog wel bij.

Ik ben overigens wel aktief bezig met privacy, locatiezaken uit, geen Google Pay, wegwerp emailadressen, voorzichtig met kopietjes van id, maar simpelweg zeggen "clouddiensten zijn gluurboeven" is zeker te kort door de bocht.

Je hebt zelf trouwens wel angstvallig veel informatie in je profiel.

Ik gebruik Grafana dagelijks voor werk en thuis, en daarbij zorg ik zelf voor een DB server.
In Grafana heb ik verschillende dashboards en ook verschillende organisaties.
Zo heeft de klant zijn dashboard, jantje en pietje ook,...

Ik beslis zelf waar de data staat, voor hoelang, voor wie zichtbaar...

Ik heb ook die Grafana cloud... bweuk
Als je opensource gaat, dan blijf je daar ook.
Iedereen wil alles in the cloud...

Wel ik niet, soms zorg je beter zelf voor je data.

Wat je zelf doet, doe je meestal beter.
Een eigen influxdb draaien is poepsimpel, vraagt weinig resources.
Zo kan je lokaal on site en db draaien op een raspberry, en die dan syncen met je db server op kantoor,...

En de UPS... die bouw je ook beter zelf he ;)
Voor de meeste is het om veilig hun boel af te sluiten,
Ik wil zolang mogelijk online blijven. 2x 12V 140Ah is basis set.
Meanwell heeft hele mooie oplossingen, en zelfs heel betaalbaar voor thuis ook.

ASPA-tech.be
HVinduction

Special Member

Ik gebruik de Raspberry Pi 2 als mail- en webserver voor mijn bedrijfje, ik heb internet van Ziggo, het nadeel is dat je poort 25 ingaant alleen kan openen door de RPI in DMZ mode te zetten. Van IP-adres wijziging heb ik sinds juli 2023 dat alles online is geen last gehad. Ik maak maandelijks remote backups van de gehele SD-kaart.

Het is mij sinds kort ook gelukt om Dovecot correct in te stellen zodat ik mailtjes via Gmail op mijn telefoon kan ontvangen en versturen zonder steeds de pagina van de webmail te moeten openen om te kijken of ik mailtjes heb. Dat wil zeggen dat alleen SSL verbinding via poort 993 toegestaan wordt, de rest is geblokkeerd, meen ik door ergens in de configuratie "ssl=required" in plaats van yes te doen in daarna de correcte certificaat bestanden op te geven die je ook voor je domein gebruikt van Lets Encrypt.

Vernieuwen van de SSL-certificaten doet hij ook zelf dus daar heb ik ook geen omkijken naar. Het stroomverbruik is maar 2 tot 3 watt, dus echt niks qua kosten alleen heel veel gedoe om alles goed en veilig te krijgen. Dat is ook wel nodig omdat er elke seconde wel een automatische hackpoging is. Ik gebruik nu WordPress, ook dat wil prima.

Op dinsdag 29 oktober 2024 11:34:58 schreef K7Jz:
[...]
En vertrouw je ook de soft- en hardware van de Raspi? Weet je zeker dat deze niet stiekem al je toetsaanslagen en screenshots naar Raspi HQ stuurt? Heb je de Raspi wel met röntgen doorgelicht of er geen schaduwsysteem op draait die via bluetooth van de postbezorger's telefoon alles naar een geheime dienst stuurt?
:7

raspberry maakt hardware door chips op een printje te zetten.
het OS dat je erop duwt, is gewoon linux. kan je zelf out of the box een blanco op zetten en alles software installeren dat je wil.
de mijne is zo ene. standaard debian jessy erop en geinstalleerd wat ik zelf wou. toetsaanslagen registreren mogen ze, hangt niet eens een keyboard aan.
denk dat je je beter zorgen maakt wat windows allemaal bijhoud van u. laatst nog gehad: windows paswoord updaten.
tik een password: "niet toegestaan, teveel karakters die overéén komen met het oude".
windows hoort met de credential manager gewoon te encrypteren en dat resultaat vergelijken met de karakters in de passwordfile. die zou dus NIET mijn passwoorden mogen vergelijken.

hoe weet je wat die datacenters allemaal draaien hebben? als daar 1000den websites op draaien, zijn die een gewild doelwit voor hackers. en eens ze daar binnen geraken, hebben ze hopen websites en accounts. die data komt dan op darkweb terecht.

mijn rpi thuis: als die hacker daar veel moeite voor doet om erin te geraken, zijn er 3domeinen in hun handen.
ga ik ff naar mijn router, gooi poort 80 dicht en hebben ze gedaan met spelen. er valt niks waardevol te pakken daar, waarom zouden ze moeite doen. account gegevens zijn er ook niet, en de root passwoorden zijn niet hergebruikt op andere systemen. wat hebben ze in handen... fotos van meetings en hetgeen ik hier soms post van fotos

ik hou van werken ..., ik kan er uren naar kijken
PE9SMS

Golden Member

Op dinsdag 29 oktober 2024 00:41:19 schreef K7Jz:
Ik heb nog een mooi data in cloud alternatief gevonden:

Dank voor het delen, dit kan nog wel eens van pas komen voor een of ander projectje.

This signature is intentionally left blank.
GJ_

Moderator

Op dinsdag 29 oktober 2024 13:16:40 schreef bordje:

Wel ik niet, soms zorg je beter zelf voor je data.

En soms ook niet :-)
Ik maak back ups in de cloud: op een Google drive én op een Mega drive. Die laatste is naar men zegt versleuteld, als je je wachtwoord kwijt bent kunnen zij je ook niet meer redden.

Voor back-ups kun je zelf nooit beter zorgen dan in de cloud. Ik heb er nog wel op SD cards, die kosten bijna niks. Ik gebruik die SD cards maar één keer, dus iedere back up op een nieuwe. Na een half jaar gooi ik ze weg.

Maar als bijvoorbeeld de hut hier afbrand ben ik dus alle back up's kwijt, behalve die in de cloud. Vandaar.

Stijnos

Golden Member

ik heb mijn backups ook liever in de cloud dan op een eigen systeem.
Ik weet zeker dat daar alles toch echt wel 10x beter geregeld is qua redundancy en security dan als je het zelf moet doen.
En inderdaad als er ingebroken wordt en je zooi wordt gejat, of je huis fikt af ben je nog alles kwijt als je geen sync hebt met een andere locatie.
Al dat paranoja gedoe dat ze alles van je weten. Dat weten ze toch wel indien nodig.
Mijn voorkeur gaat wel naar een zero knowledge encryption cloud storage.
dus alles wordt lokaal geencrypt en dat wordt in de cloud opgeslagen

[Bericht gewijzigd door Stijnos op woensdag 30 oktober 2024 01:19:41 (14%)

Nog even om te benadrukken: Zelf je eigen systeempje (raspi, linux machientje) is ook prachtig, beter, fijner, meer privé, lekker knutselen, voordeliger enzovoorts.

Maar uiteindelijk draai je gewoon software met bugs/zeroday exploits en als je dan denkt dat je systeem nooit een gaatje heeft door een denkfout van jezelf, de distributie, late updates of een storing (met updates) dan zit je mis denk ik. Al helemaal als je zoiets voor alle leden van de duivenclub en tante truus gaat optuigen. En dan hebben we het nog niet eens over fysieke defecten of software vastlopers (en het synchroniseren van data en het overbruggen tijdens reparatie)

Security en beheer is een vak en een kundig team van meerdere professionals die een dienst vanuit een datacenter draaien en daar elke dag mee bezig zijn en ook extra diensten inkopen (anti-ddos,inbraakdetectie, honeypots, opslag) en zeer waarschijnlijk midden in de nacht uit hun bed komen in bepaalde gevallen zijn gewoon beter in de beveiliging en beschikbaarheid.

Verder over 'de hacker is niet geïnteresseerd in mij'. Het gaat allemaal automatisch, botnets scannen alle IP addressen ter wereld. Een mail- of webserver is verouderd, raakt automatisch geinfecteerd, daarop is een log met jouw mailserver's IP adres, dat gaat in een volledige geautomatiseerd databaseje (op darkweb te koop) "10.11.12.13:25 SMTP" en zo wordt je systeem weer een stukje interessanter om even te proberen bij toekomstige mailserver bugs, een paar uur later is er weer een andere zwerm bots die een poortscan heeft gedaan: aha SSH luistert op poort 8022, SMTP op 25 (klopt nog steeds), mooi, ah ook wordpress op 443, staat genoteerd. Nu is er geen lekje, de komende 5 jaar misschien wel, een update die een paar uur te laat wordt geïnstalleerd kan al funest zijn.