Als je nu wil reageren op iets wordt je eruit gemikt, iedere keer opnieuw inloggen dus. :(

Om dit te posten ben ik er 5 maal uitgemikt.

Op zaterdag 1 november 2025 11:33:08 schreef Lambiek:
Als je nu wil reageren op iets wordt je eruit gemikt, iedere keer opnieuw inloggen dus. :(

Om dit te posten ben ik er 5 maal uitgemikt.

1 poging 1 seconde?
Ik merk nog steeds niks, ook niet in vlagen

Op zaterdag 1 november 2025 11:36:33 schreef DK:
1 poging 1 seconde?

Op de PC duurt het inloggen zeker 10 sec of meer. En soms is het normaal, met je mobiel hoef je het al helemaal niet te proberen.

Bij andere sites totaal geen last.

Op zaterdag 1 november 2025 11:41:51 schreef Lambiek:
met je mobiel hoef je het al helemaal niet te proberen.

dit is vanaf mn mobiel?

Sinds vorige maand hebben we opeens enorm veel bezoekers uit China, dat zou weleens hieraan gerelateerd kunnen zijn. Omdat Circuits Online alleen in het Nederlands is, lijkt mij dat grotendeels geen legitiem verkeer, dus ik ben met Shock Media in overleg wat we daar aan kunnen doen.

Allemaal schrapers om hey-hay te voeden. Tijd om Anubis (https://github.com/TecharoHQ/anubis) te installeren of een achter medium.

@Jeroen: ik neem aan dat ze robots.txt niet respecteren? Als ze dat wel doen ben je snel klaar.

Wat wil je in die robots.txt zetten? "Scrapers uit china mogen niet de forum posts opvragen"? Dat zal toch iets technischer moeten, je moet een user-agent, oid opgeven die dat niet mag. Google en bing wil je waarschijnlijk wel houden, dus zomaar alles blokkeren kan niet.

Edit: Het "ik wil reageren" en "posten!" zijn alletwee merkbaar traag, za, 13:08

[Bericht gewijzigd door rew op (13%)]

Ik weet momenteel geen user-agents omdat ik niet zelf in de logs kan, maar mijn ervaring op m'n werk is dat AI scrapers (als dit het is) zich totaal niks aantrekken van robots.txt of wat dan ook. Meestal worden ook user-agents van normale browsers gebruikt, dus die kun je dan al niet zomaar blokkeren.

Op zaterdag 1 november 2025 12:05:52 schreef EdbO:
Allemaal schrapers om hey-hay te voeden. Tijd om Anubis (https://github.com/TecharoHQ/anubis) te installeren of een achter medium.

Dit gebruikt https://openwrt.org/ ook. Zoals ik het begrijp geeft die de browser een soort 'berekening' om te doen, een normale gebruikersbrowser kan dat wel, een AI bot niet schijnbaar.

Site is hier momenteel ook erg traag.

[Bericht gewijzigd door ThinkPad op (19%)]

Op zaterdag 1 november 2025 13:08:18 schreef rew:
Wat wil je in die robots.txt zetten? "Scrapers uit china mogen niet de forum posts opvragen"? Dat zal toch iets technischer moeten, je moet een user-agent, oid opgeven die dat niet mag. Google en bing wil je waarschijnlijk wel houden, dus zomaar alles blokkeren kan niet.

Ik heb op het NFOR de paar zwaarst belastende scrapers en een of andere statistiek checker tegengehouden. Het was niet zozeer de webserver die last had, maar de databaseserver ondanks optimalisaties (slechte queries kun je maar beperkt optimaliseren). Die crawlers hebben naast de gewone user agent ook een duidelijk identificerende string en vaak een URL en op hun website staat hun robots.txt policy. Het is niet verplicht voor een scraper om zich te houden aan robots.txt maar kennelijk is het ze de reputatieschade niet waard.

Of dat ook geldt voor Chinese scrapers, weet ik niet. In elk geval is het een erg makkelijke manier om onnodig verkeer kwijt te raken, dus altijd de moeite waard om even naar te kijken.

Hier ook bij vlagen goddeloos traag.
Alleen CO dan, alle andere fora of pagina's werken wel goed.

Op zaterdag 1 november 2025 13:26:14 schreef Jeroen:
Ik weet momenteel geen user-agents omdat ik niet zelf in de logs kan, maar mijn ervaring op m'n werk is dat AI scrapers (als dit het is) zit totaal niks aantrekken van robots.txt of wat dan ook. Meestal worden ook user-agents van normale browsers gebruikt, dus die kun je dan al niet zomaar blokkeren.

Jammer dat je niet in de logs kan, dat zou je als sitebeheerder eigenlijk standaard moeten kunnen. Shockmedia kan dat vast wel aanzetten, het relatief primitieve dashboard ISPConfig dat ik gebruik doet dat zelfs standaard; Apache logt daar elke site in een eigen map.

Zulke strings zijn vaak veel langer/uitgebreider dan alleen de normale user agent en bevatten soms zelfs een URL met informatie. Tussen de paar die ik geblokkeerd heb zat ook AI. Op zijn minst ChatGPT (maar die werkte om een of andere reden alleen als ik hem bovenaan zette). Ik geloof dat ik die al gepost had, maar als voorbeeld:

User-agent: *

User-agent: GPTBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: barkrowler
Disallow: /

P.S. De reactie van het forum op dit moment voelt exact hetzelfde als van het NFOR toen daar een probleem was met het door crawlers veroorzaakte databaseverkeer.

Hier ook heel traag.
Ik ben in Oldenzaal via de 4G router ( laptop) en heel langzaam.
Gisteren thuis ook gemerkt dat het traag was.
Succes met oplossen Jeroen, dat zijn altijd de waardeloze klusjes die er aan hangen...

Ook hier was CO (en alléén CO) enorm traag gisteren en momenteel. Laptop met Linux Mint en een 4G-modem.

Hier ook traag.
Ik wou gisterenavond al een topic hierover openen maar dacht ik ga eerst lekker slapen en hoop dat het dan over is. :z

Maar we goed om te weten war het aan kan liggen en dat eraan gewerkt word. Dan is het wachten al niet zo erg wetende dat het niet aan mijn pc ligt.

De vorige keer niet, maar nu is het ook hier merkbaar trager. Sukses gewenst, Jeroen, we duimen voor u!

9600 baud?! Stoefer!

Wij ouwetjes moesten ons behelpen met 300 baud.... en 1200/75 Viditel was bliksemsnel voor ons!

[Edit, @Raaf12 hieronder: yep, mijn eerste modem was ook een MT+ (300/300 en 1200/75 Viditel) inbouwkaart. Hij was PTT-goedgekeurd, dus hoefde niet akoestisch gekoppeld te worden.

Het modem had ik gekregen van een neef die (toen al!) in de informatica werkte. Iedereen was blij, totdat m'n ouders de eerstvolgende telefoonrekening zagen.... </off-topic 'Opa mijmert'>

[Bericht gewijzigd door nonius op (61%)]

Net hier een periode achter de rug met meer dan 45 seconden responsetijd...
Lijkt nu weer wat beter te gaan (2 à 3 sec) maar het is niet lekker werken zo...

Het is met vlagen onbruikbaar .. 30+ seconden voor een page reload.