Speciale tekens shopreviews

Als ik in een shopreview bijvoorbeeld een é wil plaatsen, dan onstaan er gekke tekens. In de normale topics gaat dit wel goed.

Dit wordt veroorzaakt doordat de ene editor Unicode gebruikt en de andere editor good old ASCII.

Bij Copy&Paste van broncode (voor een MCU) uit een tektverwerkerbestand (.doc, pdf, ...) ontstaat hetzelfde probleem. Sla de broncode dan op als apart .TXT-bestand. Open deze nu als .TXT-bestand. Alle Unicode-tekens zijn vervangen door rechthoekjes, die door ASCII-tekens vervangen moeten worden. Het resultaat is dat de Unicode-opmaak vervangen is door de ASCII-opmaak.

Maar dan is die andere editor aan een upgrade toe toch? Ik snap wat er achter zit, maar ASCII in 2025 is behoorlijk MS-DOS als je het mij vraagt.

Dit was een bugje dat nu verholpen is :).

Ik snap wat er achter zit, maar ASCII in 2025 is behoorlijk MS-DOS als je het mij vraagt.

Eh..., nee. ASCII (net als RS232) wordt tot op de dag van vandaag nog steeds actief gebruikt, al heeft niet iedereen dat in de gaten. Tijdens het opstarten van een PC of smartfoon bijvoorbeeld wordt ASCII gebruikt. Broncode programneren gaat in ASCII. Programma's draaien op ASCII.

Unicode is een tekstverwerker-gliefen-codering. In plaats van de eerste 256 ASCII-gliefen-codering, heeft Unicode slechts de eerste 127 ASCII-gliefen in hun coderingssysteem opgenomen.

De eerste versie van Unicode gebruikte 2 bytes voor een glief, zodat oudere byte-tekstbestanden niet meer leesbaar waren. Een paar Linux-jongens hebben toen de UTF-8 meta-data als oplossing bedacht, zodat ook oudere tekstbestanden in nieuwe tekstverwerkers te gebruiken zijn.

ASCII kent 128 mogelijke combinaties, geen 256. Een NULL en een aantal glyphen en stuurcodes.

Als je het over 256 mogelijke combinaties hebt, dan heb je het over diverse tekensets ("high ASCII", code pages volgens ISO8859) zoals je die vóór de komst van UTF had als uitbreiding op de eerste 128.

Windows heeft oorspronkelijk ingezet op UTF-16 (2 of meer bytes en slecht backwards compatible) terwijl Linux standaardiseerde op UTF-8. De meeste webpagina's gebruiken ook UTF-8 (1 of meer bytes waarvan de eerste 7 bit de ASCII code beslaan dus goed backwards compatible). Wellicht zat het bugje ergens in die verwerking.

Menigeen denkt dat ASCII en gliefencodetabellen helemaal niet meer gebruikt worden (”...DOS-tijdperk..”). En dàt is dus niet waar. Doordat Unicode de extended ASCII-tabel niet heeft overgenomen (de ‘systeemtaal’), hebben ze willens en wetens alle angelsaksische en romano-talen opgescheept met tekstverweker-problemen die eerder niet bestonden, en het toetsenbord invoeren van de diakritische tekens met de dode toets onmogelijk gemaakt. Ook het uitwisselen van tekstbestanden kan daardoor gliefen-omzettingsproblemen geven (waar deze topic mee is gestart).

Meer informatie in de bijlage over de dode toets, code- en gliefentabellen.

Overigens, het aloude Alt+Keypad (met lijstje naast het toetsenbord) bestaat nog steeds, maar dan in de moderne vorm van Unicode HexNumPad. In plaats van met de muis vissen in de grafische weergave naar een speciaal karakter, ken je na verloop van tijd de diakkritische codes uit je hoofd, en kun je ze direct vanaf het toetsenbord invoeren.

Op maandag 5 mei 2025 10:08:17 schreef Harm J Seef:
[...] en het toetsenbord invoeren van de diakritische tekens met de dode toets onmogelijk gemaakt.

Voor tekens als à, é, ç enzovoorts gebruik je toch juist een dode toets?
Ik druk op ', dan op e, dan krijg ik é.
(Enige nadeel is dat als je écht een ' wilt, dat je dan een ' en een spatie achter elkaar moet typen. Maar dat was op mijn oude typemachine ook zo.)

Of heeft dit met de bovenstaande discussie niets te maken?

Hoewel uitgebreid en nuttig (ik denk dat die invoermethodes nu goed bruikbaar zijn in de shopreviews), vond ik het laatste bericht van Harm sowieso een beetje een non-sequitur op zijn vorige en op mijn reactie... Maar of je dode toetsen kunt gebruiken, hangt volledig af van je toetsenbordinstelling. Onder Windows kies je voor het normale toetsenbord iets als "US 101 keys" en dan vervolgens als taal bijvoorbeeld NL. Dan werken de dode toetsen zoals jij beschrijft. Voor andere talen werken ze ook weer anders of niet.