In het schema met de transistor moet in ieder geval een weerstand voor de basis, anders gaat deze veel te veel stroom trekken wanneer de potmeter helemaal op zijn eind staat, en de basis dus rechtstreeks op het 0-10V signaal zit. Deze weerstand mag je trouwens ook voor de potmeter zetten, maakt niet zoveel uit denk ik.
Deze schakeling heeft wel een probleem: de stroom die je nodig hebt om het relais aan te trekken, is veel groter dan de stroom die je nodig hebt om hem aangetrokken te houden. Dit betekend dat de schakeling een grote hysterese heeft, dus dat de ingangsspanning vrij hoog moet worden voordat hij schakelt, en vervolgens weer een stuk lager voordat hij uitschakelt. Dat er altijd wel een beetje stroom door de spoel van het relais loopt, is geen probleem.
Wat betreft de magische rook: weet je zeker dat je de diode er op de goede manier in hebt gezet, dus in sper richting over het relais? Anders gaat er bij het inschakelen een grote stroom door lopen, die voor zowel de diode als de transistor fataal is. Ook de voeding verkeerd om aansluiten kan een dergelijk effect hebben.
Kijk ook even naar de weerstand van de spoel van het relais. Als deze te klein is, gaat er teveel stroom door de transistor lopen. Dus even de weerstand van de spoel meten, en uitrekenen hoeveel stroom er gaat lopen (misschien staat dat ook wel op het relais). 12 volt / weerstand van de spoel in ohm = stroom in ampere.
De comparator heeft juist het tegenovergestelde probleem; deze heeft nagenoeg geen hysterese. Dat betekend, dat als de stuurspanning ongeveer gelijk is aan de ingestelde drempel, deze kan geen oscilleren, dat wil zeggen, heel snel in- en uitschakelen. Dit kun je voorkomen door midden van een extra weerstand van de uitgang van de comparator naar de referentie ingang (de + ingang dus).
voor meer informatie zie: http://www.maxim-ic.com/appnotes.cfm/an_pk/3616
Dit zou het "bibberen" wel eens veroorzaakt kunnen hebben.
Het je de hele schakeling gevoed met een 9 volts batterij? Dat gaat nooit goed denk ik, omdat het relais waarschijnlijk zoveel stroom trekt dat de spanning van de batterij inzakt, waardoor de deze weer uitschakelt, hierdoor stijgt de voedingsspanning weer, en begint het weer opnieuw. (het effect van een lege accu en een startmotor). Een 9 volt batterij is niet geschikt om een relais o.i.d. mee te voeden, deze kan simpelweg niet genoeg stroom leveren. Probeer het eens met een andere voeding, zoals een adapter of zo als je niets anders hebt.