Due diligence interceptiesoftware

Een klant vraagt ons om een technische due diligence to doen op de AI technologie van een Britse startup. Die technologie maakt het mogelijk om een dossier op te stellen van potentiële terroristen met AI.

Ik heb geen idee hoe hieraan te beginnen, dit is geen standaard Software-as-a-Service of Internet-of-Things bedrijf zoals we dagelijks doen. We kunnen moeilijk toegang krijgen tot het product zelf, daar dit restricted militaire technologie is. Dan moeten we op zijn minst on-site zijn in hun R&D facility.

Heeft iemand een idee hoe we kunnen valideren of dit een goede investering is op technisch vlak?

Het enige dat ik tot nu toe kan bedenken is vragen om mijzelf als target in te geven en te zien wat er dan uitkomt. Ik heb niet echt iets te verbergen, maar dat is natuurlijk een sample van één, al kunnen we mogelijk nog een paar mensen vinden. Het systeem is ook vooral ontwikkeld voor gebruik in het Midden-Oosten dus misschien kan het niet eens werken met mij als target, in Londen.

Mijn advies: Niet doen. het testen van AI is een vak op zich waar zelfs de makers van AI moeite mee hebben.

https://www.anthropic.com/research/agentic-misalignment

Ook uit moreel oogpunt moet je je afvragen of je hier aan meewerken wilt.

https://www.linkedin.com/pulse/ai-het-gezicht-van-oorlog-de-risicos-pa…

[Bericht gewijzigd door Roland van Leusden op (35%)]

Ik heb dus inderdaad gevraagd om mijzelf als target in te geven... Na twee weken hebben we een soort rapport gekregen en goed gestalkt moet ik zeggen.

Er is een dashboard met een kaart van waar ik overal geweest ben en dingen die ik gedaan heb, bv:
270925 2022: Meet 'Naam' at 'Mallow (Canary Wharf)' [Benign contact, friend]
190925 0713: Leave residence for work
250925 0054: Go to bed

Verder is er een grote lijst met mensen die ik ken, meestal met foto, wat uitleg over de persoon en het soort relatie met mij. Sommigen hebben meer info, omdat ik contact gehad heb ermee in de afgelopen twee weken.

De finale conclusie is dat ik gewoon een normale persoon ben, die niets van plan is O-).

Maar dit is fucking creepy, ik vraag me af hoe ze dat gedaan hebben. Hoe the hell kun je op afstand weten wie ik persoonlijk ontmoet heb :/ ??? Of wanneer ik ben gaan slapen?

correlatie met andere gegevensbronnen...

In de 60-er jaren was er een methode om het kijkcijfer te bepalen in een transformatorhuisje, door de stroomafname te correleren met het te onderzoeken TV-kanaal: een TV gebruikt(e) bij witte schermdelen meer stroom dan bij donkere delen.
Precies hetzelfde principe wat de stemmachine de das heeft omgedaan.

England is een van de dichtst-be-camera'de landen na China.

Testen op jezelf is waarschijnlijk geen edge case. Het lastige bij AI is dat je creatiever moet zijn dan normaal om edge cases te bedenken, en ze ook heel onverwacht en willekeurig kunnen lijken.

De uitkomst van een neuraal netwerk (AI) is principieel nooit waterdicht, dus je gaat het altijd in een percentage moeten uitdrukken dat niet gelijk is aan 0. Wil je het percentage false positives en false negatives weten, dan moet je dat voor elk geval handmatig nagaan en dat voor langere tijd. Je gaat zeg maar hetzelfde doen als wanneer je een netwerk moet trainen, maar dan alleen maar meekijken of het goed getraind is.

Is dat percentage enigszins fatsoenlijk in lijn met wat levende agenten zouden behalen dan zou ik adviseren om als volgende, definitieve, fase elke positive zeer kritisch te bekijken op betrouwbaarheid (die is net als bij echte agenten soms gebaseerd op onzin en kan kostbaar uitpakken, financieel en maatschappelijk) en steekproeven te nemen om te zien of de negatives ook nog betrouwbaar zijn en er niet teveel tussendoor glipt.

In principe is dit het soort onderzoek waar je dure consultants op moet zetten in verband met de eisen (geheimhouding, maar ook juridisch en op het gebied van bedrijfszekerheid).

Echter als je de vraag hier komt stellen, denk ik dat het budget meer in lijn is met een studieproject. Qua kennisniveau zal dit aardig aansluiten bij een universitair bachelorproject. Mogelijk zelfs een masterproject.

Mijn advies zou zijn om aan een technische universiteit (Delft, Eindhoven, Twente) te vragen of er een project opgezet kan worden. Ik denk dat dat moet bestaan uit meerdere disciplines. Neurale netwerken/AI, ethiek en juridisch. Alle 3 zijn vakken die een derdejaars in principe al voor zijn kiezen gehad kan hebben, dus met de juiste prof. als begeleider zou je een heel eind moeten komen.

Of wat Roland van Leusden zegt. Behalve praktische en ethische problemen is de carbon footprint ook nog eens behoorlijk groot. Maar dan gaat de concurrent het misschien doen en die is minder scrupuleus. Wel kan het een selling point zijn om te vermelden dat de AI alleen een hulpmiddel is en steeds nauwkeurig gecontroleerd wordt.

Doet me sterk aan 'Person of interest' denken. (mensen oppakken voor wat ze in de toekomst misschien zouden kunnen gaan doen... :+ )

Gezien dit puur over software gaat is dit geen onderwerp voor het forum.