[Click here for the English version of this post]
Om menselijk gedrag te verklaren kun je uitgaan van oorzaken die wetmatig lijken, zoals onze evolutionaire instincten, aangeleerde reflexen of statistische regelmatigheden. Maar omdat wij ons handelen baseren op de wijze waarop wij de wereld om ons heen begrijpen, kun je ook uitgaan van betekenissen en intenties als verklaringsbenaderingen. In het dagelijkse leven lopen al die benaderingen vloeiend in elkaar over, maar de onderlinge verschillen worden van cruciaal belang als het gaat om het automatiseren van systemen zoals dat bij zelfrijdende auto’s wordt bepleit. Immers, dan kun je alleen uitgaan van oorzaken, niet van betekenissen of intenties. Dat brengt met zich mee dat je de normatieve aspecten van betekenissen en intenties, zoals waarden en verantwoordelijkheden, overhevelt naar een technisch systeem zonder dat je de mogelijkheid hebt die te veranderen – zelfs als er toekomstige ontwikkelingen zijn die daar om vragen. Daarmee wordt het twijfelachtig of de zelfrijdende auto wel ontwikkeld moet worden.
―
Weinig lijkt meer samen te vallen met het menselijk leven als autorijden. Eerst zit je achterin, dan mag je voorin op de passagiersstoel zitten om daarna als rite de passage op je achttiende je rijbewijs te mogen halen. Als je echt oud wordt, moet je periodiek worden gekeurd om te zien of je nog mens genoeg bent om auto te kunnen rijden.
Geen wonder dat zelfrijdende auto’s zo tot de verbeelding spreken, het zou een grote sprong voorwaarts betekenen naar een science fiction-achtige wereld. Niet alleen het verkeer maakt deze sprong, maar ook wijzelf als mensheid.
De grote vraag is daarbij welke handelingen je precies wil automatiseren bij het autorijden. Wat is de mens die moet worden overgenomen? Er zijn namelijk verschillende benaderingen om het menselijk gedrag te verklaren die zich niet allemaal even goed laten automatiseren. Ten eerste kunnen we kijken naar het gedrag dat zich wetmatig laat verklaren, maar we kunnen ook kijken naar het gedrag dat gebaseerd is het begrijpen van de wereld. Dit gedrag is, anders dan wetmatig gedrag, talig en reflexief van aard.
―
Het valt niet te ontkennen dat menselijk gedrag verklaard kan worden aan de hand van voorspelbare regelmatigheden. Die regelmatigheden kunnen we zien als de oorzaken van bepaalde handelingen.
Om te beginnen zijn evolutionair gevormd en ons genenmateriaal bepaalt voor een groot gedeelte hoe we reageren op bepaalde prikkels. Ons brein en ons gestel is voorgeprogrammeerd om in bepaalde gevallen tot keuzes te komen. Maar niet al ons wetmatige keuzes zijn aangeboren. Als diersoort gedragen we ons immers in veel zaken als weinig anders dan de hond van Pavlov, waarbij onze reacties onbewust geconditioneerd zijn door eerdere ervaringen. Ook dit soort keuzes verlopen onbewust en voorspelbaar. Daarnaast vertonen onze gedragingen ook op geaggregeerd niveau regelmatigheden. Door middel van statistische technieken kunnen die regelmatigheden in kaart worden gebracht en gebruikt worden om iets te zeggen over het hoe en waarom van menselijke handelingen.
Kortom, als je de keuzes die mensen maken wilt verklaren dan kun je op zoek naar de oorzaken ervan en die je kun vervolgens vinden in je DNA, in de wijze waarop je geconditioneerd bent of in de statistische verbanden – en dat doen veel wetenschappers en leken dan ook maar al te graag.
Daarbij gaat het overigens meestal niet om daadwerkelijke natuurkundige wetten, maar om correlaties, mechanismes of andere niet-noodzakelijke verbanden. Waar het hier vooral omgaat is dat de wetten uit de natuurkunde dienen als uitgangspunt van hoe je naar de wekelijkheid zou moeten kijken. Als verklaringsbenaderingen beogen oorzaken een beschrijving van het menselijk gedrag te geven die vergelijkbaar is met échte wetmatigheden.
Het mooie van zulke (pseudo)wetmatigheden is dat ze zich goed laten automatiseren. Niet dat het eenvoudig is om een auto veilig op de weg te houden, maar in principe kun je systeem optimaliseren, als je de juiste regelmatigheden weet en voldoende rekenkracht hebt.
―
Echter, als we ons afvragen hoe wij tot keuzes komen, dan doen we onszelf tekort om alleen naar wetmatige oorzaken te kijken. Wij zij talige wezens en dat geeft ook aanleiding tot andersoortige verklaringen voor de manier waarop wij ons gedragen.
Wij begrijpen de wereld aan de hand van onze taal en daar waar het om begrip gaat, spreken we van zogenaamde ‘hermeneutische’ verklaringsbenaderingen. Als eerste moet je dan denken aan betekenissen, waarbij het gaat om de manier wijze waarop ons handelen gebaseerd op het begrip van de wereld en dit begrip is niet genetisch of statistisch bepaald, maar cultureel.
Ten tweede kun je denken aan intenties. De handelingen die wij bewust nemen nadat er is nagedacht over de gevolgen van een aantal mogelijke handelingen. Lang niet alle, maar zeker heel veel keuzes zijn keuzes die we op doordachte wijze hebben genomen.
―
Betekenissen dienen meerdere functies in het menselijke handelen. Allereerst stellen ons in staat onze gezamenlijke handelen te coördineren. Begrip is sociaal geconstrueerd: de betekenissen die we geven aan onze ervaringen en onze gedachtes verkrijgen we via leerprocessen binnen onze sociale omgeving. Omdat begrip sociaal geconstrueerd is en betekenissen dus gedeeld worden, kun je tot expliciete afspraken komen en, nog veel vaker, tot een impliciete afstemming van keuzes. Je hoeft niet na te denken hoe iemand anders een bepaalde situatie begrijpt, want je begrijpt immers al het zelfde.
Ten tweede hebben betekenissen ook voor een individu een belangrijke functie. Ze stellen ons in staat nieuwe keuzes te maken die een effect in de toekomst zullen hebben. Door een situatie te begrijpen op basis van eerdere, min of meer vergelijkbare situaties en omstandigheden, kunnen we een verwachting vormen over het effect van de te maken keuze.
De derde, en wellicht de belangrijkste, functie van betekenissen is dat ze aangeven wat belangrijk is en wat niet. Welke zaken vinden we waardevol, wat afspraken staan centraal in het intermenselijk verkeer, welke normen zijn de juiste, etc. Al deze vragen zitten impliciet ingebed in de betekenissen die we als cultuur delen of die in instituties zoals het recht of de democratie zijn vastgelegd. Daarmee kunnen betekenissen een morele dimensie toekennen aan onze ervaringen en observaties.
Intenties zou je kunnen zien als een soort spiegelbeeld van betekenissen. Zoals gezegd maak je keuzes op basis van het begrip van de situatie en het effect dat je verwacht. Achteraf kunnen anderen jou er op aanspreken dat die intenties zijn gevormd op basis van een gedeeld begrip en een legitieme verwachting rondom het toekomstige effect van die keuze. Als je wordt aangesproken op je keuzes, word je in feite gedwongen tot het geven van goede redenen die je had om die keuze te maken. Wat daarbij als ‘goed’ geldt, wordt uiteraard bepaald door het stelsel van betekenissen dat binnen een bepaalde cultuur of institutie gehanteerd wordt.
―
Het hermeneutische duo betekenissen en intenties is niet te automatiseren. Ze kennen een dialectische en morele relatie tussen een individu en een sociale omgeving en ze gaan uit van verwachtingen die niet zomaar gebaseerd zijn op veronderstelde wetmatigheden of extrapolaties, maar op basis van analogieën, creatieve hypotheses, slecht begrepen bijgeloof. En dat dan het liefst allemaal door elkaar.
Betekenissen en intenties zijn niet zomaar regelmatigheden, ze stellen je in staat dingen te doen en om over gedane zaken te reflecteren of ze tot de juiste consequenties hebben geleid. Daarbij gaat het bij ‘juist’ vooral om ‘moreel juist’, niet zozeer over ‘empirisch juist’. Met andere woorden, betekenissen en intenties zijn gericht op actie en op het organiseren van verantwoordelijkheden.
Het is echter niet altijd evident wanneer iets behoort tot het domein van de oorzaken of het domein van begrip. Dit wordt duidelijk als je kijkt naar de manier waarop mensen omgaan met noodsituaties als een dreigend ongeluk. Sommigen van ons zullen dan in paniek raken. Het interessante is dat je paniek kunt zien als een situatie waar je op dat moment geen betekenis aan kunt geven. In paniek reageren we op een atavistische manier die perfect als een evolutionaire oorzaak verklaard kan worden.
Maar, verschillend als we zijn, reageert lang niet iedereen hetzelfde. Waar sommigen in paniek raken, zullen anderen het hoofd koel houden en een weloverwogen beslissing maken op basis van hun interpretatie van de situatie.
Hoe zulke situaties te automatiseren? Bij vliegtuigen zou je kunnen zeggen dat er uit wordt gegaan van resoluut handelende piloten, zij nemen het roer over in situaties die niet standaard zijn. Bij auto’s lijkt de tegenovergestelde weg te zijn ingeslagen en lijkt er vooral te worden nagedacht over de wijze waarop geautomatiseerde systemen het hoofd gaan bieden in situaties waarin gevaar dreigt.
Nu wil ik niet suggereren dat er gedacht wordt dat automobilisten niet in staat te zijn een noodsituatie te begrijpen of dat ze incapabel worden geacht om goede redenen te geven voor hun keuzes ten tijde van gevaar. Het probleem is dat het verschil tussen wetmatigheden en hermeneutische verklaringen domweg niet goed wordt begrepen.
Dit kun je bijvoorbeeld terugzien in de neiging van ethici om de komst van de zelfrijdende auto te zien als een ‘real life trolley problem’, waarbij gedacht wordt over situaties waarin het algoritme bij een dreigend ongeluk een keuze moet maken tussen slachtoffers. Het lijkt er daarbij vooral op dat de zelfrijdende auto wordt vooral gebruikt om eens lekker ethische dilemma’s op los te laten, terwijl de daadwerkelijke ethische kwesties die spelen worden genegeerd.
Bij het oorspronkelijke trolley problem gaat het over een situatie waarin niets doen leidt tot vijf slachtoffers en ingrijpen tot één slachtoffer. Een algoritme daarentegen kan nóóit niets doen, een algoritme, immers, heeft geen intenties, die volgt wat hem wordt opgedragen door de code. Daarmee wordt het scenario van de trolley problem in het geval van zelfrijdende auto’s onnozel: natuurlijk wordt een zelfrijdende auto niet geprogrammeerd om vijf personen in plaats van één persoon dood te rijden – tenzij een psychopaat het algoritme heeft ontworpen.
―
Dat de verklaringsbenaderingen in het alledaagse leven in elkaar overlopen is helemaal niet zo erg. Want het alledaagse leven is zo georganiseerd dat we daar goed mee om kunnen gaan. Als je bijvoorbeeld iets verkeerds doet en je wordt daar achteraf op aangesproken, dan word je in feite alsnog in staat gesteld om goede redenen naar voren te brengen. Zo worden oorzaken het domein van de betekenissen en intenties binnengetrokken.
Oorzaken krijgen zo betekenis. En dat is belangrijk, want het menselijke leven draait vooral om het menselijke samenleven. We moeten dat samenleven zo inrichten dat we onze keuzes op elkaar af kunnen stemmen en we moeten er voor zorgen dat de gemaakte keuzes in lijn zijn met gedeelde morele normen.
Met alleen oorzaken kom je er dan niet. Die zijn er nu eenmaal, daar kun je niet op worden aangesproken. Waar het om gaat is dat je moet kijken aan welke keuzes je echt niets kunt doen en aan welke keuzes wel. En dat ligt allemaal vrij genuanceerd. Een bankroof is onacceptabel, maar als iemand een geweer op je gericht heeft dan draag je geen morele verantwoordelijkheid voor het geld dat je steelt. Het is niet te tolereren als je iemand slaat, maar als je dat doet terwijl je in slaap bent, verandert dat de zaak.
Waar het om gaat is dat dit soort grensgevallen besproken moeten worden, waarbij per geval bekeken wordt in hoeverre er sprake is van een oorzaak of van het onvermogen met een goede reden voor het gedrag te komen. Het moet daarbij in principe altijd mogelijk zijn om een handeling vanuit het domein van oorzaken naar het domein van goede redenen over te hevelen en vice versa.
―
Dat brengt ons bij de crux van dit verhaal. De belangrijkste vraag is of we willen dat we betekenisloze systemen ontwerpen waarbinnen wij ons bewegen. Niet omdat het technisch onmogelijk is om auto’s te automatiseren, maar omdat een systeem dat technisch geautomatiseerd wordt verschuift van het domein van de betekenissen naar het domein van de oorzaken.
Je kunt zeggen, ja dat is wat we moeten zouden willen, want geautomatiseerd verkeer zorgt voor meer veiligheid, zuiniger brandstofverbruik en de tijd die je kwijt bent aan het besturen van het voertuig kun je nu veel zinvoller besteden. Denk er eens over na, in plaats van tegen je kinderen op de achterbank te roepen dat ze stil moeten zijn omdat papa of mama anders zich niet op de weg kan concentreren kun je een spelletje met ze doen.
En hoezo niet aanspreekbaar? Je kunt de ontwikkelaar van het technische systeem toch verantwoordelijk houden – in ieder geval in strafrechtelijke zin of verzekeringstechnisch. Of het kan de beheerder van het systeem zijn, of de overheid, of de gebruiker. Dat zal wat moeite kosten, maar uiteindelijk komt daar wel een oplossing voor.
Kortom, de verschuiving van een betekenisvol systeem verandert in een betekenisloos systeem brengt met zich dat wat we belangrijk vinden en dat de vraag naar wie verantwoordelijk is voor bepaalde handelingen worden overgeheveld naar een technisch systeem. Als we goed weten wat belangrijk is en verantwoordelijkheden goed regelen, dan moet het lukken.
Maar kunnen we dat goed weten? Dat is op zijn minst twijfelachtig. In het menselijk verkeer goed mogelijk om een bepaalde verdeling van verklaringsbenaderingen te heroverwegen als daar aanleiding toe is. Dat is bij een technisch systeem anders: een ontwerpkeuze die je nu maakt, legt ook de reikwijdte van keuzes in de toekomst vast – tenzij een heel systeem in een keer vervangt, iets dat zo goed als onmogelijk is. De verschuiving van een betekenisvol naar een betekenisloos systeem is definitief: we kunnen het niet meer terughalen.
Voorbeelden van zulke ‘lock-in’ effecten zijn er volop. Denk bijvoorbeeld aan het aantrekkelijk maken van vliegreizen zodat het voor een ieder mogelijk wordt kennis te nemen van andere culturen. Om deze waarde te bereiken werden maatregelen als de afschaffing van accijnzen op kerosine getroffen. Maar nu blijkt het lastig dat terug te draaien, zelfs als iedereen zich bewust is van de milieubelasting van het vliegverkeer. De overstap naar de trein wordt daarbij belemmerd door weer andere lock-in effecten, zoals de verschillende spoorbreedtes die er binnen Europa zijn. Ook die zijn nauwelijks terug te draaien.
Het fundamentele probleem is dat je nooit weet hoe een technisch systeem gaat uitpakken in de toekomst. Bovendien kunnen morele kwesties die nu nog niet spelen, later van het allergrootste belang zijn. Het is zonder meer onwenselijk dat een systeem zo ontworpen is dat zulke mogelijke morele kwesties niet meer kunnen worden opgelost.
―
De sprong voorwaarts naar een volledig geautomatiseerd verkeerssysteem wordt daarmee een veel minder aantrekkelijk toekomstbeeld. Het brengt met zich mee dat we technische, institutionele en morele ‘lock-ins’ construeren waarmee we niet in staat zijn het hoofd te bieden aan nieuwe problemen of veranderde inzichten.
Maar ik zie hier maar weinig aandacht voor. Technologie-ontwikkelaars, ethici, politici zijn te druk bezig met technische en juridische vragen of morele vragen die er eigenlijk niet toe doen – zie het trolley problem. Laat ons serieus nadenken over de vraag hoe we om moeten gaan met de toekomstige morele implicaties van de autonome systemen die nu ontworpen worden en ons afvragen hoe we kunnen borgen dat ethische kwesties ook daadwerkelijk als morele – dat wil zeggen talige – kwesties besproken worden. Dat betekent dat we collectief moeten reflecteren op de veranderende omstandigheden en de morele eisen die daarbij in het geding komen. Of de ontwikkeling van zelfrijdende auto’s daar toe de ruimte biedt? Het antwoord op deze vraag geeft eerder aanleiding tot scepsis dan vertrouwen.
—
Verder lezen:
Mecacci, Giulio, and Filippo Santoni de Sio. “Meaningful Human Control as Reason-Responsiveness: The Case of Dual-Mode Vehicles.” Ethics and Information Technology (December 06 2019).