[For the English version of this post click here]
Het rationeel handelende individu is een ‘optimaliseringsmachine’ die de juiste middelen kiest om een doel te bereiken. Mensen blijken echter maar weinig rationeel, dit heeft aanleiding gegeven om zelf optimaliseringsmachines te bouwen. In de eerste plaats in de vorm van computers. In de tweede plaats in de vorm van slimme sociale structuren, zoals die van de vrije markt. Door het vermogen ‘goede’ keuzes te maken bij mensen weg te halen, ontstaan er morele problemen. Niet alleen is het bezwaarlijk dat de menselijke maat wordt aangetast, maar vooral komt de morele autonomie van individuen onder druk te staan. Er zijn daarbij genoeg redenen om ons niet blind te staren op welk idee van rationaliteit dan ook en er zijn nog meer redenen om de wijze waarop deze ideeën zijn gematerialiseerd in machines en structuren ter discussie te stellen.
−
Ooit was rationaliteit datgene wat ons mensen tot mensen maakt. Dieren die waren het immers niet. De meeste mensen trouwens ook niet, maar als er al iets rationeel was, dan was het toch in ieder geval de mens. Door de ratio centraal te stellen werd de Verlichting mogelijk. Immers met ons zo bijzondere denkvermogen konden we ons vrij maken van al die dogma’s die ons eerder in bedwang hielden. Wetenschap, democratie, ethiek, alle waren gebaseerd op de veronderstelling dat de mens zijn lot de baas was dankzij zijn superieure intelligentie. En ja, ik schrijft hier ‘zijn’, want de grote denkers waren toch niet zo verlicht dat ze inzagen dat vrouwen over hetzelfde denkvermogen beschikken als mannen.
Maar wat maakt het menselijke denken nu precies rationeel? Allereerst is het denkvermogen iets dat aan een individu behoort. De maatschappij is daarbij niet meer dan een los samenraapsel van denkende individuen, uit eigenbelang hebben ze een ‘sociaal contract’ gesloten, maar uiteindelijk blijft dat hele samenleven maar een noodzakelijk kwaad.
Het rationele denken wordt ook gezien als iets dat tegen de emoties ingaat, omdat er wordt aangenomen dat emoties niet opzettelijk zijn, maar atavistische intuïties. Emoties zijn vooral een verstoring van het denken, in plaats van een vorm van denken.
De scheiding tussen ratio en emotie keert terug in de scheiding tussen geest en lichaam, waarbij het lichaam de rol krijgt om de evaluaties van de geest te gehoorzamen. In toenemende mate wordt de geest daarbij geïdentificeerd met het brein, dat wordt gezien als het orgaan waarin alle denken plaatsvindt.
Tussen haakjes: deze centrale positie van het brein lijkt alleen maar sterker geworden met de opkomst van hersenscans, waarmee neurale activiteit traceerbaar en meetbaar wordt. Dit is een selffulfilling prophecy, omdat we denken dat het denken alleen in het brein plaatsvindt, wordt er daar gemeten en inmiddels zijn we daar zo goed in dat we nergens anders naar kijken.
Verder is rationeel denken een lineair proces, waarbij ‘input’ wordt omgezet in ‘output’. Deze benadering van het denkvermogen benadrukt de bewuste geest als het centrale commandocentrum van het menselijke handelen. Met bewustzijn wordt dan begrepen dat de denkende mens weet wat hij denkt en weet wat hij wil, hij kan het scala aan alternatieve opties in overweging nemen en bijgevolg beslissen wat de beste manier is om een bepaald doel te bereiken.
Dit lineaire proces wordt mogelijk gemaakt door de manier waarop de hersenen gedacht worden door ‘interne’ representaties van de externe wereld te creëren. Deze representatievisie sluit naadloos aan bij de opvatting van deze externe wereld als opgebouwd uit afzonderlijke elementen die op een eenduidige manier kunnen worden geïnterpreteerd.
−
Het rationele denken leent zich volop voor een utilistische ethiek, waarbij individualisme wordt gecombineerd met het streven naar de optimalisatie van een bepaald doel – geluk – gegeven de beschikbare middelen. Kortom, het rationele brein is bovenal een optimalisatiemachine. Maar zoals ik al eerder heb betoogd, dat hele brein werkt niet zo rationeel. Sterker nog ons denken is verre van optimaal.
Om dit laatste punt te benadrukken introduceerde Herbert Simon het idee van ‘bounded rationality’, waarmee hij wijst naar ons gebrekkige vermogen om alle mogelijke opties te overzien als we een bepaalde keuze maken. In plaats van een optimaliserend organisme is de mens slechts een wezen dat ‘bevredigende’ keuzes kan maken. Dit wordt gedaan door het toepassen van ‘heuristieken’, sluiproutes waardoor het volledige bereik van opties beperkt wordt tot een overzichtelijke aantal. Onherroepelijk leidt zo’n door heuristieken beperkt denken tot suboptimale oplossingen.
Daniel Kahneman en Amos Tversky wijzen op de vele ‘biases’ die we hebben bij het nemen van beslissingen. In plaats van ‘systeem II’ te gebruiken, het cognitieve deel van onze hersencapaciteit dat het meest rationeel is, hebben we de neiging om ‘systeem I’ te gebruiken – het luie systeem dat geneigd is fouten te maken.
De misprijzende termen ‘bounded’, ‘heuristieken’, ‘biases’, ze wijzen er allemaal op dat de natuurlijke, menselijke, cognitie wordt gezien als de afwijking van de norm. Duidelijk is dat als we rationaliteit zoeken, we het niet in het brein gaan vinden.
―
Als ons brein geen optimalisatiemachine blijkt te zijn, dan bouwen we er toch één. Enter de computer. Het is geen wonder dat Simon hoge verwachtingen had van intelligentie van het kunstmatige soort, deze werd immers alleen begrensd door de wet van Moore: rekenkracht zal alleen maar uitdijen, wat de convergentie naar rationaliteit niet anders dan noodzakelijk maakt.
Voor Simon en vele anderen met hem is het hoogtepunt van het menselijke denkvermogen het schaakspel. Het ultieme doel van artificiële intelligentie was om de mens met schaken te verslaan. Dat zou bewijzen hoe rationeel een machine zou kunnen zijn, iets dat al in 1997 lukte toen IBM’s Deep Blue van wereldkampioen Gary Kasparov won. We waren definitief ingehaald.
Maar vanwaar de opwinding? Computers zijn immers juist gebouwd om met problemen zoals schaakproblemen om te gaan. Dit zijn het soort problemen dat bij uitstek past bij ons idee van rationaliteit, waarbij vaste regels gelden die op analytische wijze kunnen worden toegepast zonder verstoord te worden welke enige context dan ook. Het soort problemen waar wij mensen slecht in zijn, heel slecht. Natuurlijk wint een computer, evenals een rekenmachine veel beter kan rekenen dan een mens.
Als we dan eens gaan kijken naar een zogenaamd domme sport, zoals voetbal, dan presteert zo’n computer eigenlijk helemaal niets meer. Zelfs de elf meest geavanceerde robots elk gekoppeld aan een eigen supercomputer verliezen van een bierelftal uit de veteranenklasse waarvan de spelers hun beslissingen volledig op hun luie ‘systeem I’ baseren.
Uiteindelijk zijn computers zijn ontwikkeld op basis van slechts een veronderstelling wat het brein zou doen. Namelijk dat denken een proces is dat, ongestoord door emoties of welke externe invloed dan ook, input in output omzet. Nu blijkt die hele veronderstelling fout, maar dat leidt niet tot een aanpassing van ons beeld van rationaliteit, nee, het leidt ertoe dat ons denkvermogen als inferieur wordt bestempeld. Ik vind dat raar. Waarom niet de computer als een inferieure vorm van denken zien?
―
Het houdt niet op bij de computer. Meer rationaliteit wordt ook gezocht door ‘slimme’ maatschappelijke structuren te ontwerpen die de tekortkomingen van ons inferieure brein moet verhelpen. We bouwen dus ook sociale optimalisatiemachines.
De motivatie hiervoor is dat waar individuen los van elkaar steevast de verkeerde beslissingen nemen, het collectief wel in staat blijkt tot goede beslissingen. Dit inzicht werd door Francis Galton gepresenteerd in een artikel genaamd Vox Populi dat in 1907 in Nature verscheen. Dit artikel beschrijft hoe op een kermis het gewicht van een stier moest worden geraden. Iedereen had het fout, maar wonderlijk genoeg bleek het gemiddelde van de schattingen wel te kloppen. Volgens Galton leverde een democratische vorm van besluitvorming betrouwbaarder resultaten dan je zou verwachten.
Om te zien hoe onverwacht dat was hoef je alleen maar te kijken naar Gustave Le Bons werk De psychologie der massa’s dat 11 jaar eerder verscheen. Voor Le Bon was de massa vooral dom. Individuen verloren hun vermogen tot zelfstandig nadenken zodra ze tot een collectief gingen behoren. In plaats daarvan gingen individuen karaktereigenschappen vertonen als ‘impulsief gedrag, de afwezigheid van een kritische geest, een overdrijving van de sentimenten’, karaktereigenschappen die vooral toebehoren aan ‘inferieure vormen van evolutie’, zoals ‘vrouwen, barbaren en kinderen’.
Le Bon bevestigt hier het conventionele rationaliteitsmodel, inclusief wanstaltig racisme en misogynie. Galtons bevindingen leverden een scheurtje op in dit model, maar de psychologie van Freud ging veel verder. Het menselijke denken bleek helemaal niet rationeel, maar beslissingen werden genomen vanuit de diepste krochten van het onderbewuste. Tal van empirische bevindingen hebben Freuds gelijk ondersteund – ten minste in die zin dat psychologen, economen, neurologen hebben laten zien dat het denken van individu in de verste verte niet rationeel is.
Terwijl de mens irrationeel is geworden, werd de massa alleen maar rationeler. De journalist James Surowiecki schreef in 2004 een bekend geworden boek Wisdom of the Crowds, waarin Galtons klassieke artikel systematisch wordt uitgewerkt. Dat de massa wijzer is dan een individu komt doordat in een collectief de zwakheden van het individuele denken worden uitgemiddeld. Na Surowiecki hebben zich tal van denkers zich beziggehouden met de vraag hoe je sociaal collectief zodanig organiseert dat de collectieve beslissing de juiste is. Wat vooral belangrijk is, is dat mensen elkaar niet beïnvloeden, zodat de statistische verdeling van oordelen over verschillende individuen gerespecteerd blijft.
Nu hebben mensen, zwak als ze zijn, nogal eens de neiging zich te laten beïnvloeden door anderen – dat zijn juist die evolutionair gevormde heuristieken die ons ervan weerhouden rationeel te zijn. Maar door de juiste structuren en de juiste trucs kun je deze heuristieken omzeilen.
Je kunt bijvoorbeeld ‘nudgen’. Door de juiste ‘keuzearchitecturen’ te ontwerpen, kunnen we ‘beter’ kiezen. Door het fruit bij de kassa te leggen in plaats van het snoep kiezen we voor het gezonde alternatief, door een pensioen verplicht te stellen, geven we niet al ons inkomen in één keer uit. Hierbij wordt aangenomen dat de beslissingen die we nemen niet de beslissingen zijn die we ‘echt’ willen, maar dat het keuzes zijn die ons worden opgelegd door onze inferieure hersenen. Onze ‘ware’ keuzen zijn de keuzes die we zouden maken als we rationeel waren geweest. Hoe we dan weten wat dan rationeel is, dat is dan weer een vraag die verdacht weinig gesteld wordt.
―
Dat de massa wijs kan zijn komt doordat mensen het niet met elkaar eens zijn – ze heffen elkaars misvattingen op. Dat verschillende kennisclaims noodzakelijk zijn om slimmer te worden, weten we al sinds Socrates. Een dialoog, hetzij tussen personen, hetzij tussen de verschillende stemmen in je hoofd, laat de zaken van verschillende kanten zien, zodat je meer inzicht over een bepaalde kwestie krijgt. De dialoog lijkt dus een slimme structuur omdat die ons beter laat denken als individuen. Maar dat idee wordt verlaten als het gaat om de wijze massa. Hierbij is het collectief zelf slim, de personen waaruit de massa is opgebouwd blijven net zo dom als ze al waren.
Het voorbeeld bij uitstek van een slimme sociale structuur die individuele biases corrigeert is die van de vrije markt. Hierin streven individuen hun eigenbelang na, individuen die vooral zo veel mogelijk voor zichzelf willen, zonder zich te bekommeren om het lot van anderen. Dat is mooi, want door alleen aan zichzelf te denken zijn ze veel minder beïnvloedbaar als in andere sociale structuren, zoals die van een centraal aangestuurde bureaucratie. In zo’n bureaucratie krijgt de invloed van mens op mens vrij spel. Met alle irrationaliteit van dien.
Ook hier is weer een opmerkelijke omdraaiing van het rationaliteitsmodel. Voor Max Weber, die de moderniteit karakteriseert als een groot rationaliseringsproces, was de bureaucratische organisatie juist het paradigma van dit proces, omdat zo’n organisatie fungeert als rationele beslisser waarbij het enkelvoudige bestuur analoog aan het individuele brein op basis van de juiste informatie komt tot de beste beslissingen die vervolgens door de uitvoerende onderdelen van de organisatie tot stand worden gebracht.
De vrije markt daarbij is lang als noodzakelijk kwaad gezien. Een ongestructureerde verzameling van individuen gedreven door hebzucht. Adam Smith liet natuurlijk al in de achttiende eeuw zien dat een vrije markt toch kan leiden tot een optimaal niveau van algemene welvaart, maar het idee dat een bureaucratische organisatie rationeler is heeft nog standgehouden tot de val van de muur, nog geen dertig jaar geleden. Deze historische gebeurtenis toonde dat een centraal aangestuurd systeem helemaal niet goed bleek te kunnen functioneren en op de lange termijn kansloos was tegenover het aanpassingsvermogen van de vrije markt.
Het neoliberale denken dat sinds 1989 dominant is, stelt dat rationaliteit in de markt en eigenlijk nergens anders huist. Dat bedrijven inmiddels bureaucratische molochs zijn geworden die de meeste staatsorganisaties in grootte en macht overtreffen wordt daarbij gevoeglijk buiten haakjes gezet. Dat individuen daarbij als marginale bijverschijnselen worden verkruimeld lijkt het neoliberale denken niet te deren.
―
Samengevat: de wetenschap toonde het falen van het rationele brein, de geschiedenis het falen van de rationele organisatie. De computer is de aangewezen vervanger van de hersenen, de markt de aangewezen vervanger van de bureaucratie.
Ik vind die omdraaiingen wonderlijk en, het moge duidelijk zijn, ook onwenselijk. Zoals hierboven beschreven, ze gaan ten koste van de menselijke maat. Hetzij door mensen als inferieure denkers af te schilderen, hetzij door de belangen van mensen ondergeschikt aan de belangen van marktorganisaties te maken. Dit terwijl de menselijke maat voor mij de maat der dingen blijft.
Maar ook zijn er andere belangrijke morele verworvenheden die hier op het spel staan, namelijk ons vermogen keuzes te maken en daar verantwoordelijkheid voor te dragen. Immers, de Verlichte denkers kenden het individu het vermogen tot zelfstandige besluiten toe, dat was niet zozeer een empirische beschrijving, het had vooral een moreel doel. Immers, als een individueel persoon bewust kan kiezen wordt het immers mogelijk om individuen verantwoordelijk te houden voor hun keuzes. Mensen kunnen worden aangesproken op hun beslissingen, omdat die weloverwogen zijn genomen.
Is het dan geen probleem dat mensen niet rationeel blijken te zijn? Niet als we ons baseren op Jürgen Habermas’ benadering van rationaliteit. Voor hem hoort rationele beslisser bij een instrumentele rationaliteit, die ondergeschikt is aan een communicatieve rationaliteit die gebaseerd is op het vermogen van mensen om via deliberatieve processen te komen tot afspraken over geldende normen en belangen.
Vanuit die communicatieve rationaliteit is het geen probleem dat we onze keuzes niet bewust maken, omdat we wel gevraagd kunnen worden achteraf redenen te geven voor die keuzes. Vervolgens kan er worden bepaald of die redenen legitiem zijn óf dat het te veel gevraagd zou zijn om naar deze redenen te vragen, in zo’n situatie is de persoon in kwestie ontoerekeningsvatbaar gebleken. In ons rechtssysteem wordt voortdurend gekeken welke redenen legitiem zijn en waar de grens ligt tussen aansprakelijkheid of niet. Daarmee is het idee van een rationele beslisser een tussenstap gebleken in de ontwikkeling van moderne instituties, een tussenstap die niet-noodzakelijk is gebleken en waar we nu veel fijnmazigere theorieën voor hebben.
Maar we zitten nog steeds met het idee van rationaliteit, waarbij het is verschoven van de individuele mens naar machines en sociale structuren. Daarbij is de morele verantwoordelijkheid voor individuele keuzes gereduceerd tot een instrumentele verantwoordelijkheid voor de meeste efficiënte keuzes: computer, nudges, de vrije markt, ze zijn alle gericht op het optimaliseren van keuzes.
Het grote probleem daarbij is dat onze autonomie wordt aangetast. Immers, we maken niet zelf de keuzes als individu, nee, die keuzes worden voor ons gemaakt. De voorstanders van slimme systemen, vaak denkers van utilistische snit, verdedigen hun positie door te stellen dat de keuzes waarvoor geoptimaliseerd wordt, zaken zijn als een hoge welvaart, een langer en gezonder leven. En wie wil dat nu niet? Als er al een inbreuk wordt gedaan op de individuele autonomie is het vooral de autonomie om domme keuzes te maken.
Daarbij berustte die individuele autonomie toch al op het idee van een rationele beslisser, maar dat was het individu juist niet. De mens is helemaal niet autonoom, maar slaaf van allerlei fysische processen die zich onbewust afspelen in het brein. Ook daarom is het alleen maar waardevol om van buitenaf in te grijpen in die processen.
Zelfs de communicatieve rationaliteit van Habermas komt niet in het geding, want welke waarden geoptimaliseerd moeten worden is juist een vraag die zich leent voor een deliberatief proces waaraan iedereen bij kan dragen.
−
Zo worden bezwaren weggeredeneerd. Maar op een zeer naïeve wijze. Ten eerste zijn waarden en doelen nooit helemaal onafhankelijk van elkaar. Er is alleen een analytisch onderscheid, maar in de echte wereld worden je doelen voor een belangrijk gedeelte bepaald door de middelen die je tot je beschikking hebt.
Bovendien kennen alle technologieën en alle sociale structuren intrinsieke waarden. In het geval van de hier beschreven optimalisatiemachines is de belangrijkste waarde nogal evident, dat is namelijk optimalisatie zelf: efficiëntie wordt het centrale doel dat moet worden nagestreefd in welke hoedanigheid dan ook.
Daarbij komt ook dat technologieën en sociale structuren sommige waarden veel beter kunnen hanteren dan andere. Zo wordt bij smart systems meestal alles geïnterpreteerd in termen van stromen, van flows van één punt naar een ander. Dit soort flows laat zich immers goed optimaliseren.
Met dit bovengenoemde punt komen we ook bij het probleem dat optimalisatiemachines verknoopt raken: in toenemende mate zien we hoe ICT en sociale structuren met elkaar worden verbonden in smart systems. Het is daarbij niet zo dat het mogelijk is om de waarden waarop die verknoopte machines optimaliseren aan te passen aan nieuw aangedragen waarden. Immers, al die systemen zijn voor hun input en output op elkaar afgestemd, daar kun je niet zomaar aan tornen.
Dit leidt er bijvoorbeeld toe dat je in een ‘smart’ omgeving niet zomaar wat rondhangt op straat, je wordt immers verwacht ergens naar toe op weg te zijn en wel op zo’n efficiënt mogelijke wijze. Wie een beetje rondlummelt is verdacht, misschien dat zo’n persoon met wat nudges de juiste richting op kan worden gestuurd. Wat cameratoezicht misschien, straatmeubilair waarop je niet echt lekker kan zitten, apparaatjes die een vervelend geluid maken.
−
We kunnen niet zomaar technische en sociale optimalisatiemachines introduceren die het leven alleen maar beter maken, dit soort systemen grijpt in op onze vermogens om als individu keuzes te maken en voor die keuzes verantwoordelijk te worden gehouden. Het geloof in de zegeningen van ICT en slimme sociale structuren als de vrije markt zorgt er echter voor dat deze ethische aspecten nauwelijks worden bediscussieerd. Dat lijkt me onterecht en verre van optimaal.
−
Verder lezen:
Ensmenger, N. (2012). Is chess the drosophila of artificial intelligence? A social history of an algorithm. Social Studies of Science, 42(1), 5-30. doi:10.1177/0306312711424596
Galton, F. (1907). Vox populi (the wisdom of crowds). Nature, 75(7), 450-451.
Habermas, J. (1985). The theory of communicative action: Volume 2: Lifeword and system: A critique of functionalist reason (Vol. 2). Boston: Beacon press.
Kahneman, D. (2011). Thinking, fast and slow. New York: Farrar, Straus and Giroux.
Le Bon, G. (2017). The crowd: Routledge.
Pesch, U., & Ishmaev, G. (2019). Fictions and frictions: Promises, transaction costs and the innovation of network technologies. Social Studies of Science, 49(2), 264-277. doi:10.1177/0306312719838339
Schreurs, P. (2000). Enchanting Rationality. An Analysis of Rationality in the Anglo-American Discourse on Public Organization. Delft: Eburon.
Simon, H. A. (1997). Administrative behavior. A study of decision-making processes in administrative organization. New York and London: The Free Press.
Solomon, M. (2006). Groupthink versus the wisdom of crowds: The social epistemology of deliberation and dissent. The Southern Journal of Philosophy, 44(S1), 28-42.
Surowiecki, J. (2005). The wisdom of crowds: Anchor.
Thaler, R. H., & Sunstein, C. R. (2009). Nudge: Improving decisions about health, wealth, and happiness: Penguin.
