Facebook ligt onder vuur wegens privacyschending. Zo zijn miljoenen van zijn gebruikersgegevens benut om de presidentsverkiezingen in de Verenigde Staten te manipuleren. Nu dergelijk grootschalig misbruik bekend is, stijgt de vrees voor een datadystopie: een samenleving waarin onze gevoelens en gedachten door derden worden bestuurd. Is deze vrees terecht?
Hieronder vind je het hoofdstuk ‘Vrees voor de datadystopie: algoritme en identiteit’ uit ‘Ik ben Erica’.
Lacie: Ik ben ongeveer een uur bij je vandaan…
Naomie: Kom niet. Ik wil je hier niet. Ik weet niet wat er met je aan de hand is, maar ik kan geen 2.6 hebben bij mijn bruiloft.
Lacie heeft een goede score, zo’n 4.2 à 4.3 sterren op een schaal van 5. Ze doet flink haar best om dat resultaat verder omhoog te krijgen. Zo oefent ze haar blije gezicht voor de spiegel, post haar selfie met latte en geeft anderen 5 sterren in de hoop op een goede beoordeling terug. Lacies droomhuis kost een berg geld, maar als ze een score hoger dan 4.5 heeft, gaat er, belooft de makelaar, maar liefst 20 procent van de huurprijs af. De bruiloft van haar middelbareschoolvriendin Naomie komt dan ook goed uit. Er komen veel gasten met hoge scores. Maar natuurlijk: het gaat mis. De titel van de aflevering is niet voor niets ‘Nosedive’, duikvlucht. Meedogenloos tuimelt Lacie omlaag in de scorelijst en daarmee van de socialmedia-ladder: ongewenst, buitengesloten en een tweederangs burger.
De tv-serie Black Mirror (foto: Netflix) toont de duistere kant van de technologische revolutie.
Het biedt donkere satire over toekomstige dystopieën: akelige samenlevingen. De aflevering over de arme Lacie verscheen in 2016, twee jaar na het misschien wel net zo dystopische plan ‘Sesame Credit’. Dit is een sociaal kredietsysteem dat goed gedrag beloont met een score tussen de 350 en 950 punten. Het plan speelt zich af in een nogal nabije toekomst, namelijk 2020. Locatie: Volksrepubliek China.
Sesame Credit gamificeert sociale controle.
Op vijf factoren kunnen burgers hun punten behalen:
- kredietverleden,
- nakomen van verplichtingen,
- persoonlijke kenmerken,
- gedrag en voorkeuren, en
- interpersoonlijke relaties.
Het systeem monitort en evalueert daartoe alle mogelijke dagelijkse activiteiten. Het ziet welke boodschappen je doet, wie je vrienden zijn, of je schulden hebt, wat je eet, welke tv-programma’s je bekijkt, enzovoort. Voor al die activiteiten krijg je punten – of strafpunten. Het leidt tot een voortdurend veranderende totaalscore: de burgerscore.
De burgerscore bepaalt of je een lening bij de bank kunt krijgen, een betere baan, sneller internet of een goede school voor je kinderen. Deelname is nu nog vrijwillig. Straks, vanaf 2020, is het verplicht. Ruim een miljard mensen komen dan in een allesbepalende scoretabel, natuurlijk onder het wakend oog van de overheid. Wie zich door zijn score loyaal toont aan de samenleving, wordt royaal beloond met status en privileges. Sesame Credit is dus een loyaliteitsprogramma. Volgens de Chinese regering is het vooral ook goed voor het sociale, onderlinge vertrouwen en bouwt het een cultuur van oprechtheid. Kritiek? Dat betekent wellicht een nosedive.
Profiling en sociale controle zijn niet nieuw in China en ook niet nieuw bij ons.
De kruidenier kende al jaren geleden ons koopgedrag, de dominee of pastoor hield de kerkgang in de gaten en de fiscus controleerde of we aangifte deden. Nu gebeurt hetzelfde, maar op grotere schaal en met meer gegevens dan ooit.
Honderd miljard zoekopdrachten per maand leveren Google een schat aan informatie. Facebook-likes, Netflix- en YouTube-views, kredietgegevens, schadevrije autojaren en gejogde kilometers genereren een constante stroom van persoonlijke data. Wasmachines, waterkokers, koelkasten, televisies, temperatuurregelaars, camera’s, aquariums, e-readers, navigatiesystemen, smartwatches… Nu nog enkele, straks tientallen miljarden apparaten zullen zijn aangesloten op internet.
Honderden gigabytes informatie per persoon, uit alle denkbare en ondenkbare hoeken, leveren een aardig profiel. En ook dit is nog maar een begin. We gaan van big data naar smart data en van machine learning naar deep learning. Ofwel naar een nog veel slimmere combinatie van gegevens en een nog veel betere profiling. Wie geen datadonor wil zijn kan misschien nog browsen via Tor, afkorting voor The Onion Router. De communicatie gaat niet meer van het ene naar het andere adres, waardoor herkomst en bestemming zijn te traceren. Ze loopt via verschillende servers, door verschillende lagen rond het verzendadres, als door de rokken van een ui. Klokkenluider Edward Snowden gebruikte Tor om niet gevonden te worden. En nee, Tor is niet waterdicht…
De vele gigabytes informatie scheppen onze avatar, een virtueel alter ego.
Het profiel van die avatar is ontleend aan ons gedrag en reflecteert op zijn beurt op ons reële personage. Zoeken we een caravan, dan houdt onze avatar kennelijk van reizen, met alle commerciële aanbiedingen van dien. Tonen we ‘slecht’ gedrag dan bestraft Sesame Credit ons met minder privileges of de verzekeraar rekent ons een hogere premie.
Maar is onze online identiteit wel een reflectie van wie we zijn? Kunnen artificiële intelligentie, machine learning en deep learning ons wel definiëren? Zelfs als de algoritmes kloppen, misleiden we ze dan niet met ons gedrag? Zijn we op Facebook niet vaak betere of extremere versies van onszelf?
Zelfbedrog en bedrog in sociale omgang zijn ingebakken, menselijke eigenschappen.
Ze zijn deel van ons overlevingssysteem, zegt de Amerikaanse psycholoog Daniel Goleman. Sociale misleiding noemen we fatsoen. Staan we onder controle van Sesame Credit of Facebook, dan passen we ons gedrag aan.
Die gedragsaanpassing heeft volgens socioloog Richard Sennett al geleid tot een heel nieuwe persoonlijkheidscultus. Hij noemt het een tirannie van de intimiteit. We willen zo graag onszelf zijn en ons eigen gezicht laten zien, dat we anderen voortdurend met posts op Facebook en luidruchtige telefoongesprekken opzadelen met onze intimiteit. Waarbij we ons van onze beste, eerlijkste, succesvolste en leukste kant laten zien omdat we donders goed weten dat die anderen meekijken en meeluisteren. BN’ers etaleren ‘zichzelf ’ in realityshows en ON’ers proberen de B-status te krijgen door mee te doen aan een talentenjacht. Maar zodra we onszelf willen laten zien, zijn we dan nog wel onszelf ? Of houden we onszelf en de anderen voor de gek?
Zijn we als de ‘edele wilde’ van de Franse filosoof Jean-Jacques Rousseau (1712-1778): puur, eerlijk en onszelf ? Of weet de ‘edele wilde’ inmiddels donders goed dat de camera’s op hem zijn gericht en doet hij met geföhnde haren zijn best om puur, eerlijk en zichzelf te zijn?
We willen gehoord worden en ertoe doen.
Luid verkondigde, uitgesproken meningen hebben op internet vaak een direct en binair effect. Ze roepen voorstanders op of tegenstanders, goedkeuring of afkeuring. Algoritmes pikken de gemiddelde nuancering niet op, wel de extremen. Kijk maar naar Tay – acroniem voor Thinking About You – een chatbot die op internet miljarden woorden tot zich nam en daar een ‘gevoel’ bij ontwikkelde. Ze pikte de woorden op met de sterkste ‘gevoelens’ en radicaliseerde al binnen zestien uur.
Eenzame roependen in de woestijn clusteren zich rond de extreme mening, als nomaden rond een kampvuur. Ze geven en krijgen bevestiging van hun eerder nog uitzonderlijke of geïsoleerde mening. Steeds meer van dergelijke subgroepen ontstaan, al net zo bevestigd door de algoritmes die zonder oordeel of geweten informatie selecteren en aanbieden in het verlengde van de ongefilterde en ongezouten meningen. Naar anderen luisteren we niet meer. De gemeenschap valt uiteen in elkaar te lijf gaande groepen gelijkgestemde individuen. Zou er niet een overkoepelende instantie of een totaalsysteem moeten zijn die deze versnippering tegengaat? Ze gaat immers ten koste van de grote gemene deler, de democratie. Misschien is Sesame Credit zo gek nog niet.
Tay verandert onder invloed van internet. En wij? Blijven we trouw aan wie we zijn, onze reële identiteit, of gaan we vreemd in een extremere vorm van ons alter ego? Laten we ons definiëren door data of blijven we per definitie wie we zijn? Vrezen we de datadystopie?
Wie een antwoord zoekt op deze vragen, kan altijd even googelen. Zo leert internet je nog beter kennen en dat brengt het antwoord wellicht vanzelf naar je toe…
‘Vrees voor de datadystopie: algoritme en identiteit’ is een van de hoofdstukken uit Ik ben Erica. De psychologie van veranderkracht: het zojuist verschenen boek van Jan Kwint en Marian de Joode. In Ik ben Erica nemen zij ons mee op een verkenning van onszelf, de mens. Wat betekent het om mens te zijn? Welke kwaliteiten en beperkingen zijn hier aan verbonden? Meer lezen en meer weten? Bestel het boek. Het wordt zo snel mogelijk toegestuurd.
