Assessments met generative AI: wat weten we en wat (nog) niet?

In het doorgronden van de menselijke psyche zijn gevoel en een menselijk oog van onschatbare waarde. Technologie, AI zijn voor psychologen (heel belangrijke) hulpmiddelen. Of komt hier verandering in door de komst van Generative AI? Technologie die zelf leert en zichzelf beter maakt met als grootste en bekendste voorbeeld: ChatGPT.

In deze blog neem ik je mee in hoe wij bij LTP omgaan met AI. Wat weten we wél, wat weten we – ik ben eerlijk – níet en hoe gaan we op een goede manier om met dit alles?

Supercomputers

Het is een ontzettend interessant proces: de interactie tussen mens en technologie. Technologie heeft ons leven gemakkelijker gemaakt. Een belangrijk verschil tussen ‘vroeger’ en de verregaande technologie van vandaag de dag, is dat we wel altijd (dachten) de regie hadden: wij bepaalden wat technologie voor ons deed en betekende. Dat werd al anders met de supercomputers die steeds beter werden in schaken en zelfs wonnen van schaakgrootmeesters.

Het lot van de klassieke assessmentpsycholoog

Dat de doorontwikkeling van AI ook iets is wat onze beroepsgroep bezighoudt, moge duidelijk zijn. De beroepsvereniging van psychologen heeft in haar maandblad (met als rake titel ‘De Psycholoog’) een artikel bij monde van Wouter Schoonman gepubliceerd waar het lot van de klassieke assessmentpsycholoog wordt bezegeld. Vrij vertaald vraagt hij zich af hoe deze vakmens nog een baan heeft in een wereld waarbij computers veel beter – lees: bias free en zonder slechte dagen – in staat zijn een beslissing te nemen op het gebied van geschiktheid. Dus waarom zou je – als je de vraag breder trekt – als recruitmentafdeling nog gebruik maken van dure assessments als je het ook aan de computer kan vragen?

Waarom stappen we dan niet direct over naar AI?

Dat vraagstuk is LTP al enkele jaren aan het onderzoeken. Algoritmes worden al jarenlang gebruikt in online assessments waarbij de rapportage automatisch wordt gegenereerd, zij vervangen de interpretatie van de psycholoog. Die algoritmes in online assessments zijn gebaseerd op expertkennis die in systemen geprogrammeerd was: de psycholoog in de machine.

We bevinden ons nu in de volgende fase: die waarin data met behulp van generative AI de basis vormen voor zelflerende assessmentsystemen. Dit biedt een heleboel nieuwe kansen, maar roept ook veel nieuwe vragen op. LTP is daarom al jaren geleden een onderzoek gestart (samen met de Vrije Universiteit Amsterdam) naar in hoeverre Responsible AI kan bijdragen aan een eerlijker selectieproces.

Nog steeds de beste voorspeller van werksucces

Toch is de klassieke vragenlijst, de capaciteitentest, op dit moment nog steeds de beste voorspeller van werksucces. Onderzoek na onderzoek wijst uit dat deze vorm van testen nog altijd het meest valide en betrouwbaar is.

LTP is een krappe eeuw geleden opgericht vanuit de VU Amsterdam en die wetenschappelijke basis maakt dat wij vanzelfsprekend de juiste meetinstrumenten gebruiken om een goed advies te kunnen geven aan opdrachtgevers. Dat dat nu soms nog de klassieke vragenlijst of test is? Ja! Dat dat niet altijd een fancy game is die kandidaten leuk vinden om te maken. Ja! En dat doen we heel bewust.

Ik hoor je denken: kan generative AI dat niet ook?

Vaak wel, alleen geef je dan de controle uit handen en weet je niet op welke manier beslisregels gehanteerd worden. Daarom laten we bij LTP AI wel voor ons werken, maar controleren en toetsen we iedere beslisregel die hieruit voortkomt.

Daarnaast zijn we kritisch op het inzetten van fancy meetinstrumenten die maar weinig data opleveren. Want uiteindelijk is dat waar het om draait: het verkrijgen van betrouwbare en valide psychologische data, voor unieke inzichten op individueel niveau, team- en organisatieniveau.

Een schat aan psychologische data

In het artikel in ‘De Psycholoog’ wordt een belangrijke rol toegeschreven aan de psycholoog in het ontwerpen van valide en betrouwbare selectieprocedures:

  • Welke meetinstrumenten zet je wanneer in?
  • Welke weging geef je die instrumenten?
  • Welke beslisregels hanteer je?
  • Hoe zorg je dat de instrumenten op een correcte manier worden geïnterpreteerd?

Ik ga nog een stapje verder: hoe zorg je ervoor dat je de juiste data verzamelt, zodat je op een later moment interessante inzichten kunt genereren? Waardevolle inzichten die ervoor zorgen dat je als organisatie betere, duurzamere beslissingen kunt nemen in opvolgingsplanning, teamsamenstelling, ontwikkeling op alle niveaus en bijvoorbeeld arbeidsmarktcommunicatie.

Daarom ben ik ook zo’n fan van de ‘klassieke’ vragenlijsten. Die leveren een schat aan psychologische data op waarover je controle hebt, die je elk moment kunt inzien in een dashboard en die gemakkelijk gecombineerd kunnen worden met andere data uit de organisatie. Dáár ligt dan ook het grote pluspunt.

De toekomst van assessments

Kortom, de interactie tussen mens en technologie blijft bestaan – en groeit. Het is belangrijk om met de tijd mee te gaan, maar minstens zo belangrijk om de selectiepraktijk te beschermen. Met controleerbare beslisregels en AI, met datagestuurde oplossingen en valide meetinstrumenten. De toekomst zien we in de psychologische data, waarmee context en duiding niet mogen ontbreken. Wij zullen altijd duiding blijven geven en kwaliteit onderscheiden van populaire tools. Zo staat altijd de beste oplossing voor onze opdrachtgevers, hun (potentiële) deelnemers en teams centraal!

Wil je hierover een keer van gedachten wisselen? Ben je benieuwd naar de waardevolle inzichten die People Data kan bieden? Neem gerust contact op: 06 – 83 66 13 05 of J.vanderPlas@ltp.nl.

Foto van Jesse van der Plas

Jesse van der Plas

Jesse is arbeids- & organisatiepsycholoog en commercieel directeur bij LTP. In deze rol zorgt hij met het team van psychologen voor een optimale uitvoering van onze dienstverlening: organisaties ondersteunen bij de ontwikkeling en selectie van medewerkers en teams. Ook is Jesse medeverantwoordelijk voor de proposities van LTP op het gebied van organisatieadvies. Bekijk zijn profiel op LinkedIn: www.linkedin.com/in/jessevanderplas

Waar mogen wij het voorbeeldrapport naar toe sturen?