Därför ska första testförsöket räknas, inte bästa av fem

Här är en obekväm fråga att ställa till er testleverantör: när en kandidat gör om testet, vilket resultat får vi se? Många verktyg svarar, ibland med stolthet, det senaste eller det bästa. Det låter kandidatvänligt. I själva verket är det ett tyst löfte om att siffran ni fattar beslut på inte betyder det ni tror.

Det här är den mest produktnära insikten i vårt kluster om urval och bedömning, och den vilar på ett forskningsfält som förtjänar att vara mer känt än det är: omtagseffekten.

Forskningen: poängen stiger, förmågan står still

Att göra om ett kognitivt test höjer poängen, pålitligt och väsentligt, utan att förmågan ändrats. Två stora metaanalyser bär slutsatsen:

Hausknecht med kollegor (2007) sammanställde över hundra urval med sammanlagt mer än 130 000 deltagare och fann en genomsnittlig höjning på omkring en fjärdedels standardavvikelse från första till andra försöket, och ungefär en halv vid det tredje. Effekten växte när samma testversion återanvändes och när kandidaten coachats mellan försöken.

Scharfen, Peters och Holling (2018) landade i samma härad med nyare data: cirka en tredjedels standardavvikelse vid andra försöket, motsvarande ungefär 5 IQ-poäng, och en halv standardavvikelse vid det tredje.

Vad betyder en tredjedels standardavvikelse i rekryteringstermer? Att en kandidat som ärligt ligger på percentil 50 efter ett omtag redovisar ungefär percentil 63, och efter två, med samma testversion och lite förberedelse, kan passera percentil 70. Kandidaten har inte blivit mer lämpad för rollen. Siffran har blivit mer imponerande.

Tre saker går sönder samtidigt

Validiteten. Hela forskningsunderlaget för test i urval bygger på att poängen speglar förmåga. Sambandet mellan testpoäng och arbetsprestation är uppmätt på riktiga resultat, och ett "bästa av fem" är inte ett riktigt resultat i den meningen. Ni betalar för en metod med validitet 0,31 och får en med okänd, lägre.

Normjämförelsen. Percentiler räknas mot normgrupper som består av förstagångsresultat. Ett övat försök jämfört med en oövad grupp är en systematiskt förskjuten jämförelse, percentilen blir fel på ett sätt som inga skalor eller mätfelsresonemang räddar, eftersom felet inte är brus utan bias i en riktning.

Rättvisan mellan kandidater. När omtag är fri självservice vinner den som har tid, testvana och kylig strategi, och förlorar gör den som gör testet en gång och litar på processen. Urvalsinstrumentet börjar mäta uthållighet i omtagande, en egenskap ingen kravprofil efterfrågar, och sorterar delvis på vem som förstod att systemet gick att spela.

Invändningen som förtjänar ett ärligt svar

"Men första försöket underskattar ju nervösa och testovana kandidater." Sant, och viktigt: testovana är en verklig felkälla, ojämnt fördelad över kandidatfältet.

Men lösningen finns redan, och den ligger före det skarpa försöket, inte efter. Övningsuppgifter som bekantar kandidaten med format och uppgiftstyper jämnar ut ovanan utan att röra jämförbarheten, det är så normerade testningar är konstruerade att användas. Omtag efter facit är något annat: det behåller ovanejusteringen för vissa kandidater, adderar en övningseffekt som normgruppen saknar, och gör båda osynliga för den som läser rapporten.

Skillnaden kan sammanfattas i en rad: öva före, mät en gång, visa allt.

Kravlistan vid upphandling

Fyra frågor skiljer leverantörer som säljer mätningar från leverantörer som säljer siffror:

1. Vilken omtagspolicy gäller? Vad räknas som resultat, och under vilka omständigheter medges nytt försök? Legitima skäl finns: tekniskt haveri, dokumenterad störning, lång tid sedan förra testningen. Det legitima är policybaserat och transparent, inte självservice.
2. Ser vi antalet försök? Om rekryteraren inte kan se att ett resultat är det tredje försöket är det inte ett verifierat resultat, det är ett urval ur en serie.
3. Hur säkras identiteten? Ett förstagångsresultat från fel person är värre än ett omtag från rätt.
4. Finns parallellversioner? Legitima omtag ska ske på nya uppgifter, inte memorerade.

Vi är öppna med var vi själva står, för hela vår kandidatpool är byggd på den här principen: första genomförda försöket räknas, aldrig bästa av flera, kandidaten övar fritt på övningsuppgifter före, och antalet försök är synligt för rekryteraren. Det är inte en teknisk detalj i produkten. Det är förutsättningen för att percentilerna ni ser ska betyda det psykometrin lovar, och för att kandidater som spelar ärligt aldrig ska förlora på det.

---

Källor: Hausknecht, Halpert, Di Paolo & Moriarty Gerrard (2007): Retesting in selection, metaanalys av coaching- och övningseffekter (Journal of Applied Psychology, via PubMed) och Scharfen, Peters & Holling (2018): Retest effects in cognitive ability tests, metaanalys (Intelligence).