O validaci a standardizaci WT (stručně)

recruitment
kouč a assessment

Tato část obsahuje normy a stručný popis postupů validizace a standardizace.

Standardizační vzorek

Konstrukce norem, ze kterých vychází WT, prošla dvěmi vlnami tvoření standardizačního vzorku, a to z let 2004–2009, 2010–2015 a 2017.

V roce 2017 byla provedena standardizace metodiky na vzorku 9 679 osob, z toho 5 960 mužů a 3 719 žen. Největší zastoupení má pracující populace v produktivním věku do 21 let (N = 45), 21-30 let (N = 2355), 31–40 let (N = 3366), 41-50 let (N = 1976), 51–60 let (N = 998), 61–70 let (N = 221), 71 a více (N = 22). Normy jsou následně rozlišeny dle oboru činnosti, přičemž největším zastoupením osob disponují obory obchod, prodej, nákup (N = 1840), administrativní pozice (N = 871), logistika a doprava (N = 701), cestovní ruch (N = 659), lidské zdroje, personalistika a vzdělávání (N = 643), či stavebnictví a reality (N = 589), profesionální řidiči (N = 525), bankovnictví a finanční služby (N = 520), marketing, reklama, PR (N = 287), TOP management (N = 207) aj.

Normy

WT obsahuje normy pro každou ze svých částí. Jsou to: 1) Normy tvaru, 2) Normy bloku Asociace, 3) Normy bloku Motivace, 4) Normy opakované volby tvaru, 5) Normy auditu (na příkladu test korupční odolnosti – TKO).

Psychometrické vlastnosti

Psychometrické vlastnosti testu jsou popsány příkladem Auditu korupční odolnosti, loajality a spolehlivosti (TKO). TKO se skládá z 38 položek, které popisují vlastnosti jednotlivce v oblastech: Bezpečnost (korupce), Morální stabilita, Motivace, Psychická stabilita.
Soubor a metodika: analýza psychometrických parametrů TKO byl proveden na vzorku 9 827 probandu (průměrný věk 37,2, rozpětí 18-78 let). Byla určena vnitřní konzistence bloku (škál) TKO pomocí Cronbachova alfa, korelace mezi jednotlivými kritérii a celkovým skoré v bloku a test‑ retest reliabilita (reprodukovatelnost testu).
Výsledky: Cronbachovo alfa (α) bylo stanoveno v rozmezí od 0,86 (Bezpečnost), 0,85 (Morální stabilita), 0,83 (Motivace a ostatní volné vlastnosti) a 0,76 (Psychická stabilita), což svědčí o velmi dobré vnitřní konzistenci metodiky. Korelace mezi jednotlivými položkami se pohybuje v rozmezí 0,23-0,85. Rovněž korelace mezi jednotlivými položkami a celkovým skórem dosahovaly dostatečně vysokých hodnot pro vzorek 9 827 jedinců (probandů). Z toho je zjevné, že všechny položky zapadají do daného konceptu a není nutné žádnou z nich vypustit či nahradit.

Validační a aplikační studie
Validační studie byly realizovány zejména ve dvou letech, v roce 2009 a 2011 na respondentech pracovního trhu, ve firmách, které tuto metodu používaly, a na studentech ZŠ, SŠ a VŠ. Výběr populačního vzorku byl nahodilý. V letech 2009 činil vzorek 5000 respondentů a 3 000 probandů v roce 2011. Vzorek populace nebyl blíže demograficky specifikován. Reliabilita byla určena prostřednictvím výpočtu intra–rater reliability (test-retest reliability). Metoda v obou testováních vykazuje velmi uspokojivé technické parametry (reliabilita v rozmezí 0,85–0,91).

Expertní validace – Výzkum shody

Metodika výzkumu: K objektivizaci WORKtestu jsme zvolili výzkum shody. Jedná se o používaný nástroj ve validačních studiích, kdy dostatečný počet expertů hodnotí určité charakteristiky, či znaky.

Výzkum probíhal v roce 2011–2012. Validace byla provedena pro výsledky diagnostiky WORKtestu®, které byly využity pro sestavení kompetenčních modelů a obsahovaly 245 kritérií. Pro tyto účely bylo osloveno 79 zaměstnanců jedné české společnosti. Zaměstnanci byli nejprve testování pomocí psychodiagnostického nástroje WORKtestu z důvodu identifikace jejich vhodnosti na danou pozici a vzdělávacích a rozvojových potřeb. Po půl roce od testování systémem WORKtest se tito probandi účastnili samotného pilotního výzkumu. Předpokladem pro zařazení do výzkumu byl informovaný souhlas probanda. Na výzkumu (N = 79) participovalo 57 mužů a 22 žen.

Pro statistickou analýzu dat jsme použili výpočet absolutní procentuální shody s výsledky pro každou skupinu hodnotitelů zvlášť a pro celkové skóre. Absolutní procentuální shodu jsme počítali na základě procentuálního průměru shody. Tento průměr shody byl následně podroben vnitrotřídní korelaci párů posuzovatelů (metoda ICC) v kombinaci s analýzou rozptylu (ANOVA) a zjišťováním statisticky významných rozdílů v průměrech (t-testy s rovností a nerovností rozptylu). Data, která nebyla přetransformována do procentuální podoby, nýbrž byl celkový souhlas s výsledky vyjádřen na základě Likertové škále od 1–5, jsme podrobili statistické analýze Kappa.

Závěr: Průměrná shoda skupiny všech hodnotitelů se shodovala s výsledky Worktestu a činila 88 %. Nebyly zjištěny statisticky významné rozdíly mezi rozptyly a průměry těchto skupin, což znamená, že se při určování míry shody účastníci výsledků neodlišovali. Zároveň celková korelace výsledků činila 0,51 (p <0,05). Výsledky vzájemně spolu korelují a je potvrzen vzájemný vztah míry shody mezi skupinami hodnotitelů.

Kriteriální validita – Korelace s výsledky testu MMPI-2 (validizační studie pro škály psychopatologie osobnosti)

Soubor a metodika: Výzkumný vzorek tvořilo 170 probandů (věk M = 44,4; SD = 7,8), dobrovolníci, účastníci poradenství a lidé, kteří dělali psychologické testování pro získání povolení na zbrojní průkaz. Výzkumné šetření probíhalo od září 2016 do listopadu 2018.

V této studii byla analyzována kriteriální souběžná validita, která je stupněm shody v daném časovém období, mezi výsledky postupu testování v systému WORKtest s již ověřeným testem MMPI-2, a konkrétně jeho proměnnými, které popisují oblast vnitřních symptomů. Tyto rysy osobnosti v systému WORKtest tvoří parametry rizikového chování. Pro ilustraci funkce WORKtestu jsme vypočítali korelace mezi těmito škálami: Úzkost a Deprese v obou testech. Ke zjištění validity jsme použili výpočet Personova korelačního koeficientu. Závěrem lze konstatovat, že výsledky získané touto studií ukazují na vysokou míru korespondence (shodnosti) škál Úzkosti a Deprese WORKtestu se škálami testu MMPI-2 (0.44 – 0.90), což může být důkazem kriteriální souběžné validity škál WORKtestu.

2020_validizační studie v čase.pdf zde

Česká verze

English version

Русская версия