Validizace a standardizace

Tato část představuje přehled postupů, které zajišťují odbornou kvalitu a spolehlivost psychodiagnostického nástroje WORKtest. Uvedené informace tvoří zkrácenou verzi rozsáhlejší metodiky, která je interní součástí systému.

Detailní statistické a výzkumné postupy jsou součástí interní metodické dokumentace systému WORKtest, která není veřejně přístupná z důvodu ochrany know-how a odborné integrity nástroje.

Všechny použité procesy však odpovídají mezinárodně uznávaným psychometrickým standardům a byly ověřeny rozsáhlým výzkumem napříč různými segmenty pracovního trhu.

recruitment
kouč a assessment

Standardizační vzorek

WORKtest staví své normy na základě dlouhodobě budovaného a pečlivě strukturovaného standardizačního vzorku. Proces probíhal ve třech etapách: v letech 2004–2009, 2010–2015 a naposledy v roce 2017.

V rámci poslední fáze standardizace v roce 2017 bylo do výzkumu zapojeno 9 679 osob – z toho 5 960 mužů a 3 719 žen. Největší zastoupení tvoří pracovníci v aktivním věku: do 21 let (N = 45), 21–30 let (N = 2 355), 31–40 let (N = 3 366), 41–50 let (N = 1 976), 51–60 let (N = 998), 61–70 let (N = 221) a 71 let a více (N = 22).

Normy byly dále rozčleněny dle profesních oblastí. Nejpočetnější zastoupení mají obory jako obchod, prodej, nákup (N = 1 840), administrativní pozice (N = 871), logistika a doprava (N = 701), cestovní ruch (N = 659), HR a vzdělávání (N = 643), stavebnictví a reality (N = 589), profesionální řidiči (N = 525), bankovnictví a finance (N = 520), marketing, reklama, PR (N = 287) a TOP management (N = 207).

Tato široká základna zajišťuje vysokou reprezentativitu a relevanci výsledků napříč různými pracovními rolemi a věkovými skupinami.

Struktura norem psychodiagnostiky WORKtest

Psychodiagnostický nástroj WORKtest pracuje s přesně definovanými normami pro každou svou část, což zajišťuje konzistentní a spolehlivé vyhodnocování výsledků. Tento víceúrovňový normativní rámec je vytvořen v souladu s psychometrickými standardy a zahrnuje následující oblasti:

    1. Normy tvaru – vyhodnocují preference a výběr vizuálních prvků;

    2. Normy bloku Asociace – sledují asociativní myšlení a reakce;

    3. Normy bloku Motivace – mapují vnitřní motivátory a hodnotové nastavení;

    4. Normy opakované volby tvaru – měří stabilitu rozhodování a konzistenci;

    5. Normy auditů a hodnoticích kritérií – ilustrované např. na testu korupční odolnosti, kde se hodnotí oblasti jako spolehlivost, loajalita a etické postoje.

Tato struktura norem je klíčová pro přesnou interpretaci dat a aplikaci výsledků v HR, manažerské diagnostice a rozvoji zaměstnanců.

Psychometrické vlastnosti nástroje WORKtest – Audit korupční odolnosti

Psychometrické kvality systému WORKtest jsou ilustrovány na příkladu Auditu korupční odolnosti, loajality a spolehlivosti (TKO). Tento nástroj se skládá z 38 diagnostických položek, které mapují klíčové osobnostní charakteristiky jednotlivce ve čtyřech oblastech: Bezpečnost (korupční odolnost), Morální stabilita, Motivace a Psychická stabilita.

Vzorek a metodika: Psychometrická analýza TKO byla provedena na reprezentativním vzorku 9 827 probandů ve věku od 18 do 78 let (průměrný věk 37,2 let). Hodnocena byla vnitřní konzistence škál pomocí Cronbachova alfa, korelace mezi jednotlivými kritérii a celkovým skóre, a dále test‑retest reliabilita, tedy stabilita výsledků v čase.

Výsledky: Hodnoty Cronbachova alfa potvrzují vysokou spolehlivost testu:

  • 0,86 pro oblast Bezpečnost,

  • 0,85 pro Morální stabilitu,

  • 0,83 pro Motivaci a ostatní volné charakteristiky,

  • 0,76 pro Psychickou stabilitu.

Korelace mezi jednotlivými položkami se pohybují v rozmezí 0,23–0,85, přičemž korelace s celkovým skóre potvrzují silnou vazbu každé položky na měřený psychologický koncept. Analýza provedená na vzorku 9 827 respondentů ukazuje, že všechny položky Auditu korupční odolnosti významně přispívají k hodnoceným oblastem. Na základě těchto výsledků není nutné žádnou z položek upravovat, vyřazovat ani nahrazovat – každá z nich má své opodstatnění a funkci v rámci celého diagnostického nástroje.

Validační studie a technické parametry spolehlivosti

Klíčové validační studie nástroje WORKtest proběhly v letech 2009 a 2011. Výzkumy byly realizovány na dvou typech populací: jednak mezi zaměstnanci firem, které WORKtest aktivně využívaly, a dále mezi studenty základních, středních a vysokých škol. Výběr respondentů byl proveden náhodně, aby byla zajištěna širší reprezentativnost vzorku.

Ve studii z roku 2009 se analýzy účastnilo 5 000 respondentů, v roce 2011 pak 3 000 probandů. I když demografické charakteristiky vzorku nejsou v této fázi detailně uvedeny, získaná data umožnila ověřit klíčové parametry spolehlivosti testu.

Reliabilita nástroje byla stanovena pomocí metody intra-rater reliability (test‑retest reliability). Výsledky obou studií potvrdily vysokou stabilitu a konzistenci výsledků v čase, přičemž hodnoty reliabilitních koeficientů se pohybovaly v rozmezí 0,85–0,91, což je v psychometrické praxi považováno za velmi dobrý výsledek.

Výzkum shody jako forma expertní validace

K objektivnímu ověření spolehlivosti a relevance výsledků WORKtestu byl v letech 2011–2012 realizován výzkum shody, běžně využívaný v validačních studiích. Tento přístup umožňuje porovnat míru souladu mezi výstupy testování a hodnocením provedeným experty z praxe.

Validace byla zaměřena na srovnání výsledků diagnostiky WORKtestu® se skutečnými pracovními výstupy a rozvojovými potřebami zaměstnanců. Výzkum pracoval s 245 hodnoticími kritérii, použitými při tvorbě kompetenčních modelů.

Do výzkumu bylo zapojeno 79 zaměstnanců z jedné české společnosti (57 mužů a 22 žen), kteří byli nejprve testováni pomocí WORKtestu a následně – s časovým odstupem šesti měsíců – zařazeni do pilotního výzkumu. Všichni účastníci výzkumu poskytli informovaný souhlas.

Statistická analýza vyhodnocovala míru shody několika metodami:

  • Absolutní procentuální shoda (počítaná pro každou skupinu hodnotitelů i celkově),

  • ICC – vnitrotřídní korelace párů posuzovatelů, kombinovaná s analýzou rozptylu (ANOVA),

  • t-testy (rovnost a nerovnost rozptylu),

  • a Kappa koeficient pro data vyjádřená na Likertově škále (1–5), nikoli v procentech.

Výsledky: Průměrná shoda mezi výsledky WORKtestu a hodnocením hodnotitelů činila 88 %, přičemž nebyly zaznamenány statisticky významné rozdíly v rozptylech a průměrech mezi skupinami. To naznačuje konzistentnost v hodnocení. Celková korelace výsledků dosáhla hodnoty 0,51 (p < 0,05), což potvrzuje významnou míru shody mezi nezávislými skupinami hodnotitelů.

Srovnání s testem MMPI-2 – kriteriální souběžná validita

Jedna z validačních studií byla zaměřena na ověření kriteriální souběžné validity systému WORKtest – tedy na míru shody s již etablovaným psychodiagnostickým nástrojem. Výzkumný vzorek tvořilo 170 probandů (průměrný věk M = 44,4 let; SD = 7,8), mezi nimiž byli dobrovolníci, účastníci psychologického poradenství a osoby podstupující testování pro získání zbrojního průkazu. Studie probíhala v období září 2016 až listopad 2018.

Cílem bylo zjistit, do jaké míry se výsledky WORKtestu shodují s výsledky testu MMPI-2, konkrétně v oblasti měření vnitřních psychických symptomů – zejména škál Úzkost a Deprese. Tyto oblasti ve WORKtestu odpovídají parametrům rizikového chování.

Pro porovnání byla použita metoda výpočtu Pearsonova korelačního koeficientu. Výsledky korelační analýzy ukázaly shodu v rozsahu 0,44–0,90, což svědčí o vysoké míře souběžné validity mezi WORKtestem a testem MMPI-2 u těchto dimenzí. Zjištění potvrzují, že WORKtest spolehlivě měří psychologické konstrukty, které jsou srovnatelné s výsledky uznávaného klinického testu.

Závěrečné hodnocení psychometrických vlastností nástroje WORKtest

Na základě dostupných údajů lze WORKtest charakterizovat jako psychodiagnostický nástroj, který vykazuje vysokou úroveň vnitřní konzistence, stabilitu měření v čase a praktickou využitelnost v oblasti lidských zdrojů. Test byl standardizován na rozsáhlém vzorku (N = 9 679) napříč věkovými i profesními skupinami a jeho normy odpovídají požadavkům pro aplikaci v pracovním prostředí.

Reliabilita metodiky, doložená hodnotami Cronbachova alfa v rozmezí 0,76–0,86 a test-retest korelacemi 0,85–0,91, potvrzuje dobrou měřicí spolehlivost. Korelační analýzy mezi položkami a celkovými skóre ukazují na adekvátní vazbu položek k měřeným konstruktům, což zvyšuje přesnost interpretace výsledků.

Výzkum shody s experty (N = 79, shoda 88 %, korelace 0,51, p < 0,05) a navazující validační studie (včetně porovnání s MMPI-2) podporují kriteriální validitu testu. Tyto výsledky potvrzují, že WORKtest je schopen měřit relevantní psychologické charakteristiky a poskytovat validní informace pro rozhodování v oblasti personální diagnostiky a rozvoje.

Ačkoli detailní výstupy konstrukční analýzy (včetně faktorové struktury) nejsou na tomto místě veřejně prezentovány, jsou součástí interní dokumentace systému WORKtest. Psychometrické parametry, na nichž je metodika postavena, odpovídají mezinárodním standardům v oblasti psychodiagnostiky.

Na základě ověřených dat a praktických výsledků lze WORKtest s jistotou doporučit jako validní a spolehlivý nástroj pro výběr, hodnocení a rozvoj zaměstnanců napříč různými pracovními segmenty.

Česká verze

English version

Русская версия