Skończyłeś program rozwoju odporności psychicznej. Uczestnicy wypełnili MTQ48 lub MTQPlus po raz drugi. Wynik wzrósł o kilka punktów. Czy to znaczy, że program zadziałał?
Niestety, samo porównanie wyniku przed i po nie daje jednoznacznej odpowiedzi. Jak mierzyć efekt programu MTQ w sposób, który wytrzyma pytania zarządu, a nie tylko entuzjazm uczestników? To pytanie zadaje sobie coraz więcej trenerów i konsultantów pracujących z narzędziami MTQ i MTQPlus.
Problem w tym, że retest psychometryczny bywa mylącym sygnałem. Wynik może wzrosnąć z powodów, które nie mają nic wspólnego z Twoim programem. Dobra ewaluacja łączy więc pomiar psychometryczny z obserwowalnymi zachowaniami, danymi operacyjnymi i narracją uczestnika. Pokażę Ci, jak zbudować taki model pomiaru krok po kroku – razem z checklistą, którą możesz od razu wykorzystać w swojej organizacji.
Dlaczego sam wynik retestu MTQ potrafi wprowadzić w błąd
Wyobraź sobie grupę menedżerów, która na starcie miała wyjątkowo niski wynik w skali Kontrola. Po programie ich wynik wzrósł. Brzmi jak sukces. Częściowo tak, ale częściowo to zwykła statystyka.
Efekt regresji do średniej sprawia, że osoby z bardzo niskim lub bardzo wysokim wynikiem wstępnym przy powtórnym pomiarze naturalnie przesuwają się w stronę średniej – nawet bez żadnej interwencji rozwojowej. Dzieje się tak, bo każdy wynik testu to suma prawdziwej cechy i szumu pomiarowego, a przy drugim pomiarze ten szum „resetuje się” losowo. Im mniej rzetelny pomiar, tym silniejsza ta regresja. To nie jest wada MTQ – to matematyczna właściwość każdego testu psychologicznego, gdy wybierasz do programu osoby z ekstremalnym wynikiem startowym.
Drugi mechanizm to efekt praktyki. Uczestnicy, którzy wypełniają ten sam kwestionariusz po raz drugi, są już zaznajomieni z formą pytań i mogą odpowiadać nieco inaczej, nawet jeśli ich rzeczywista dyspozycja się nie zmieniła. Wysoka rzetelność MTQ48 i MTQPlus tego nie eliminuje – rzetelność mówi o tym, czy kolejność wyników w grupie jest stabilna, a nie o tym, czy średni wynik pójdzie w górę.
Ramka ekspercka – mit do obalenia
Mit: wzrost wyniku MTQ po programie zawsze oznacza realny rozwój odporności psychicznej.
Rzeczywistość: wzrost wyniku to hipoteza do sprawdzenia, nie dowód sam w sobie. Certyfikowani użytkownicy MTQ uczą się zresztą, że profil narzędzia opisuje sposób reagowania na sytuacje, a nie wartość człowieka ani jego ogólny potencjał – ten sam ostrożny stosunek do liczby trzeba mieć wobec zmiany wyniku.
Dlatego pierwszym krokiem w ewaluacji nie jest patrzenie na liczby po programie, tylko zaplanowanie, z czym te liczby porównasz.
Cztery warstwy dowodu, które pokazują realny efekt programu MTQ
Klasyczny punkt odniesienia w ewaluacji rozwoju to model Kirkpatricka: reakcja, uczenie się, zachowanie, wyniki. Problem w praktyce HR jest znany – organizacje mierzą reakcję i wiedzę, bo to najłatwiejsze, a rzadko docierają do zachowań i wyników biznesowych, bo to wymaga więcej czasu i danych.
W programach MTQ warto pójść o krok dalej niż klasyczny model i dodać czwartą warstwę – narrację uczestnika. Poniżej autorski model 4 warstw dowodu, który stosuję przy projektowaniu ewaluacji programów odporności psychicznej.
| Warstwa dowodu | Co pokazuje | Przykładowe narzędzia | Na co uważać |
| Retest psychometryczny (MTQ48/MTQPlus) | Zmianę w samoopisie na skalach 4C | Powtórne badanie po odpowiednim odstępie czasu | Regresja do średniej, efekt praktyki |
| Obserwowalne zachowania | Czy nowe nawyki pojawiają się w codziennej pracy | Obserwacja przełożonego, badanie 360, krótkie ankiety zespołowe | Subiektywność oceniającego, brak jasnych kryteriów obserwacji |
| Wskaźniki biznesowe | Czy zmiana przekłada się na wynik organizacji | Absencja, rotacja, terminowość, liczba błędów pod presją | Czynniki zewnętrzne zniekształcające wynik |
| Narracja uczestnika | Jak sam uczestnik rozumie i opisuje swoją zmianę | Wywiad pogłębiony, sesja feedbackowa, jedno pytanie otwarte w ankiecie | Efekt społecznej aprobaty – chęć udzielenia „dobrej” odpowiedzi |
Żadna z tych warstw osobno nie jest wystarczającym dowodem. Dopiero gdy retest, obserwacja przełożonego i wskaźnik operacyjny wskazują w tym samym kierunku, masz solidną podstawę, żeby powiedzieć: program zadziałał.
Jak zaprojektować rzetelny pomiar pre-post, żeby nie oszukać samego siebie
Sam pomysł „zbadajmy przed i po” to dopiero połowa roboty. Druga połowa to decyzje, które chronią Cię przed wyciąganiem złych wniosków z dobrych danych.
Ile czasu odczekać przed retestem
W praktyce psychometrycznej retest przeprowadzony zbyt szybko po pierwszym badaniu zwiększa ryzyko efektu praktyki i nie zostawia czasu na to, żeby nowe nawyki zdążyły się utrwalić. Rozsądny odstęp liczy się raczej w miesiącach niż w tygodniach – na tyle długo, żeby uczestnik miał okazję przetestować nowe zachowania w realnych sytuacjach presji, a nie tylko zapamiętać strukturę kwestionariusza.
Grupa porównawcza – luksus czy konieczność
W organizacjach rzadko da się utworzyć czystą grupę kontrolną – trudno powiedzieć części zespołu „wy zaczekacie”. Ale masz alternatywy: wdrożenie fazowane, w którym grupa startująca później pełni rolę tymczasowego punktu odniesienia, albo porównanie trendu wskaźników biznesowych w grupie objętej programem z resztą organizacji. Bez żadnego punktu odniesienia nie masz jak odróżnić efektu programu od zwykłej zmienności w czasie.
Jak to wdrożyć w organizacji
W praktyce dobrze sprawdza się połączenie badania psychometrycznego z indywidualną sesją informacji zwrotnej prowadzoną przez certyfikowanego konsultanta MTQ. To właśnie ten moment – rozmowa o wyniku, a nie sam raport – pozwala odróżnić prawdziwą zmianę od szumu pomiarowego i skonfrontować liczby z tym, co uczestnik realnie zauważa w swojej pracy.
Zaprojektuj punkt odniesienia, zanim rozdasz pierwszy kwestionariusz – po fakcie już go nie odtworzysz.
Jakie zachowania obserwować, żeby zobaczyć rozwój 4C w praktyce
Liczby z retestu nabierają sensu dopiero wtedy, gdy potrafisz je powiązać z konkretnym zachowaniem w pracy. Poniżej przykłady, które pomagają przełożonym i coachom rozpoznać rozwój na każdej ze skal 4C.
| Skala 4C | Przykładowe zachowanie w pracy | Jak to zaobserwować |
| Kontrola | Spokojniejsza reakcja na krytykę i nagłą zmianę planu | Obserwacja podczas spotkań, feedback 360 |
| Zaangażowanie | Doprowadzanie zadań do końca mimo przeszkód | Analiza terminowości i liczby porzuconych projektów |
| Wyzwanie | Podejmowanie niepewnych, nowych zadań zamiast ich unikania | Rozmowa z przełożonym, liczba zgłoszonych inicjatyw |
| Pewność siebie | Otwarte zabieranie głosu i obrona zdania w trudnej rozmowie | Obserwacja spotkań, ocena 360 |
Ten sam wynik liczbowy może oznaczać różne rzeczy u różnych osób – dlatego rozmowa z przełożonym o konkretnych sytuacjach jest równie ważna jak sam raport z badania.
Jakie wskaźniki biznesowe warto powiązać z programem odporności psychicznej
Zarząd rzadko pyta o wynik skali Confidence. Pyta o absencję, rotację i błędy pod presją czasu. Warto śledzić: częstotliwość nieobecności w grupie objętej programem, retencję osób przygotowywanych do awansu lub sukcesji, terminowość realizacji projektów w okresach szczytowego obciążenia oraz liczbę incydentów i błędów zgłaszanych w sytuacjach presji.
Żaden z tych wskaźników nie jest czysty – na rotację czy absencję wpływa też sytuacja rynkowa, reorganizacje czy sezonowość. Dlatego porównuj trend przed i po programie, najlepiej zestawiając go z trendem w części organizacji, która nie brała udziału w programie. To pozwala odizolować efekt programu od tła, zamiast przypisywać mu wszystko, co się poprawiło.
Najczęstsze błędy, które podważają wiarygodność ewaluacji
- Oparcie całej oceny wyłącznie na porównaniu wyniku retestu, bez warstwy behawioralnej i biznesowej.
- Zbyt krótki odstęp między badaniem a retestem, który zawyża wynik przez efekt praktyki.
- Brak zdefiniowanego przed startem programu kryterium sukcesu – co dokładnie ma się zmienić i po czym to poznamy.
- Ignorowanie kontekstu organizacyjnego, na przykład restrukturyzacji czy zmiany lidera zespołu w trakcie programu.
- Traktowanie pojedynczego wyniku MTQ jako oceny wartości pracownika, a nie opisu jego stylu reagowania w danym momencie.
FAQ
Czy wynik MTQ może się zmienić bez żadnego programu rozwojowego?
Tak. Część zmiany wynika z regresji do średniej i efektu praktyki, nie z realnego rozwoju. Dlatego pojedynczy retest bez punktu odniesienia nie jest wystarczającym dowodem.
Ile czasu trzeba odczekać między badaniem a retestem MTQ48 lub MTQPlus?
Na tyle długo, żeby uczestnicy zdążyli przetestować nowe zachowania w realnych sytuacjach – w praktyce raczej miesiące niż tygodnie. Zbyt krótki odstęp zawyża wynik przez samo przyzwyczajenie do testu.
Czy wzrost wyniku retestu zawsze oznacza realny rozwój lidera?
Nie zawsze. Wzrost wyniku to sygnał do zweryfikowania, a nie ostateczny dowód. Dopiero potwierdzenie w obserwowalnych zachowaniach i danych operacyjnych daje pewność.
Czy do ewaluacji programu MTQ potrzebna jest grupa kontrolna?
Klasyczna grupa kontrolna bywa trudna do wdrożenia w organizacji. Dobrą alternatywą jest wdrożenie fazowane albo porównanie trendu wskaźników z częścią organizacji nieobjętą programem.
Jakie dane, oprócz retestu, warto zbierać podczas programu odporności psychicznej?
Obserwacje przełożonych i feedback 360, twarde wskaźniki jak absencja czy terminowość projektów oraz krótkie wywiady z uczestnikami o tym, co realnie zmieniło się w ich sposobie działania pod presją.
Retest MTQ48 lub MTQPlus to wartościowy punkt startu ewaluacji, ale nigdy jej koniec
Sam wzrost wyniku bywa efektem regresji do średniej albo przyzwyczajenia do testu, a nie dowodem realnego rozwoju. Wiarygodna ocena programu łączy psychometrię z obserwowalnymi zachowaniami, danymi biznesowymi i głosem samego uczestnika.
Jeśli projektujesz taki pomiar dla klienta lub własnej organizacji, warto robić to z narzędziem, które daje solidne podstawy metodologiczne od pierwszego badania. Certyfikacja MTQ48/MTQPlus prowadzona przez Bizyou, wieloletniego partnera AQR International w Polsce, uczy nie tylko interpretacji wyniku, ale właśnie tej ostrożnej, wielowarstwowej ewaluacji – łącznie z prowadzeniem sesji informacji zwrotnej, która spina liczby z realną rozmową o zmianie.
