Memnuniyet anketi yüksek çıktı, peki sonra? Kirkpatrick, ROI ve gerçekler

Eğitim biter, formlar toplanır, ortalama hesaplanır. Beş üzerinden yüksek bir puan çıkmışsa rahatlarız ve raporun ilk sayfasına o sayı yazılır. Peki o sayı bize gerçekten ne söylüyor?

Bu soruyu sormak rahatsız edici, çünkü cevabı çoğu zaman "sandığımızdan az" oluyor. Bunu sezgiyle değil, araştırmayla söyleyebiliyoruz.

Dört seviye, beş seviye

Önce çerçeveyi hatırlayalım. Donald Kirkpatrick'in dört seviyesi alanımızın belki de en bilinen modeli: tepki (katılımcı eğitimi nasıl buldu), öğrenme (ne öğrendi), davranış (işte ne değişti) ve sonuçlar (kurum açısından ne değişti). Model, James ve Wendy Kirkpatrick'in 2016'da ATD Press'ten çıkan kitabında "New World Kirkpatrick Model" adıyla güncellendi. Kitabın tanıtımında açıkça yazdığı gibi, amaçlarından biri model etrafında zamanla oluşmuş yanlış varsayımları ve hatalı uygulamaları düzeltmek. Bu ifadeyi önemsiyorum, çünkü modelin sahibi bile modelin nasıl kullanıldığından memnun değil demek.

Jack Phillips ise bu yapının üstüne bir basamak ekledi: yatırım getirisi. ROI Institute'un güncel anlatımında yöntem, girdilerden (katılımcı sayısı, saat, maliyet) başlayıp tepki ve planlanan eylem, öğrenme ve özgüven, uygulama, iş etkisi ve en sonda ROI basamaklarına ilerliyor. Hesap basit görünüyor: program faydalarından maliyetler çıkarılır, sonuç maliyetlere bölünür ve yüzdeyle ifade edilir. Fayda-maliyet oranı da faydaların maliyete bölünmesiyle bulunur.

Ama Phillips yaklaşımının asıl değeri formülde değil, formülün etrafındaki disiplinde. Yöntemin ilkeleri, programın etkisini diğer etkenlerden ayırmak için en az bir yöntem kullanılmasını (kontrol grubu, eğilim analizi, yönetici ya da katılımcı tahminleri gibi), hesaplamada en temkinli seçeneğin tercih edilmesini ve tüm maliyetlerin eksiksiz hesaba katılmasını şart koşuyor. Güvenilir biçimde paraya çevrilemeyen ölçümler ise "somut olmayan faydalar" olarak ayrıca raporlanıyor. Bence bu ilkeler, hiç ROI hesabı yapmayacak olanlar için bile okunmaya değer. Çünkü "bu değişimin ne kadarı gerçekten eğitimden geldi?" sorusunu masaya koyuyorlar.

Seviyeler birbirini gerçekten takip ediyor mu?

Dört seviyeli model sezgisel olarak bir zincir gibi okunur: katılımcı eğitimi beğenirse öğrenir, öğrenirse işte uygular, uygularsa sonuç değişir. Bu yüzden birçok kurum, ölçmesi en kolay olan ilk basamakta durur ve gerisinin kendiliğinden geleceğini varsayar.

Alliger, Tannenbaum, Bennett, Traver ve Shotland'ın 1997'de Personnel Psychology'de yayımladığı meta-analiz bu varsayımı doğrudan sınadı. 34 çalışmadan elde edilen 115 korelasyonu bir araya getiren araştırmacılar, Kirkpatrick modelini biraz genişletti. Tepkileri "duyuşsal" (eğitimi ne kadar sevdim) ve "fayda" (eğitim işime ne kadar yarayacak) olarak ikiye ayırdılar. Öğrenmeyi de eğitimin hemen ardından ölçülen bilgi, bir süre sonraki kalıcılık ve davranış ya da beceri gösterimi olarak üçe böldüler.

Bulgular zincir fikrine pek iyi haber değil. Tepki ölçümleri ile öğrenme ve işe aktarım arasındaki ilişkiler zayıf kalıyor. Ama ilginç bir ayrıntı var: fayda tipi tepkiler, yani katılımcının "bu işime yarayacak" yargısı, öğrenme ve iş başındaki performansla duyuşsal tepkilere göre daha güçlü ilişkili çıkıyor. Dahası, yazarların raporuna göre fayda tepkileri işe aktarımla, eğitimin hemen ardından ya da bir süre sonra ölçülen öğrenmeden bile daha güçlü ilişkiliydi.

Katılımcının eğitimi sevmesi ile eğitimin işine yarayacağına inanması aynı şey değil. Formlarımızın çoğu ise ilkini ölçüyor.

Bu ayrım neden önemli? Çünkü "eğitim keyifliydi" duygusu; eğitmenin enerjisinden, salonun konforundan, öğle yemeğinden, hatta günün işten uzakta geçmesinden etkilenebilir. "Bu işime yarayacak" yargısı ise katılımcının içeriği kendi işiyle ilişkilendirmesini gerektirir. Aktarıma daha yakın bir şeyi ölçmesi de bu yüzden şaşırtıcı değil. Eğlenceli bir eğitim kötü değildir elbette; sadece eğlenceli olması, işe yaradığının kanıtı değildir.

Uygulamadaki tablo da bunu doğruluyor. Arthur, Bennett, Edens ve Bell'in 2003 tarihli meta-analizi, dönemin sektör verilerine dayanarak tepki ölçümlerinin kurumlarda en yaygın kullanılan ölçüt olduğunu, davranış ve sonuç düzeyindeki değerlendirmelerin ise çok daha seyrek yapıldığını aktarıyor. Yazarlar bu baskınlığı, tepki verisinin toplanmasının kolay ve anlık olmasına bağlıyor.

Sınırlılıkları da konuşalım. Alliger ve arkadaşlarının analizinde sonuç seviyesine dair çok az çalışma vardı; dolayısıyla dördüncü seviye ile diğerleri arasındaki ilişki hakkında güçlü bir şey söylemek mümkün değil. Ayrıca meta-analizler farklı ölçme araçlarıyla yapılmış çalışmaları birleştirir. Sizin kullandığınız form, analizdeki ortalama formdan daha iyi ya da daha kötü olabilir. Bu bulgu "tepki ölçmeyin" demiyor; "tepkiyi başka bir şeyin kanıtı gibi okumayın" diyor.

Yarın değerlendirme formunuzda ne değişebilir?

Bence ilk adım küçük ama etkili: memnuniyet formuna fayda odaklı sorular eklemek. "Eğitmen konuya hâkimdi" maddesinin yanına "Bu eğitimde öğrendiğim bir şeyi önümüzdeki iki hafta içinde işimde kullanacağım" gibi bir madde koymak. Bu, Alliger ve arkadaşlarının ayrımını doğrudan forma taşımak demek. Phillips'in yönteminde ilk basamağın adının "tepki ve planlanan eylem" olması da tesadüf değil.

İkinci adım, hangi seviyeye kadar ölçeceğinize program başlamadan karar vermek. Her eğitim için ROI hesabı yapmak hem gereksiz hem de pahalı. Ama stratejik önemi yüksek, bütçesi büyük birkaç program için davranış ve iş etkisi düzeyinde veri toplamayı baştan planlamak mümkün. Eğitim bittikten sonra "bunun etkisini nasıl ölçeriz?" diye düşünmeye başladığınızda, karşılaştıracak bir başlangıç verisi çoğu zaman elinizde olmuyor.

Üçüncü adım, yüksek memnuniyet puanını başarı kanıtı olarak sunmaktan vazgeçmek. Yönetime "katılımcılar çok memnun kaldı" demek yanlış değil. Ama bunun öğrenme ya da iş sonucu anlamına geldiğini ima etmek, araştırmanın desteklemediği bir iddia.

Phillips'in yaklaşımında gözden kaçan bir nokta da her şeyin paraya çevrilmek zorunda olmaması. ROI Institute'un dokümanında, bilerek parasal değere çevrilmeyen ölçümler için uyum yeteneği, iş birliği, bağlılık, itibar ve ekip çalışması gibi örnekler veriliyor. Yani bir liderlik programının ekip içi iş birliğine etkisini anlatmak için uydurma bir lira karşılığı bulmanıza gerek yok; bunu açıkça "somut olmayan fayda" olarak raporlamak yöntemin kendi önerisi.

Bir de Phillips'in temkinli olma ilkesini kendi raporlarımıza uygulamayı öneririm. Bir satış artışını tamamen eğitime yazmak cazip ama aynı dönemde kampanya, fiyat ya da pazar değişikliği varsa, o rakamı savunmak zorlaşır. Daha küçük ama savunulabilir bir rakam, yönetim nezdinde daha büyük ama sorgulanabilir bir rakamdan daha çok güven kazandırır.

Değerlendirme alanında hepimiz biraz kolay olanı seçiyoruz. Araştırmanın bize söylediği, kolay olanın yanlış olduğu değil; tek başına yetersiz olduğu.

Kaynaklar

1. Kirkpatrick, J. D., & Kirkpatrick, W. K. (2016). Kirkpatrick's four levels of training evaluation. ATD Press. https://www.td.org/product/book--kirkpatricks-four-levels-of-training-evaluation/111614
2. Phillips, J. J. (2012). Return on investment in training and performance improvement programs (2nd ed.). Routledge. https://doi.org/10.4324/9780080516257
3. Phillips, P. P., & Phillips, J. J. (2022). Measuring the ROI of learning, development and performance initiatives [Sunum dokümanı]. ROI Institute. https://roiinstitute.net/wp-content/uploads/2022/03/Measuring-the-ROI-of-Learning-Development-and-Performance-Initiatives.pdf
4. Alliger, G. M., Tannenbaum, S. I., Bennett, W., Jr., Traver, H., & Shotland, A. (1997). A meta-analysis of the relations among training criteria. Personnel Psychology, 50, 341–358. https://doi.org/10.1111/j.1744-6570.1997.tb00911.x
5. Arthur, W., Jr., Bennett, W., Jr., Edens, P. S., & Bell, S. T. (2003). Effectiveness of training in organizations: A meta-analysis of design and evaluation features. Journal of Applied Psychology, 88(2), 234–245. https://doi.org/10.1037/0021-9010.88.2.234