Anit
New member
Bu soruyu yanıtlamak için eğitimden önceki ve sonraki istihdam verileri incelenebilir. Mümkün olduğunda benzer özelliklere sahip bir karşılaştırma grubundan da yararlanılabilir. Böylece gözlemlenen değişimin eğitimle ilişkisi daha dikkatli değerlendirilebilir. Yine de grupların başlangıç özellikleri, ekonomik koşullar ve diğer dış etkenler hesaba katılmadan doğrudan nedensellik iddiasında bulunulmamalıdır.
Gertler ve çalışma arkadaşlarının Dünya Bankası tarafından yayımlanan Impact Evaluation in Practice (2016) adlı eseri, etki değerlendirmesinde karşılaştırma gruplarının, başlangıç koşullarının ve araştırma tasarımının önemini ayrıntılı biçimde ele almaktadır.
Bu yaklaşım, özellikle kamu kaynaklarıyla yürütülen projelerde önem kazanır. Bir proje bütçesini aşmadan tamamlanmış olabilir; ancak üretilen hizmet hedef kitleye ulaşmıyorsa kaynakların verimli kullanıldığı sonucuna hemen varılamaz. Benzer şekilde, hedeflenen çıktı miktarına ulaşılması da çıktıların kalitesiz olduğu veya sürdürülebilir olmadığı durumlarda gerçek başarıyı garanti etmez.
Dolayısıyla veriye dayalı değerlendirme en az üç soruyu birlikte ele almalıdır: Ne üretildi, ne kadar kaliteli üretildi ve ortaya çıkan ürün hedeflenen ihtiyacı ne ölçüde karşıladı?
5. Analitik ve İnsani Bakış Açılarını Birlikte Değerlendirmek
Proje çıktılarının değerlendirilmesinde veri odaklı analiz ile toplumsal deneyimleri anlamaya yönelik yaklaşım arasında bir denge kurulmalıdır. Burada kadınların ve erkeklerin belirli değerlendirme biçimlerine doğal olarak sahip olduğu varsayımından kaçınmak gerekir. İnsanların veri odaklı, empatik veya toplumsal etkilere duyarlı yaklaşımları biyolojik cinsiyetlerinden çok eğitimlerine, mesleki deneyimlerine, kişisel özelliklerine ve içinde bulundukları koşullara bağlı olarak değişebilir.
Bu nedenle erkeklerin analitik, kadınların ise sosyal etkiler ve empati odaklı olduğu şeklindeki genellemeleri bilimsel bir gerçek olarak sunmak doğru değildir. Bunun yerine analitik ve sosyal değerlendirme yaklaşımlarını, farklı bireylerin katkı sağlayabileceği tamamlayıcı perspektifler olarak ele almak daha tutarlıdır.
Örneğin bir belediyenin toplu taşıma projesinde analitik yaklaşım; yolcu sayısı, bekleme süresi, sefer sıklığı, maliyet ve gecikme oranı gibi göstergeleri inceler. Toplumsal açıdan duyarlı yaklaşım ise hizmetin engelli bireyler, yaşlılar, çocuklu aileler ve farklı gelir grupları açısından erişilebilirliğini sorgular.
Bu iki yaklaşım birbirinin alternatifi değildir. Bir ulaşım projesinin beklenen çıktıları arasında yeni durakların kurulması ve sefer sayısının artırılması bulunabilir. Fakat durakların tekerlekli sandalye kullanan bireyler için uygun olmaması, projenin toplumsal faydasını sınırlayabilir. Benzer biçimde, kullanıcıların memnuniyetini artıran bir uygulamanın yüksek işletme maliyetleri nedeniyle sürdürülememesi de önemli bir sorundur.
Bu örnek, etkili proje değerlendirmesinin hem ölçülebilir göstergelere hem de insanların gerçek yaşam deneyimlerine ihtiyaç duyduğunu gösterir. Bilimsel açıdan güçlü bir yaklaşım, farklı bakış açılarını cinsiyete göre kalıplaştırmak yerine, çeşitli deneyim ve uzmanlıkların karar süreçlerine katılımını desteklemelidir.
6. Proje Çıktılarında E-E-A-T: Deneyim, Uzmanlık, Otorite ve Güvenilirlik
Bilgiye dayalı karar verme sürecinde yalnızca bir sonucun açıklanması yeterli değildir. Sonucun hangi verilere, yöntemlere ve uzmanlık alanlarına dayanarak elde edildiğinin de açık olması gerekir. Deneyim, uzmanlık, otorite ve güvenilirlik kavramlarıyla ifade edilen E-E-A-T yaklaşımı, özellikle dijital içeriklerin ve bilgi kaynaklarının değerlendirilmesinde kullanılan bir çerçevedir. Bununla birlikte, E-E-A-T tek başına bilimsel geçerliliği ölçen bir istatistiksel yöntem değildir.
Proje değerlendirmesinde bu ilkelerin karşılığı şu şekilde düşünülebilir:
- Deneyim: Proje ekibinin uygulama sürecinden edindiği bilgiler, saha gözlemleri ve kullanıcı geri bildirimleri.
- Uzmanlık: Veri analizi, proje yönetimi, mühendislik veya sosyal bilimler gibi ilgili alanlardaki yetkinlik.
- Otorite: Yöntemlerin ve bulguların alan yazınıyla, mesleki standartlarla ve gerektiğinde bağımsız değerlendirmelerle ilişkilendirilmesi.
- Güvenilirlik: Verilerin doğrulanabilir olması, yöntemlerin açıkça belirtilmesi, çıkar çatışmalarının açıklanması ve sınırlılıkların dürüstçe raporlanması.
Örneğin bir yazılım projesinin başarı raporunda yalnızca “sistem başarıyla geliştirildi” ifadesine yer verilmesi yeterli değildir. Sistemin hangi gereksinimleri karşıladığı, hangi testlerden geçtiği, kaç hata bulunduğu ve güvenlik açıklarının nasıl ele alındığı açıklanmalıdır.
Benzer şekilde bir sosyal sorumluluk projesinde yalnızca katılımcı sayısını belirtmek yerine, katılımcıların hangi gruplardan geldiği, hizmete erişimde hangi engellerle karşılaştıkları ve elde edilen sonuçların hangi yöntemlerle ölçüldüğü de raporlanmalıdır.
Bu yaklaşım, proje sonuçlarının daha şeffaf ve karşılaştırılabilir olmasını sağlar. Ayrıca başarısızlıkların gizlenmesi yerine nedenlerinin anlaşılmasına yardımcı olur. Bilimsel değerlendirmede olumsuz veya beklenmeyen bir sonucun raporlanması, araştırmanın değerini mutlaka azaltmaz; aksine uygun biçimde analiz edildiğinde sonraki çalışmalar için önemli bilgi üretebilir.
7. Beklenen Çıktılar ile Başarı Göstergeleri Arasındaki İlişki
Beklenen çıktılar, başarı göstergeleriyle birlikte ele alındığında daha anlamlı hâle gelir. Bir çıktı, projenin ne ürettiğini ifade ederken gösterge bu üretimin hangi ölçütlerle değerlendirileceğini açıklar.
Örneğin bir üniversitenin araştırma projesinde beklenen çıktı bilimsel bir rapor veya açık erişimli bir veri seti olabilir. Bu çıktıların değerlendirilmesinde raporun zamanında tamamlanması, veri setinin eksiksiz olması, kullanılan yöntemlerin açıklanması ve verilerin yeniden kullanılabilirliği gibi göstergeler kullanılabilir.
Bununla birlikte, bilimsel yayın sayısını araştırma kalitesinin tek göstergesi olarak kabul etmek yanıltıcı olabilir. Yayınların yöntemsel niteliği, verilerin tekrarlanabilirliği, sonuçların literatüre katkısı ve araştırma etiğine uygunluğu da önemlidir.
Bu konuda önemli bir kaynak olan San Francisco Declaration on Research Assessment (DORA), araştırmacıları ve araştırma çıktılarını değerlendirirken yalnızca dergi temelli göstergelere aşırı ağırlık verilmemesi gerektiğini savunmaktadır. Bildiri, değerlendirmelerde araştırmanın kendi bilimsel niteliğine odaklanılmasını teşvik eder.
Bu yaklaşım, proje çıktılarının sayılabilir olmasının değerli olduğunu ancak sayılabilir her unsurun aynı ölçüde değerli olmadığını hatırlatır. On adet yüzeysel rapor hazırlamak ile daha az sayıda fakat güçlü yöntemlerle oluşturulmuş, doğrulanabilir ve uygulamada kullanılabilir rapor üretmek aynı başarı düzeyini ifade etmez.
Gertler ve çalışma arkadaşlarının Dünya Bankası tarafından yayımlanan Impact Evaluation in Practice (2016) adlı eseri, etki değerlendirmesinde karşılaştırma gruplarının, başlangıç koşullarının ve araştırma tasarımının önemini ayrıntılı biçimde ele almaktadır.
Bu yaklaşım, özellikle kamu kaynaklarıyla yürütülen projelerde önem kazanır. Bir proje bütçesini aşmadan tamamlanmış olabilir; ancak üretilen hizmet hedef kitleye ulaşmıyorsa kaynakların verimli kullanıldığı sonucuna hemen varılamaz. Benzer şekilde, hedeflenen çıktı miktarına ulaşılması da çıktıların kalitesiz olduğu veya sürdürülebilir olmadığı durumlarda gerçek başarıyı garanti etmez.
Dolayısıyla veriye dayalı değerlendirme en az üç soruyu birlikte ele almalıdır: Ne üretildi, ne kadar kaliteli üretildi ve ortaya çıkan ürün hedeflenen ihtiyacı ne ölçüde karşıladı?
5. Analitik ve İnsani Bakış Açılarını Birlikte Değerlendirmek
Proje çıktılarının değerlendirilmesinde veri odaklı analiz ile toplumsal deneyimleri anlamaya yönelik yaklaşım arasında bir denge kurulmalıdır. Burada kadınların ve erkeklerin belirli değerlendirme biçimlerine doğal olarak sahip olduğu varsayımından kaçınmak gerekir. İnsanların veri odaklı, empatik veya toplumsal etkilere duyarlı yaklaşımları biyolojik cinsiyetlerinden çok eğitimlerine, mesleki deneyimlerine, kişisel özelliklerine ve içinde bulundukları koşullara bağlı olarak değişebilir.
Bu nedenle erkeklerin analitik, kadınların ise sosyal etkiler ve empati odaklı olduğu şeklindeki genellemeleri bilimsel bir gerçek olarak sunmak doğru değildir. Bunun yerine analitik ve sosyal değerlendirme yaklaşımlarını, farklı bireylerin katkı sağlayabileceği tamamlayıcı perspektifler olarak ele almak daha tutarlıdır.
Örneğin bir belediyenin toplu taşıma projesinde analitik yaklaşım; yolcu sayısı, bekleme süresi, sefer sıklığı, maliyet ve gecikme oranı gibi göstergeleri inceler. Toplumsal açıdan duyarlı yaklaşım ise hizmetin engelli bireyler, yaşlılar, çocuklu aileler ve farklı gelir grupları açısından erişilebilirliğini sorgular.
Bu iki yaklaşım birbirinin alternatifi değildir. Bir ulaşım projesinin beklenen çıktıları arasında yeni durakların kurulması ve sefer sayısının artırılması bulunabilir. Fakat durakların tekerlekli sandalye kullanan bireyler için uygun olmaması, projenin toplumsal faydasını sınırlayabilir. Benzer biçimde, kullanıcıların memnuniyetini artıran bir uygulamanın yüksek işletme maliyetleri nedeniyle sürdürülememesi de önemli bir sorundur.
Bu örnek, etkili proje değerlendirmesinin hem ölçülebilir göstergelere hem de insanların gerçek yaşam deneyimlerine ihtiyaç duyduğunu gösterir. Bilimsel açıdan güçlü bir yaklaşım, farklı bakış açılarını cinsiyete göre kalıplaştırmak yerine, çeşitli deneyim ve uzmanlıkların karar süreçlerine katılımını desteklemelidir.
6. Proje Çıktılarında E-E-A-T: Deneyim, Uzmanlık, Otorite ve Güvenilirlik
Bilgiye dayalı karar verme sürecinde yalnızca bir sonucun açıklanması yeterli değildir. Sonucun hangi verilere, yöntemlere ve uzmanlık alanlarına dayanarak elde edildiğinin de açık olması gerekir. Deneyim, uzmanlık, otorite ve güvenilirlik kavramlarıyla ifade edilen E-E-A-T yaklaşımı, özellikle dijital içeriklerin ve bilgi kaynaklarının değerlendirilmesinde kullanılan bir çerçevedir. Bununla birlikte, E-E-A-T tek başına bilimsel geçerliliği ölçen bir istatistiksel yöntem değildir.
Proje değerlendirmesinde bu ilkelerin karşılığı şu şekilde düşünülebilir:
- Deneyim: Proje ekibinin uygulama sürecinden edindiği bilgiler, saha gözlemleri ve kullanıcı geri bildirimleri.
- Uzmanlık: Veri analizi, proje yönetimi, mühendislik veya sosyal bilimler gibi ilgili alanlardaki yetkinlik.
- Otorite: Yöntemlerin ve bulguların alan yazınıyla, mesleki standartlarla ve gerektiğinde bağımsız değerlendirmelerle ilişkilendirilmesi.
- Güvenilirlik: Verilerin doğrulanabilir olması, yöntemlerin açıkça belirtilmesi, çıkar çatışmalarının açıklanması ve sınırlılıkların dürüstçe raporlanması.
Örneğin bir yazılım projesinin başarı raporunda yalnızca “sistem başarıyla geliştirildi” ifadesine yer verilmesi yeterli değildir. Sistemin hangi gereksinimleri karşıladığı, hangi testlerden geçtiği, kaç hata bulunduğu ve güvenlik açıklarının nasıl ele alındığı açıklanmalıdır.
Benzer şekilde bir sosyal sorumluluk projesinde yalnızca katılımcı sayısını belirtmek yerine, katılımcıların hangi gruplardan geldiği, hizmete erişimde hangi engellerle karşılaştıkları ve elde edilen sonuçların hangi yöntemlerle ölçüldüğü de raporlanmalıdır.
Bu yaklaşım, proje sonuçlarının daha şeffaf ve karşılaştırılabilir olmasını sağlar. Ayrıca başarısızlıkların gizlenmesi yerine nedenlerinin anlaşılmasına yardımcı olur. Bilimsel değerlendirmede olumsuz veya beklenmeyen bir sonucun raporlanması, araştırmanın değerini mutlaka azaltmaz; aksine uygun biçimde analiz edildiğinde sonraki çalışmalar için önemli bilgi üretebilir.
7. Beklenen Çıktılar ile Başarı Göstergeleri Arasındaki İlişki
Beklenen çıktılar, başarı göstergeleriyle birlikte ele alındığında daha anlamlı hâle gelir. Bir çıktı, projenin ne ürettiğini ifade ederken gösterge bu üretimin hangi ölçütlerle değerlendirileceğini açıklar.
Örneğin bir üniversitenin araştırma projesinde beklenen çıktı bilimsel bir rapor veya açık erişimli bir veri seti olabilir. Bu çıktıların değerlendirilmesinde raporun zamanında tamamlanması, veri setinin eksiksiz olması, kullanılan yöntemlerin açıklanması ve verilerin yeniden kullanılabilirliği gibi göstergeler kullanılabilir.
Bununla birlikte, bilimsel yayın sayısını araştırma kalitesinin tek göstergesi olarak kabul etmek yanıltıcı olabilir. Yayınların yöntemsel niteliği, verilerin tekrarlanabilirliği, sonuçların literatüre katkısı ve araştırma etiğine uygunluğu da önemlidir.
Bu konuda önemli bir kaynak olan San Francisco Declaration on Research Assessment (DORA), araştırmacıları ve araştırma çıktılarını değerlendirirken yalnızca dergi temelli göstergelere aşırı ağırlık verilmemesi gerektiğini savunmaktadır. Bildiri, değerlendirmelerde araştırmanın kendi bilimsel niteliğine odaklanılmasını teşvik eder.
Bu yaklaşım, proje çıktılarının sayılabilir olmasının değerli olduğunu ancak sayılabilir her unsurun aynı ölçüde değerli olmadığını hatırlatır. On adet yüzeysel rapor hazırlamak ile daha az sayıda fakat güçlü yöntemlerle oluşturulmuş, doğrulanabilir ve uygulamada kullanılabilir rapor üretmek aynı başarı düzeyini ifade etmez.