Akademik Veri Yönetim Sistemi
SAKARYA UNIVERSITY JOURNAL OF EDUCATION, cilt.15, sa.3, ss.315-335, 2025 (TRDizin)
Yapay zekânın (YZ) eğitime giderek daha fazla entegre olmasıyla birlikte, yazma becerilerinin değerlendirilmesindeki rolü önemli bir araştırma alanı olarak ortaya çıkmıştır. Bu çalışma, özellikle B1 seviyesindeki İngilizce görüş paragraflarını değerlendirmek için tasarlanmış, özel olarak geliştirilmiş, GPT tabanlı bir modelin güvenilirliğini ve tutarlılığını araştırmaktadır. 40 metinden (20'si öğrenciler tarafından yazılmış ve 20'si YZ tarafından oluşturulmuş) oluşan bir veri seti, altı ayrı oturumda değerlendirilmiştir. İlk üç oturumda, model standart bir değerlendirme ölçütüne göre puanlar atamıştır. Kalan üç oturumda ise, orijinal puanı "fazla tahmin etmiş", "az tahmin etmiş" veya "fazla tahmin etmiş veya az tahmin etmiş" olabileceğini öne süren yansıtıcı sorulara dayanarak kendi puanlarını yeniden değerlendirmesi istenmiştir; böylece olumlu, olumsuz ve nötr yansıtıcı yönlendirmeler sunulmuştur. Altı araştırma sorusuyla yönlendirilen çalışma, modelin iç tutarlılığını ve bu tür yansıtıcı yönlendirmelere olan duyarlılığını incelemektedir. Sınıf içi korelasyon katsayıları (ICC'ler), tüm koşullar arasında mükemmel güvenilirliği göstermiştir (ICC > .94). Puanlama davranışında, özellikle üst düzey bilişsel becerileri (yani içerik ve organizasyon) içeren değerlendirme kriterlerinde, yönergeye bağlı olarak öngörülebilir değişiklikler gözlemlenirken, dil bilgisi ve kelime bilgisi puanları sabit kaldı. Sınırlı örneklem boyutu bulguların genelleştirilebilirliğini kısıtlasa da, bu bulgular yapay zeka tabanlı puanlamanın yalnızca güvenilir değil, aynı zamanda üst bilişsel yönergelere de uyarlanabilir olduğunu ve ölçeklenebilir, değerlendirme kriterlerine uygun değerlendirme modelleri için değerli bilgiler sunduğunu göstermektedir. Çalışma, GPT tabanlı araçların yalnızca öğrenci yazılarının güvenilir değerlendiricileri olarak değil, aynı zamanda öz değerlendirmeyi teşvik eden, değerlendirici eğitimini destekleyen ve eğitim ortamlarında daha adil geri bildirim sağlayan araçlar olarak da hizmet edebileceğini vurgulamaktadır.