The effect of rater experience and L2 speaking performance quality on score variation and rater behavior

---

Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Çanakkale Onsekiz Mart Üniversitesi, Lisansüstü Eğitim Enstitüsü, YABANCI DİLLER EĞİTİMİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: İngilizce

Öğrenci: MUSTAFA ÇOBAN

Danışman: Salim Razı

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Bu tezin amacı, puanlayıcıların puanlama deneyimlerinin ve değerlendirilen konuşma sınavlarının kalitesinin puan değişkenliği ve puanlayıcı davranışı üzerindeki etkilerini incelemektir. Yakınsayan paralel tasarım, durum çalışması karma yöntem araştırma yaklaşımı kullanılarak, puanlayıcıların puanlama deneyiminden ve konuşma sınavlarındaki yanıtların kalitesinden kaynaklanan sorunları ele almak için hem nicel hem de nitel araştırma yöntemleri kullanıldı. Bu çalışmaya 25 İngilizce öğretim görevlisi konuşma sınavı puanlayıcısı olarak katılmıştır. Tüm katılımcılar aynı araştırma bağlamından olup, Türkiye'nin batısındaki bir üniversitede görev yapmıştır. Puanlayıcı deneyim ölçeği kullanılarak, düşük deneyimli grup 10, orta deneyimli grup 7 ve yüksek deneyimli puanlayıcı grup 8 katılımcıdan olmak üzere üç adet deneyim grubu oluşturulmuştur. Bütünsel puanlama ölçeği kullanarak, 25 katılımcının hepsi farklı kaliteden oluşan 60 adet konuşma sınavı yanıtını değerlendirdi. Ayrıca, katılımcılar verdikleri puanlara gerekçe oluşturdukları yazılı puan açıklamalarının yanı sıra sesli düşünme protokollerini tamamladılar. Her iki veri toplama yöntemi de nicel verilerden elde edilen bulguları doğrulamak için kullanılmıştır. Katılımcılar 7,500 adet konuşma sınavı puanı (1,500 toplam puan ve 6,000 alt puan), 375 adet sesli düşünme protokolü ve 4,500 adet yazılı puan açıklaması oluşturdu. Çalışmanın sonuçları, düşük kaliteli, orta kaliteli ve yüksek kaliteli konuşma sınavı yanıtlarına verilen puanların birbirinden istatistiksel olarak anlamlı farklılıklar gösterdiğini göstermiştir. Ancak, puanlayıcı deneyim grupları, üç farklı kalitedeki yanıtlara verilen hem toplam hem de bileşen puanlarında anlamlı farklılıklar göstermedi. Genellenebilirlik kuramı bulguları, tüm yanıtlar toplamda incelendiğinde varyasyon üzerinde sınırlı puanlayıcı etkisinin olduğunu, ancak farklı kalitedeki yanıtlar ayrı ayrı analiz edildiğinde daha fazla puanlayıcı etkisinin gözlemlendiğini ortaya koymuştur. Nitel bulgular, puanlayıcıların üç farklı kalitedeki yanıtları değerlendirirken belirli karar verme davranışları sergilediğini ortaya koydu.