e-derecelendirme motoru nasıl çalışır

Deneme puanlarken, e-rater^® motoru şunları yapacaktır:

özelliklerin sadece okuyucu puanını öngörmekle kalmayıp, aynı zamanda yazım yönlendirmesiyle mantıksal bir ilgisi olduğunu doğrulayın
Konu dışı veya tutarsız yanıtları otomatik olarak işaretler, böylece inceleme için ayrılabilirler
Puanlama özelliklerini istatistiksel bir modelde birleştirerek nihai bir puan tahmini oluşturun

E-rater motoru, yazı yeterliliğinin önemli ve zorlu yönlerini modelleme yeteneğini genişletmek amacıyla sürekli geliştirilmekte ve geliştirilmektedir. Devam eden araştırmalar, e-rater motorunun yeteneklerini geliştirmeyi, böylece bir makaledeki bir argümanın yapısını belirleyip değerlendirebilmesini, ayrıca öğrenci ve sınav yapan yazımda dilin yaratıcı kullanımını değerlendirmeyi amaçlamaktadır.

e-rater özellikleri

e-dereceleyici puanlaması için kullanılan özellikler, ETS'de yaklaşık 20 yıl süren Doğal Dil İşleme araştırmalarının sonucudur ve her özellik bağımsız alt özelliklerden oluşabilir. Ayrıca, e-dereceleme motoru olan Gelişimsel Yazı Ölçeği olarak bilinen e-derecelendirme motoruna dayanarak sınıflar arasında K–12 yazı puanlarının dikey olarak bağlı bir ölçeği oluşturulması için çalışmalar yapılmıştır.

e-rater puanlama motorunun şu anda özellikleri şunlardır:

Kelime Değeri Ölçütlerine Dayalı İçerik Analizi
Sözcüksel karmaşıklık/diksiyon
dilbilgisi, kullanım ve mekanik hatalarının oranı
Tarz yorumlarının oranı
Organizasyon ve Gelişim puanları
ödüllendirici deyimler

Bir makaleye toplam puan atamak için özelliklerin ayarlanması, belirli bir prompta göre veya "genel" bir şekilde uyarlanabilir; böylece aynı e-dereceleme modeli çeşitli prompt yanıtlarını puanlamak için kullanılabilir.

Skor anlaşması

E-dereceleme motoruna uygun olan görevler için (yanıtta yapılan iddiaların doğruluğundan ziyade yazı kalitesi için puanlanan makale uzunluğunda yazma görevleri), insan puanlayıcılarla anlaşma çok güçlü olabilir. Attali, Bridgeman & Trapani'nin 2010 yılında, e-rater v2.0 (PDF) ile Otomatik Deneme Yazımı'nda e-derecelendirme motorunun TOEFL^® Bağımsız ve GRE^® Issue görevlerinde bir insan değerlendirici ile anlaşmasının iki bağımsız insan dereceleyici arasındaki anlaşmadan daha yüksek olduğunu buldukları gibi.