TOEFL iBT Güncellemelerinin İçeri: Tasarım Yoluyla Geçerlilik

TOEFL, altmış yılı aşkın süredir akademik İngilizce yeterliliğinin önemli bir değerlendirmesi olarak faaliyet göstermekte, üniversite kabullerinde ve diğer yükseköğretim ve mesleki alanlarda karar alma süreçlerinde önemli bir kaynak olarak hizmet vermektedir.

Sınavın 1964'te başlamasından bu yana, ETS TOEFL'yi dil öğretimi ve değerlendirmesindeki güncel düşünceyi, ölçüm bilimindeki ilerlemeleri ve gelişen toplumsal ihtiyaçları yansıtacak şekilde birçok kez revize etmiştir. Testin mevcut versiyonu olan TOEFL iBT, 2005 yılında oluşturulmuştur. Bu Ocak ayında ETS, sınavın güncellenmiş bir versiyonunu başlattı.

Bu güncelleme, aynı temel amacı sürdürmekte ve ETS'de onlarca yıllık ölçüm araştırmalarına dayanan geçerli ve güvenilir bir değerlendirme olarak TOEFL testinin uzun tarihine dayanmaktadır. Bu geliştirmelerin arkasındaki tasarım felsefesi hakkında daha fazla bilgi paylaşmaktan heyecan duyuyoruz.

Tüm testler için kritik bir gereklilik, sonuçların iddiaları ve nihai kullanımları için geçerli olmalarıdır. Başka bir deyişle: Sonuçlar anlamlı olmalı. Bu geçerli iddialar ve kullanımlar için kanıtlar da çeşitli ve yeterli olmalıdır. Bir öğrencinin çeşitli görevlerde (örneğin farklı türde daha fazla öğe) neler yapabileceğini gösterme fırsatı ne kadar çok olursa, sonuçlara olan güven (geçerlilik) o kadar artar.

Her geçerlilik argümanında kanıt gereklidir. Bu kanıt, bir kişinin neler yapabileceğine dair topladığımız bilgileri ifade eder – yani test görevleri ve bu görevlerde verilen performans puanları.

Kabul amaçlı İngilizce yeterlilik sınavı, şu görevleri içermelidir: (1) dört dil becerisinin tamamını (okuma, yazma, dinleme ve konuşma); (2) üniversite eğitimine özgü bu becerilerin entegre kullanımını yansıtır (örneğin, okuma sonra yazma); ve (3) gerçek hayattaki dil kullanımının özelliklerini içerir.

Testin elde ettiği puanlar ayrıca genel dil yeteneğinin güvenilir bir tahmini – uygun bir hassasiyetle – ve gerekli dil yeterlilik seviyeleri aralığında tutarlı ve kesin olmalıdır. Dil yeterliliği testlerinde, test sonuçları ayrıca çeşitli akademik ortamlarda başarılı   olmak için dil kullanma yeteneğini doğru şekilde yansıtmalıdır.

Son 20 yılda, modern akademik ortamlar, yeni teknolojiler ve pedagojik modellerle kolaylaştırılan yeni iletişim yollarını vurgulayacak şekilde evrilmiştir. Örneğin, günümüz öğrencileri, sadece dersleri pasif olarak sindirmekle kalmayıp, grup öğrenme ortamlarında dünyanın dört bir yanından akranlarıyla iletişim kurabilmelidir. Ayrıca daha geniş bir İngilizce metin yelpazesini yorumlayabilmelidirler.

Modern akademik ortamlarda   başarılı olmak için gereken İngilizce becerilerini ölçmek ve geçerli sonuçlar için anlamlı kanıtlar toplamak amacıyla, güncellenmiş TOEFL iBT, dil yeteneğine dair anlamlı kanıtlarımızı genişleten çeşitli görevleri bir arada barındırıyor.

Güncellenmiş TOEFL iBT, orijinal formatın sağlam temeli üzerine inşa ederek daha çeşitli test görevleri ekledi. Bir sınav sahibinin performansı, akademik bir ortamda iletişim kurabilme yeteneğiyle örtüşüyorsa, bu sadece ders dinlemeyi veya ders kitaplarını okumayı değil, aynı zamanda akademik başarıya katkıda bulunan diğer üniversite bağlamlarında da yer almayı içerir.

Ancak test geliştiricileri için yaygın bir zorluk, gerçek dünya faaliyetlerini yakından taklit eden test görevlerinin uygulanmasının inanılmaz derecede zaman alıcı olması, ancak nispeten az ölçüm bilgisi ve ilgili kanıt sunmasıdır.

Örneğin, tamamen 1-5 ölçekli puanlanan tek bir saatlik yazılı denemeden oluşan bir yazı sınavını hayal edebilirsiniz. Böyle bir test "gerçek" olarak görülebilir, ancak öğrencinin dil yeteneğine dar bir bakış açısı sunar ve testin öğrencinin tek bir maddenin ötesinde tüm yeteneklerini ölçme fırsatını sınırlar.

Nitel olarak, bu varsayımsal test yalnızca bir yazı türünün yapılabilme yeteneği hakkında bilgi sağlar. Nicel olarak sadece beş puan üretir ve bu da farklı performans seviyelerini güvenilir şekilde ayırt etme yeteneğini sınırlar.    Bu yaklaşım aynı zamanda rastgele durumlara karşı da savunmasızdır; Örneğin, başka türlü yetenekli bir yazar makale konusuyla zorlanırsa, sonuçları ciddi olabilir.

Alternatif bir yaklaşım ise sadece daha fazla görev değil, aynı zamanda çeşitli görevler de kullanmaktır; böylece daha geniş bir yetenek ve ölçümde daha yüksek güvenilirlik sağlanır. Bu hedefe ulaşmak için, güncellenmiş TOEFL iBT, temel dil becerilerini ölçen görevleri ve iletişimsel yetenek hakkında daha derin içgörüler sağlayan modernize akademik görevleri içermektedir.

TOEFL iBT'nin Konuşma bölümü, bu tasarım felsefesinin uygulandığını gösteriyor. Başlangıç olarak, iyi araştırılmış bir konuşma görevi olan Dinle ve Tekrarla, konuşulan bir cümleyi anlama ve doğru şekilde yeniden üretme yeteneğini değerlendirir.  Öğrenci, dil girdisini hızla çözmeli, ardından dili doğru şekilde yeniden oluşturarak temel dil yeteneklerinin gelişimini yansıtan bir yanıt üretmelidir.

Bu görev, sözlü iletişim için gerekli temel becerileri içerir (Levelt, 1989). Ayrıca, gelişmiş bir iç dil sistemine sahip bireyler daha uzun cümleleri daha verimli ve doğru şekilde yeniden üretebilir; böylece cümle uzunluğunu değiştirerek, geniş bir dil yeterlilik yelpazesinde genel dil yeteneğini verimli bir şekilde ölçmek mümkündür   (Davis & Norris, 2021).

Listen and Repeat , öğrencilerin önceden kaydedilmiş bir mülakat yapıcıyla simüle edilmiş bir konuşmaya katıldığı İletişimsel Konuşma Görevi olan Take an Interview ile birlikte kullanılır. Mülakat, bir araştırma çalışmasına katılmak gibi çeşitli akademik durumlarda gerçekleşir ve öğrenciler, mülakat bağlamıyla ilgili toplam dört soru üzerinden puanlanır. İlk sorular gerçek bilgilere ve kişisel deneyime odaklanırken, sonraki sorular öğrencilerden daha geniş konularda görüşlerini ifade etmelerini ve desteklemelerini ister.

Bu görev, öğrencinin çeşitli konularda konuşma yeteneğini ölçür; uygun destek ve açıklama ile açık ve tutarlı bir yanıt üretir. Görev ayrıca, anlaşılır, akıcı ve çeşitli kelime dağarcığı ile dilbilgisi yapılarını etkili şekilde kullanan konuşma üretme yeteneğini de ölçer.

Temel (Dinle ve Tekrarla) ile iletişimsel (Röportaj Yap) konuşma yeteneklerini hedefleyen bu görev kombinasyonu, öğrencilerin sözlü dil yeteneği hakkında oluşturulan temsil ve ilgili kanıtlarda çeşitlilik sağlarken, akademik bağlamlarda karar verme için puanların anlamlılığını korur.

Bir görev temel veya iletişim becerilerine odaklanırsa odaksınsın, anlamlılık için görev performansının akademik başarıya uygun gerçek dünya dil performansını öngörmesini gerektirir. Aksi takdirde, test puanı vermek boşuna bir uğraş olurdu.

Listen and Repeat ile Sanal Mülakat görevleri için, Hawai'i Üniversitesi Manoa'da yapılan son araştırma, bu görevlerdeki puanların sınıf ortamında verilen diğer iletişim dilleri görevlerindeki performansla yüksek korelasyon gösterdiğini buldu.

Bu araştırmacılar, Dinle ve Tekrar Görevi ile iki sınıf iletişimsel görevi arasındaki puanlar arasında 0.84, Sanal Mülakat görevi için ise 0.83-0.85 arasında korelasyon buldu. Bu sonuçlar, güncellenmiş TOEFL iBT'deki her iki görevin tipik akademik konuşma türlerinde performansı çok iyi tahmin ediciler olduğunu göstermektedir.

ETS, benzer bir strateji uyguladı – görev türlerinin çeşitliliğini artırmak ve öğrenci performansını değerlendirme fırsatlarını değiştirmek – Okuma ve Yazma bölümlerinde de.

Okuma bölümüne yeni eklenen görev olan Kelimeleri Tamamla'da, bir okuma bölümündeki her ikinci kelimenin ikinci yarısı silinir. Öğrenciler, orijinal kelimeleri yeniden yaratmak ve tutarlı bir metin oluşturmak için eksik harfleri doldurmaları gerekir.

Bu görev – yaygın olarak C-testi olarak bilinir – metni işleme ve anlama yeteneği hakkında verimli bir bilgi ile kelime dağarcığı, sözdizimi ve yazım bilgisi sağlar. Bu görevi desteklemek için, Akademik Bir Pasaj Oku gibi daha geleneksel oku anlama görevleri,  akademik çalışmada tipik olarak bilgi edinme ve anlamları anlama yeteneği hakkında içgörü sağlar.

Yazma bölümünde, Akademik Tartışma için Yaz görevi, okuryazarlık becerilerinin iletişimsel yönlerini değerlendirir. Bu görev, ders eğitmeni tarafından sorulan bir sorunun devam eden bir sınıf tartışması bağlamında gerçekleşir. Öğrenci, ilgili akıl yürütme, bilgi veya deneyimle desteklenen kendi görüşlerini ekler. Ayrıca akranlarının katkılarına da yanıt verebilirler.

Ayrıca, Akademik Tartışma İçin Yaz , akademik bağlamlarda giderek yaygınlaşan bir yazı türünü simüle eder. Ayrıca, yazarın belirli bir hedef kitlesi ve durum için uygun şekilde yazıp yazamayacağını netleştirmeye yardımcı olan bir bağlam da sağlar. Bu, "çıplak" bir konu kullanan, hedef kitlesi veya koşullar hakkında hiçbir açıklama olmayan geleneksel yazım testlerinden tezat oluşturur.

Bu yenilikçi özelliklerin ötesinde, Akademik Tartışma için Yaz görevi, tutarlılık ve açıklık, ayrıntılı açıklama kalitesi ve dilin çeşitliliği ve hassasiyeti gibi başarılı yazılı iletişimin diğer yönlerini de ölçer.

Özetle: Güncellenmiş TOEFL iBT testinin geliştirilmesi, güçlü geçerlilik kanıtları üzerine inşa edilmesini ve günümüzün yükseköğretim kurumlarının katı beklentilerini ve çeşitli akademik ortamlarını yansıtan ek görevler gerektiren ilginç bir tasarım zorluğu oluşturuyordu.

Yukarıda bahsedilen içerik ve yapı geçerliliğinin yanı sıra, TOEFL iBT testi yeni uygulanan uyarlanabilir test tasarımı, ölçüm bilimindeki yenilikler, test güvenliğindeki iyileştirmeler ve daha fazlasından da faydalanmaktadır. Daha fazla bilgi edinmek için bu kanalı takipte kalın!

Davis, L., & Norris, J. (2021). Verimli İngilizce yeterlilik değerlendirmesi için yenilikçi bir taklit görevi geliştirmek (TOEFL Araştırma Raporu No. 96). ETS. https://doi.org/10.1002/ets2.12338

Isbell, D. R., & Crowther, D. (baskıda). Akademik İngilizce konuşma testinin gerçek dünyadaki önemini araştırmak: Öznel değerlendirmelerin ve dilsel performans özelliklerinin ekstrapolasyonu. Dil Testi.

Levelt, W. J. M. (1989). Konuşma: Niyetten ifade etmeye geçiş. MIT Press.

Pearlman, M. (2008). Test planını tamamlamak. C. A. Chapelle, M. K. Enright ve J. M. Jamieson (Eds.), İngilizce Yabancı Dil Olarak Test için Geçerlilik Argümanı İnşaat (s. 227-258). Routledge.