TOEFL iBT Perde Arkası: Öğrencilerin Yazma Süreçlerini Gerçek Zamanlı Değerlendirmek

Bu röportajda, Kıdemli Ölçüm Bilimcisi Ching-Ni Hsieh ve Kıdemli Araştırma Projesi Müdürü Renka Ohta, TOEFL iBT® Testinde İkinci Dil Yazma Süreçleri: Göz İzleme, Tuş Kaydı ve Uyarılmış Hatırlama Kullanarak Akademik Tartışma Görevi İçin Yazmayı İnceleme Üzerine TOEFL'den John Clark ile birlikte tartışıyorlar

Tabii. Bir öğrencinin yazılı yanıtı yazdıklarını anlatır, ama oraya nasıl geldiğini anlatmaz. İki öğrenci aynı makale puanlarını alabilir veya benzer kalitede yanıtlar verebilir, ancak yazarken çok farklı yollar izleyebilirler.

Göz hareketleri ve klavye olayları gibi davranışsal veriler, test katılımcılarının dikkat dağılımı ve nihai yazılı yanıtlarda görünmez olan karar alma süreçlerine bir pencere açabilir.

Çalışmamızda, katılımcılar bilgisayarda TOEFL iBT Akademik Tartışma için Yaz görevine (hoş bir kısaltma "WAD" verdik) cevap verirken, göz hareketlerini takip etmek için monitörün altına bir Tobii göz takip cihazı yerleştirdik.

Göz takip cihazı, yazarların nereye baktığını ve gözlerinin nasıl hareket ettiğini ölçmek için sensör teknolojisi kullanan bir cihazdır. Ayrıca Tobii Pro Lab göz izleme yazılımını kullanarak ekran yazısı olaylarını – yazılan metinler ve fare tıklamaları gibi – göz hareketlerinin üzerine yerleştirilmiş bir video kaydedip oluşturduk.

Göz izleme verileri, yazarların nereye baktıklarını, göz bakışlarının nasıl değiştiğini, görevin farklı bölümlerine ne kadar zaman harcadıklarını ve metinlerini nasıl revize ettiklerini görmemizi sağladı.

Her yazar yazarken klavyedeki her etkinliği yakalamak için ETS'nin tuş vuruşu kaydetme motorunu kullandık. Bu veriler, yazarların klavye kullanma davranışları hakkında zengin bilgiler içeren bir tuş baskısı günlüğüne derlenir; bunlar arasında kelimeler veya cümleler arasındaki duraklamalar, yazılmış metinlerin silinmesi veya yeni metinler ekleme gibi konularda bulunur.

Katılımcılar yazmayı bitirdikten sonra onlarla röportaj yaptık. Tobii göz izleme yazılımı tarafından yapılan video kaydını izledik; bu kayıt, katılımcıların ekran üzerindeki yazma süreçlerini ve görsel ilgilerinin nereye yöneldiğini gösteren ısı haritalarını içeriyordu. Onlardan, özellikle uzun bir duraklama veya revizyon gibi ilginç anlarda göreve yanıt verirken ne düşündüklerini konuşmalarını istedik.

Katılımcılara mümkün olduğunda ana dillerinde sorular sorduk, böylece düşüncelerini daha kolay paylaşabiliyorlardı. Açıklamaları, gözlemlenebilir klavye davranışlarını ve göz hareketlerini arkalarındaki düşünce süreçleriyle bağdaştırmamıza yardımcı oldu.

Değerlendirmede, bir yapı, bir testin ölçmek için tasarlandığı yetenek veya becerileri ifade eder. Construct geçerliliği, bir testin bu amaçlanan becerileri ölçüp ölçmediğini sorar. TOEFL iBT Yazım bölümünde hedef yaklaşım akademik yazma yeterliliğidir.

Yapı geçerliliği kanıtının önemli bir kaynağı, sınav yapanların akademik yazımla ilgili yazım süreçlerine katılıp katılmadığıdır. Eğer sınav yapanlar, esas olarak amaçlanan akademik yazma yeteneğiyle ilgisi olmayan bilişsel süreçlere veya stratejilere dayanarak yüksek puanlar alabiliyorsa, sınav puanları akademik yazma yeterliliklerini doğru şekilde yansıtmayabilir.

Evet, bulgularımız WAD görevinin yapı geçerliliğini destekleyen kanıtlar sunuyor. Göz izleme verileri, tuş kayıtları ve mülakat yanıtları boyunca katılımcılarımız planlama, dil formülasyonu, izleme ve revizyon işlemlerine katıldı. Bu süreçler, yerleşik yazı modellerinin merkezinde yer alır ve akademik yazma yeterliliği için önemlidir.

Bu kanıt, görevin amaçlanan yazım süreçlerini ortaya çıkardığını ve TOEFL iBT Writing puanlarının sınavın değerlendirmek üzere tasarlandığı akademik yazım yeteneklerini yansıttığı yorumunu güçlendirdiğini göstermektedir.

Kellogg modeli, yazının en etkili bilişsel modellerinden biridir. Yazmayı fikirleri planlamak, bu fikirlerin dile çevirilmesi, metin üretmek ve yazılanları gözden geçirmek gibi etkileşimli süreçler bütünü olarak tanımlar. Model, TOEFL iBT yazma görevlerinin önceki çalışmalarında kullanılmıştır, bu nedenle WAD görevinin önemli yazım süreçlerini ele geçirip kapsamadığını incelemek için faydalı bir çerçeve olarak değerlendirdik.

Bu modeli seçtik, çünkü formülasyona açıkça dikkat ediyor, yani fikirlerin kelimelere ve cölelere dönüştürülme süreci. Bu özellik, ikinci veya yabancı dilde yazan ve kelime dağarcığı, dilbilgisi ve cümle yapısına önemli ölçüde dikkat göstermek zorunda kalan TOEFL iBT sınavına girenler için özellikle önemlidir.

Verilerimiz, katılımcıların WAD görevi boyunca planlama, dil formülasyonu, izleme ve revizyon yaptıklarını gösterdi. Birçok katılımcı promptu okudu ve tekrar okudu, fikirler üretti, uygun kelime dağarcığı aradı, cümleler oluşturdu, yanıtlarının görev gereksinimlerini karşılayıp karşılamadığını kontrol etti ve doğruluk veya netliği artırmak için düzenlemeler yaptı. Bu davranışlar, Kellogg'un bilişsel yazma modeliyle yakından örtüşmektedir.

Bulgularımız ayrıca yazının özyinelemeli doğasını da ortaya koydu. Katılımcılar bu süreçleri tek tek veya doğrusal bir dizi olarak tamamlamadılar. Bunun yerine, okuma, planlama, yazma ve revizyon arasında gidip geldiler; bu da Kellogg'un yazmayı dinamik, etkileşimli bir süreç olarak görmesiyle tutarlıdır.

WAD görevi, emekli olduğu TOEFL iBT Bağımsız Yazım görevi gibi geleneksel görüş makalesi görevlerinden farklıdır. Sınava girenler bir profesörün sorusunu okumalı, iki öğrenci yanıtını değerlendirmeli, çevrimiçi tartışmaya nasıl katkıda bulunacaklarına karar vermeli ve 10 dakika içinde bir yanıt yazmalıdır.

Bu tasarım özellikleri, sınava girenlerin dikkatlerini birden fazla bilgi kaynağına bölmesini ve aynı zamanda kendi fikirlerini üretip ifade etmelerini gerektirir. Örneğin, göz izleme sonuçlarımız katılımcıların dikkatlerini sürekli olarak prompt materyalleri ile yazı alanı arasında kaydırdığını gösterdi. Bu anlamda, görev sınav katılımcılarına okuma, planlama, yazma ve kendini izlemeyi dinamik bir çevrimiçi tartışma formatında koordine etmelerini gerektirerek kendine özgü bilişsel talepler getirir.

Bu süreçler, öğrencilerin modern akademik ortamlarda karşılaşabileceği birçok yazılı iletişim biçimine benziyor. Ayrıca görev farklı yanıt stratejilerini de destekledi. Örneğin röportajlarımızda bazı katılımcılar, iki öğrenci gönderisinde bahsedilmemiş yeni bir fikir sunarak katkıda bulunmaya çalıştıklarını, diğerleri ise diğer öğrencilerle aynı fikirde olup okuduklarına devam etmeyi tercih ettiklerini açıkladı.

Hayır, ifade ettikleri belirli fikirlere dayalı doğru ya da yanlış bir cevap yoktur. WAD görev puanlama rubrik, dil kullanımı, fikir gelişimi ve sınav katılımcılarının tartışmaya ne kadar net ve etkili yanıt verdiklerine odaklanır.

Sınava girenler tamamen yeni fikirler sunup sunmadıkları açısından değerlendirilmez. Örnek yanıtlarda sunulan fikirlerin üzerine inşa edebilirler, yeter ki anlamlı katkı sağlarlar ve görüşlerini net bir şekilde ifade ederler. 

İstem işleme, yazarların yazı öncesi ve sırasında görev materyallerini nasıl okuduklarını, yorumladıklarını ve kullandıklarını ifade eder. WAD görevinde bu, profesörün sorusunu anlamayı, iki örnek öğrenci gönderisini değerlendirmeyi, kendi katkınızın tartışmaya nasıl bağlanması gerektiğine karar vermeyi ve bazen beste yaparken prompt materyallerini tekrar gözden geçirmeyi içerir.

Çalışmamızdan ilginç bir bulgu, hızlı işlemenin sadece görevin başında gerçekleşmediğidir. Katılımcılar, yazı sürecinde sık sık prompt materyallerine defalarca geri döndüler.

Hızlı işlemenin sadece bir ön yazma etkinliği olmadığı sonucuna vardık; aksine, planlamanın sürekli bir parçası olarak işlev görür ve ilgili fikirleri seçmek, yanıtı konumlandırmak ve yanıtın görev gereksinimlerini ne kadar iyi yerine getirdiğini izlemek gibi diğer yazım kararlarına rehberlik eder.

Bu, değerlendirme tasarımındaki temel zorluklardan biridir. Bir prompt çok basitse, akademik yazma yeteneğine dair güçlü bir kanıt sunacak kadar yazı ile ilgili düşünce uyandırmayabilir. Eğer çok karmaşıksa, test katılımcıları soruyu anlamak için aşırı çaba harcayabilir, bu yüzden görev yazma yeteneğinden ziyade okuma anlama veya görev yorumlamasını ölçmeye başlayabilir.

Bulgularımız, etkili promptların yazarları planlama, formülasyon, izleme ve revizyon gibi temel yazma süreçlerine davet etmesini, aynı zamanda açık ve erişilebilir kalmasını önermektedir. Amaç, sınav yapanların gereksiz engeller veya yapı açısından alakasız zorluklar oluşturmadan yazma yeteneklerini göstermesini sağlayan değerlendirme görevleri tasarlamaktır.

Mantıklı! Araştırmanıza derinlemesine dalış için gerçekten minnettarım – her TOEFL iBT görevine ne kadar zaman ve enerji harcandığını görmek eğlenceli.

Teşekkürler.