Hikayenin daha fazlasını keşfetmek için verilere daha derinlemesine inin.

Ekibimiz, tüm öğrenciler için daha iyi öğrenme fırsatlarını desteklemek amacıyla öğrenci grup puan raporlamasında yenilik yapmaya kararlıdır. İş birliğimize, yaygın olarak kullanılan değerlendirme sonuçlarının daha iyi gösterimlerini geliştirmek için iş birliği yapan politika odaklı değerlendirme veri kullanıcıları ve araştırmacılardan oluşan bir ortak tasarım ekibinin parçası olarak başladık. Ekibi ortak olarak yönettik—ETS araştırmacıları ve veri görselleştirme uzmanı Eli Holder (3iap), yakın zamanda çığır açan Unfair Comparisons makalesini yayımlamıştı. Geçen bahar, öğrenci grup sınav sonuçlarını raporlamanın farklı yollarını kavramsallaştırmak için iki haftada bir buluştuk; böylece tepkiler "Durum böyle"den "Öğrencilere X, Y ve Z ihtiyaçlarını gidererek yardımcı olabiliriz!" şekline geçecek. Bu deneyim boyunca, tüm tasarımlarımızı yönlendiren bir mantra "Ortalamanın ötesine geçin" idi. Bu blogda, bu basit değişikliğin öğrenci performansı hakkında çok daha fazla bilgi verebileceğini tekrar paylaştık.

Yıllardır, Massachusetts'teki öğrenciler Ulusal Eğitim İlerleme Değerlendirmesi (NAEP) okuma değerlendirmesinde diğer eyaletlerdeki öğrencileri ortalama olarak geride bırakıyor. 2024'te hem 4. hem de 8. sınıflarda bunu tekrar yaptılar. Bu yüksek puanlar, Massachusetts'in sonuçlarını kendi eyalet politikalarını yönlendirmek için bir kıyasa ve ipuçları olarak kullanan diğer eyaletlerdeki politika yapıcılar ve eğitim liderlerinin dikkatini çekti. Mississippi ve Louisiana, tarihsel olarak NAEP okumalarında Massachusetts'ten çok daha düşük puan alan iki eyalet, NAEP okuma puanlarındaki artışları nedeniyle övgü aldı ve politikalarına fikir arayan diğer eyaletler için örnek oldu. Yine de, Mississippi ve Louisiana NAEP eyalet sıralamalarında yükselmiş olsa da, ortalama puanları Massachusetts gibi en üst sıradaki eyaletlerden hâlâ daha düşük. NAEP verilerine daha derinlemesine inmek ve ortalamaların ötesine geçmek, Mississippi ve Louisiana'nın neler başardığını ve öğrencilerinin okuryazarlık seviyelerinin birbirleriyle ve Massachusetts ile nasıl karşılaştırıldığını daha net ve eksiksiz bir anlayış sağlayabilir.

_{Şekil 1. 2024 Ulusal Eğitim İlerleme Değerlendirmesi (NAEP)'deki ortalama 4. sınıf okuma puanlarının bir bar grafi, Massachusetts'in ortalama olarak Louisiana, Mississippi ve ülke genelinden daha yüksek puan aldığını gösteriyor.}

NAEP Veri Gezgânı (NDE), kullanıcılara menü tabanlı NAEP verilerine erişim sağlar ve 4. sınıf öğrencileri için eyalet düzeyindeki öğrenci okuma performansını incelememize olanak sağladı. Şekil 1, ülke ve Louisiana, Mississippi ve Massachusetts için ortalama 4. Derece NAEP okuma puanlarının bir çubuk grafiğini sunar. Bu tür çubuk grafikler bir zamanlar popüler bir gelenekti, ancak birçok açıdan yanıltıcıdır, özellikle de eksik düşüncesine yol açmaktadır. Bu basit çubuk grafikten birkaç gözlem not ediyoruz:

• Massachusetts öğrencileri, Amerika Birleşik Devletleri'nde en yüksek ortalama 4. sınıf okuma performansına sahip; ortalama puanları 225'tir; bu, 2024 için ulusal ortalama olan 215'ten tam 10 puan daha yüksektir. Bu fark rastgele bir gürültü değildir. Bu durum istatistiksel olarak anlamlıdır, blogda belirtilen diğer tüm farklılıklar gibi.
• Mississippi, üç eyalet arasında ikinci en yüksek ortalama puana sahipti ve 219 puan aldı; bu, Massachusetts'ten 6 puan daha düşük ama ülke dahilinden 4 puan daha yüksek.
• Louisiana'nın ortalama puanı 216 oldu, ülkenin genel puanına benziyordu.

Ortalamalara ek olarak, NAEP Veri Rehberi durum düzeyinde verileri birkaç yüzde ile sunar. Yüzde sayılar, öğrenci örneklemini 100 eşit parçaya böler ve her biri öğrencilerin %1'ini temsil eder. Belirli bir yüzde diliminden bahsettiğimizde, öğrencilerin belirli bir yüzdesinin düştüğü veya düştüğü değeri kastediyoruz. Örneğin, bir öğrencinin puanı 75. yüzde birlikte ise, bu onun puanının diğer tüm öğrencilerin puanlarının %75'ine eşit veya daha yüksek olduğu anlamına gelir. Birkaç yüzde puanı çizmek, puanların öğrenci dağılımı boyunca nasıl karşılaştırıldığını daha iyi anlamamıza yardımcı olur.

_{Şekil 2. Ülke için 2024 4. sınıf NAEP okuma puanlarının açıklamalı dağıtım grafiki.}

Soldan sağa, Şekil 2'deki paneller, ek bilgi katmanlarının öğrenci puanlarına NAEP ölçeğine ilişkin nasıl içgörüler sağladığını gösterir. 

• Sol panelde, basit bir çubuk grafik sadece tek bir puanı—ulusal ortalamayı aktarıyor. Bu tür grafiklerde, kullanıcılar genellikle puanların bar içinde veya çevresinde dağılımı hakkında kendi fikirlerini oluşturur; bu da verilerin yanlış anlaşılmasına ve bazı grupların neden diğerlerinden daha düşük puan aldığına yol açabilir.
• Orta panelde, öğrencilerin puan alma eğiliminde olduğu noktaları vurgulamak için puan dağılımı grafiki kullanıyoruz. Burada, en koyu renkli bölüm, ülke genelinde öğrencilerin orta %50'sinin 189'dan (yüzde 25) 245'e (yüzde 75) puan aldığını gösteriyor.
• Sağ panel, puan yüzdeliklerini yorumlamak için bir referans noktası sağlamak amacıyla NAEP başarı seviyelerini ekler. Başarı seviyeleri, öğrencilerin bilgi ve becerilerini ne kadar iyi gösterdiğini gösterirken, NAEP Temel kısmi ustalığı temsil eder. Burada, en koyu renkli bölüm, öğrenci puanlarının orta %50'sinin üç performans seviyesini kapsadığını gösteriyor: NAEP Basic'in altında, NAEP Temel ve NAEP Proficient. Ayrıca, 90. yüzde dili NAEP İleri seviyesine biraz az yaklaşıyor, yani öğrencilerin %10'undan azı ileri seviyeye ulaşacak kadar yüksek puan aldı.

_{Şekil 3. 2024 4. sınıf NAEP okuma puanlarının dağıtım grafikleri. Ülke ve her eyalet için ortalama okuma puanları beyaz renkte gösterilmiştir. Kesik dikey çizgiler, ulusal dağılımın yüzde puanlarını gösterir.}

Şekil 3'e bakın. Bizim gördüğümüzü görüyor musun? Mississippi'nin dağılımının sol tarafı, ülke veya Louisiana'dan daha çok Massachusetts'e benzer. Mississippi ve Massachusetts'in 10. yüzde dilimleri ülke genelinin yaklaşık 10 puan daha yüksektir.

Hem Mississippi hem de Massachusetts
Daha düşük performans gösteren öğrenciler için daha iyi puanlar
ülkenin genel olarak değil.

Dağıtımın sağ ucunda ne görüyorsunuz? Burada Mississippi puanları hem Massachusetts'in (13 puan) hem de Louisiana'nın (4 puan) daha düşük. 

Mississippi'nin en yüksek performans gösteren öğrencileri
Ulaşmak için daha fazla destek gerekebilir
Diğer eyaletlerdeki öğrencilerle aynı performans seviyelerinde.

NAEP ayrıca, öğrencilerin ailelerinin ekonomik olarak dezavantajlı olup olmadığı gibi çeşitli öğrenci özellikleri hakkında da veri toplar. Skorları ekonomik duruma göre ayırdığımızda, Mississippi, Louisiana ve Massachusetts'teki 4. sınıf okuma puanlarının daha kapsamlı bir resmini görürüz (bkz. Şekil 4).

_{Şekil 4. 4. Sınıf NAEP okuma puanlarının dağıtım grafikleri, aile ekonomik durumuna göre ayrılmıştır. Ülke ve her eyalet için aile ekonomik durumuna göre ortalama 4. sınıf okuma puanları beyaz renkte gösterilmiştir. Kesik dikey çizgiler, ulusal dağılımın yüzde puanlarını gösterir.}

Öğrencilerin ailelerinin ekonomik olarak dezavantajlı olup olmadığına göre analiz edildiğinde, okuma puanları önemli ölçüde farklılık gösterir ve genellikle ekonomik dezavantajı olmayan ailelerden gelen öğrenciler için daha yüksektir.  Bazı eyaletler, ekonomik dezavantajlı öğrencilere okuma öğretmede diğerlerine göre daha iyi performans gösteriyor gibi görünüyor.

Şekil 4'teki sol panele baktığımızda gördüğümüzü görüyor musunuz?

Hem Mississippi hem de Louisiana ülkenin tamamını geride bırakıyor
öğrencilerin performansına gelince
ekonomik açıdan dezavantajlı ailelerden geliyor.

• Mississippi, ekonomik açıdan dezavantajlı öğrenciler arasında en yüksek ortalama 4. sınıf okuma puanına (212) sahiptir; Massachusetts'ten (204) 8 puan ve ülke genelinden (202) 10 puan daha yüksektir.
• Ekonomik açıdan dezavantajlı öğrenciler için hem 10. hem de 25. perdelik oranlar, Mississippi'de Massachusetts'e göre 13 puan daha yüksektir; orantılı olarak, orantılı olarak Mississippi'de (%75) ekonomik dezavantajlı öğrencilerin sayısı Massachusetts'e (%40) göre neredeyse iki kat daha fazladır.
• Mississippi öğrencileri, puan dağılımında her yüzde puanında ülkeyi 6 ila 15 puan farkla geride bırakır; en yüksek puan alan öğrenciler (yüzde 90'da), en büyük farklar dağılımın sol ucundadır.
• Öğrencilerinin %73'ü ekonomik olarak dezavantajlı durumda olan Louisiana, en düşük yüzde puanı hariç her yüzde puanında ülkeyi sürekli olarak yaklaşık 7 puan geride bırakıyor.

Ekonomik olarak dezavantajlı olmayan öğrenciler için puan dağılımlarını gösteren Şekil 4'ün sağ paneline bakmak bizi aşağıdaki gözlemlere ve derin bir soruya götürdü.

• Üç eyaletin de ortalama puanları ülke genelinden 7 ila 10 puan daha yüksek.
• Dağılımların sol tarafına bakıldığında, hem Mississippi hem de Massachusetts'in 10. ve 25. yüzde dilimleri ülke genelinden belirgin şekilde daha yüksek—10 ila 20 puan arasında.
• En büyük ayrım, Mississippi'nin 10. yüzde dilidir; bu da ülkenin 20 puan daha yüksektir.
• Bu eyaletler, en çok ihtiyacı olan ekonomik dezavantajsız öğrencilere ne gibi destekler sunuyor olabilir?

_{Şekil 5. 8. sınıf NAEP okuma puanlarının dağıtım grafikleri, aile ekonomik durumuna göre ayrılmıştır. Ülke ve her eyalet için aile ekonomik durumuna göre ortalama 8. sınıf okuma puanları beyaz renkte gösterilmiştir. Kesik dikey çizgiler, ulusal dağılımın yüzde puanlarını gösterir.}

Eğilimlerin devam edip etmediğini görmek için üç eyaletimiz için NAEP'nin 8. sınıf verilerine geçelim. Skorları aile ekonomik durumuna göre ayıran şekilde, Şekil 5'teki sol paneldeki puan dağılımı grafikleri, Mississippi ve Louisiana'nın 8. sınıfta ekonomik dezavantajlı öğrenciler arasında Massachusetts ile aynı seviyede performans gösterdiğini göstermektedir. Üç eyalet de dağılımların soldan orta kısmına kadar ülkeyi genel olarak geride bırakıyor.

Ancak, ekonomik olarak dezavantajlı olmayan öğrenciler için Mississippi, diğer eyaletler ve ülkeye kıyasla gelişme alanına sahiptir. Şekil 5'teki sağ panele bakarak aşağıdaki gözlemleri yapıyoruz:

• Massachusetts ve Louisiana ile karşılaştırıldığında, Mississippi hem yüksek hem de düşük puan alan öğrenciler için dağılımda daha düşük puan alıyor.
  • Örneğin, Mississippi'de 25. yüzde dilim 243'tür; bu da Massachusetts'in 25. yüzde diliminden 15 puan ve Louisiana'nın 253'ünden 10 puan daha düşüktür.
• Mississippi'nin ekonomik dezavantajlı olmayan 8. sınıf öğrencileri için bu sonuç, 4. sınıf bulgularından oldukça farklıdır ve bu da öğrencilerin üst sınıflarda daha ileri okuma becerileri geliştirdikçe okuma müdahalelerinin ihtiyaçlarına göre uyarlanması gerektiğini gösteriyor.
• Buna karşılık, ekonomik olarak dezavantajsız öğrenciler için Louisiana, Massachusetts'e daha çok benziyor—çoğu zaman Mississippi'yi 10 puana kadar geride bırakıyor.

Ortak bir değerlendirme programı kullanılarak, NAEP verileri eyaletler arasında öğrenci performansının değerli ve ayrıntılı karşılaştırmalarını sağlayabilir. 

Ortalama NAEP puanları, Massachusetts öğrencilerinin Louisiana, Mississippi ve ülke genelinde öğrencilerden daha iyi performans gösterdiğini gösteriyor, ancak ortalamalarda kalmak izleyicilerin Mississippi ve Louisiana'da daha düşük puan alan öğrencilerin daha yüksek başarı seviyelerini kaçırmasına yol açacak. Özellikle Mississippi ve bazen Louisiana, 4. sınıf okumalarında Massachusetts ve/veya ülke genelinde daha iyi performans gösteriyor

• eyalet genelinde daha düşük puan alan öğrenciler;
• ekonomik olarak dezavantajlı öğrenciler, özellikle ortalama puan alan veya altında olanlar; ve
• ekonomik olarak dezavantajlı olmayan öğrenciler, özellikle en alt 10. ve 25. yüzde dilimlerde puan alanlar. 
• Louisiana ve Mississippi, özellikle ekonomik açıdan dezavantajlı öğrenciler arasında, 8. sınıf okuma puanlarında Massachusetts'in hızını büyük ölçüde takip ediyor. Özellikle ekonomik olarak dezavantajlı olmayan öğrenciler arasında, Mississippi'nin 8. sınıf okuma puanlarında iyileştirme için alan var.

Umarız, eyalet eğitim liderlerinin bu sonuçları bir sıçrama olarak kullanabilmesidir
Politika ve uygulamaların neye yol açtığını daha fazla öğrenmek için bir nokta
Louisiana ve Mississippi'nin ülkeyi veya diğer eyaletleri geride bırakması için
Özellikle düşük puan için okuma sonuçlarını iyileştirmek söz konusu olduğunda
öğrenciler ve ekonomik açıdan dezavantajlı öğrenciler.

NAEP Veri Rehberi'nde bulunan öğretmen ve okul özellikleriyle öğrenci performansını daha fazla incelemek, hangi öğretmen ve okul uygulamalarının bu eyaletler veya kendi eyaletiniz için daha yüksek öğrenci performansıyla ilgili olabileceğini gösterebilir. Verileri kendi keşfinize başlamak için buraya tıklayın.

Marisol Kevelson, Katherine E. Castellano ve Emily Kerzabi ETS Araştırma Enstitüsü'nde çalışmaktadır. Mari, yardımcı araştırmacı bilim insanıdır; Katherine, baş araştırma bilimcisidir; Emily bir araştırma proje yöneticisidir. Eli Holder , 3iap'ın kurucusudur.