Toplam Öğrenci Gelişim Puanlarının Raporlanması İçin Yeni Bir Yaklaşım

8 Aralık 2021

Şu anda, Amerika Birleşik Devletleri'nin 48 eyaleti, eyalet genelinde ilkokul ve ortaokul öğrenci sınav programları kapsamında öğrenci başarı artışını ölçmektedir. Çoğu zaman, büyüme ölçümleri, sadece mevcut başarıdan çok öğrenci performansının daha kapsamlı bir resmini vermek amacıyla bölgeler, okullar veya hatta öğretmenler için hesap verebilirlik sistemlerinde kullanılır. Bu sistemler, bir ilçe, okul veya öğretmen sınıfındaki tüm öğrencilerin bireysel gelişim ortalamasını kullanır. Bu yaklaşım, yüzeyde öğrenci ilerlemesini özetlemek için pratik ve doğrudan bir yol gibi görünse de, gerçekte sorunlu olabilir.

Az öğrencili okullar, bölgeler veya öğretmenler için büyüme ölçümlerinin ortalaması yıldan yıla önemli dalgalanmalara yol açabilir. Örneğin, bir yılda yüksek büyüme ölçüsü olan ve 90. yüzde dilimine giren küçük bir okul, ertesi yıl düşük bir değere sahip olabilir ve sadece yüzde 10'da sıralanabilir. Bu yıldan yıla yapılan değişiklikler, öğrenci gelişim ortalamasını karar vermede kullanmayı zorlaştırabilir. Bu kararların genellikle yüksek riskler, fon sonuçları ve öğrencileri, okulları ve bölgeleri etkileyen diğer hususlarla bağlantılı olabileceği göz önüne alındığında, bu ölçümlerin doğru olması ve uygulanabilir bilgi sağlaması kritik öneme sahiptir.

Son birkaç yıldır, California Eğitim Bakanlığı (CDE) ile birlikte, eyaletlerinin öğrenci başarı artışını ölçme ve raporlama yollarını daha iyi anlamalarına yardımcı olmak için çalışıyoruz. Yıldan yıla yüksek dalgalanmalarla karşılaştığında, Kaliforniya büyüme önlemlerini uygulamaya koyup uygulamaya devam etmeyeceğinden emin değildi. Sonuç olarak, eyaletin (toplam) büyüme ölçümlerini iyileştirmenin ve az sayıda öğrenciye hizmet veren okullar veya bölgeler ile engelli öğrenciler veya İngilizce öğrenenler (EL) gibi düşük oranlı öğrenci grupları için ölçütlerdeki aşırı istikrarsızlığı ortadan kaldırmanın bir yolunu bulmaya karar verdik.

Çalışmalarımız sırasında, doğruluğu artırmak ve büyüme ölçümlerinin yıldan yıla dalgalanmalarını azaltmak için Ampirik En İyi Doğrusal Tahmin (EBLP ) adlı standart istatistiksel yönteme başvurduk. Bu istatistiksel yöntem, hastanelerdeki hasta sonuçları veya bir eyaletteki ilçeler için okuryazarlık seviyeleri gibi birden fazla grup için ölçüm sağlamak amacıyla birçok farklı uygulamada yaygın olarak kullanılır. Ekibimiz, bu EBLP yöntemini büyüme verilerine uygulamak için gerekli metodolojiyi, bilgisayar algoritmalarını ve kodu geliştirdi; bu veriler için bir milyondan fazla bireysel öğrenci büyüme ölçümü ve yüzlerce, hatta binlerce okul olabilir.

EBLP yöntemi yeni bir öğrenci gelişim modeli değildir. Bu puan, basit kazanç puanlarından (örneğin, mevcut yıl puanı çıkar önceki yıl puanı) ve daha kapsamlı Öğrenci Gelişim Yüzdelerine kadar her türlü öğrenci gelişim puanına uygulanabilir. EBLP prosedürünün gücü, eyaletin raporlama yılında grubun büyüme puanını daha iyi bir tahmin yapmak için birden fazla yıldan alınan öğrenci gelişim puanlarını en iyi şekilde kullanmakta yatmaktadır. Basitçe söylemek gerekirse, EBLP toplam büyüme puanları, sadece rapor yılından alınan puanların basit bir ortalaması yerine yaklaşık olarak iki veya daha fazla okul yılından öğrenci gelişim puanlarının ağırlıklı ortalamasıdır.

Dahası, EBLP yöntemi grubun büyüklüğüne uyum sağlar. Daha doğru ve istikrarlı tahminlere sahip olan daha büyük gruplar için, EBLP toplam büyüme puanı basit ortalamaya neredeyse aynıdır. Raporlama yılında öğrenci gelişim puanlarının neredeyse tamamını veriyor ve önceki yıllardaki öğrenci gelişim puanlarına çok az veya hiç ağırlık vermiyor. Buna karşılık, daha küçük gruplar için EBLP prosedürü, raporlama yılında öğrenci grubunun gelişimini destekleyebildiği için önceki yılın büyüme puanlarına önemsiz bir ağırlık verecektir. Bu durumlarda, EBLP basit ortalamadan daha belirgin şekilde farklılaşır, ancak aynı zamanda basit ortalamadan daha doğru ve stabil olur. Genel sonuç, EBLP ağırlıklı ortalamaların küçük grupların doğruluk ve istikrarını artırmada daha büyük bir etkiye sahip olacağı, böylece küçük ve daha büyük grupların performans farkını azaltacağıdır. Bu yöntemle, daha az öğrenci nüfusu veya okul ve bölge içinde küçük öğrenci gruplarına sahip okulları ve bölgeler, daha az öğrenciye hizmet verdikleri için daha az öğrenciye hizmet verdikleri için artık cezalandırılmayacak.

Bu EBLP metodolojisini kullanarak, ekibimizin sonuçlarını CDE ile paylaştık; personel, toplam büyüme puanlarında gözlemledikleri yüksek yıldan yıla dalgalanmalara potansiyel bir çözüm olarak bu yöntemle ilgilendi ve eyalet genelindeki okullar ve okul bölgeleri için büyüme ölçümlerinin istikrarını artırma potansiyelini incelememizi istedi. ETS ve CDE tarafından yapılan araştırma, EBLP'nin özellikle küçük okullar ve okul bölgeleri için büyüme ölçümlerinin doğruluğunu ve yıl arası korelasyonunu iyileştirdiğini ortaya koydu. Önerilen yaklaşımımızın başarısını göz önünde bulundurarak, Kaliforniya Eyalet Eğitim Kurulu yakın zamanda okul ve bölge büyümesinin yanı sıra okullar ve bölgelerdeki öğrenci gruplarının büyümesi raporlamasında EBLP yaklaşımının kullanılmasını oybirliğiyle onayladı.

Bu çalışma veya Ar-Ge Danışmanlık Hizmetlerimiz hakkında daha fazla bilgi edinin.

Katherine Castellano, ETS'de kıdemli araştırma bilimcisidir. Dan McCaffrey, ETS'de yardımcı başkan yardımcısıdır.